شبکه های عصبی مصنوعی

عصبی های شبکهمصنوعی

Instructor : Saeed Shiry

Amirkabir University of TechnologyComputer Engineering & Information Technology Department

مقدمه

یادگیری برای عملی روشی مصنوعی عصبی شبکه توابع ،حقیقی مقادیر با توابع نظیر گوناگون توابع

.میباشد برداری مقادیر با توابع و گسسته مقادیر باهای داده خطاهای برابر در عصبی شبکه یادگیری

با ها شبکه اینگونه و بوده مصون آموزشی گفتار، شناسائی نظیر مسائلی به موفقیت

روبات یادگیری و تصاویر، تعبیر و شناسائی.است شده اعمال

Input 0 Input 1 Input n...

Output 0 Output 1 Output o...

O0 O1 Oo

H0 H1 Hm...

...

Hidden Layer

چیست؟ عصبی شبکه

محاسبه برای روشی اتصال پایه بر که است

چندین پیوسته هم به ساخته پردازشی واحد

.میشوددلخواهی تعداد از شبکه

یا واحد یا گره یا سلول میشود تشکیل نرون

را ورودی مجموعه که.میدهند ربط خروجی به

قابلیتهائی چه عصبی شبکهدارد؟

معلوم تابع یک محاسبهناشناخته تابع یک تقریبالگو شناسائیسیگنال پردازشفوق موارد انجام یادگیری

طبیعت از الهامیادگیر های سیستم از ملهم زیادی حد تا مصنوعی عصبی های شبکه مطالعه

کار در متصل هم به نرونهای از پیچیده مجموعه یک آنها در که است طبیعی.هستند دخیل یادگیری

هر که باشد شده تشکیل نرون 11 10 تعداد از انسان مغز که میرود گمان .است ارتباط در دیگر نرون 104 تقریبا با نرون

با مقایسه در که است ثانیه 3-10 حدود در نرونها سوئیچنگ سرعت است قادر آدمی وجود این با. مینماید ناچیز بسیار ) ثانیه ( 10- 10 کامپیوترها

العاده فوق قدرت این. نماید بازشناسائی را انسان یک تصویر ثانیه 0.1 در شده حاصل نرونها از زیادی تعدادی در شده توزیع موازی پردازش از باید

.باشد

. مثل باشد داشته وجود آموزشی های داده در های خطا داده که مسائلیها میکروفن و دوربین نظیر سنسورها دادهای از حاصل نویز دارای آموزشی

.هستند - شده داده نشان مقدار ویژگی زوج زیادی مقادیر توسط ها نمونه که مواردی

. ویدئوئی. دوربین یک از حاصل های داده نظیر باشند. باشد پیوسته مقادیر دارای هدف تابع . با مقایسه در روش این باشد داشته وجود یادگیری برای کافی زمان

. دارد یادگیری برای بیشتری زمان به نیاز تصمیم درخت نظیر دیگر روشهایشده یادگرفته اوزان میتوان سختی به زیرا. نباشد هدف تابع تعبیر به نیازی

.نمود تعبیر را شبکه توسط

یادگیری برای مناسب مسائلعصبی های شبکه

x1x1

x2x2

xnxn

{1 or –1}{1 or –1}

X0=1X0=1

w0w0

w1w1

w2w2

wnwn

ΣΣ

ساخته پرسپترون نام به محاسباتی واحد یک برمبنای عصبی شبکه از نوعی یک و گرفته را حقیقی مقادیر با ورودیهای از برداری پرسپترون یک. میشود مقدار یک از حاصل اگر. میکند محاسبه را ورودیها این از خطی ترکیب 1 -معادل اینصورت غیر در و 1 با برابر پرسپترون خروجی بود بیشتر آستانه.بود خواهد

Perceptron

میشود مشخص زیر رابطه توسط پرسپترون خروحی:

داد نشان زیر بصورت میتوان آنرا سادگی برای که:

پرسپترون یک یادگیری

O(x1,x2,…,xn) = O(x1,x2,…,xn) = 1 if w0 + w1x1 + w2x2 + … + wnxn > 01 if w0 + w1x1 + w2x2 + … + wnxn > 0-1 otherwise-1 otherwise

O(O(XX) = sgn() = sgn(WXWX) where) where

Sgn(y) = Sgn(y) = 1 if y > 01 if y > 0-1 otherwise-1 otherwise

:از است عبارت پرسپترون یادگیری W برای مقادیردرستی کردن پیدا

تمام ازمجموعه است عبارت پرسپترون یادگیری در H فرضیه فضای بنابراین.وزن بردارهای برای ممکن حقیقی مقادیر

تصمیم سطح یک بصورت میتوان را پریسپترون hyperplane فضای در n گرفت نظر در ها نمونه بعدی .

و 1 مقدار صفحه طرف یک های نمونه برای پرسپترون.میاورد بوجود 1 -مقدار دیگر طرف مقادیر برای

پرسپترون توانائی

++

++++

--

----

Decision boundary (Decision boundary (WXWX = 0) = 0)

که بگیرد یاد را مثالهائی است قادر فقط پرسپترون یک مواردی مثالها اینگونه. باشند جداپذیر خطی بصورت جدا قابلhyperplane یک توسط کامل بطور که هستند.میباشند سازی

به قادر پرسپترون که توابعیمیباشد آنها یادگیری

++

++++

----

--

++

++

++--

--

--

Linearly separableLinearly separable Non-linearly separableNon-linearly separable

دهد نمایش را بولی توابع از بسیاری میتواند پرسپترون یک AND, OR, NAND, NOR نظیر

نمیتواند اما XORدهد نمایش را.

از دوسطحی ای شبکه با میتوان را بولی تابع هر واقع در .داد نشان پرسپترونها

پرسپترون و بولی توابع

AND: AND: x1x1

x2x2

X0=1X0=1

W0 = -0.8W0 = -0.8

W1=0.5W1=0.5

W2=0.5W2=0.5ΣΣ

بگیریم یاد را واحد پرسپترون یک وزنهای چگونه آموزشی مثالهای برای پرسپترون که نحوی به

نماید؟ ایجاد را صحیح مقادیرمختلف راه دو:

پرسپترون قانوندلتا قانون

پرسپترون آموزش

پرسپترون یادگیری الگوریتممیدهیم نسبت وزنها به تصادفی مقادیریاگر. میکنیم اعمال آموزشی مثالهای تک تک به را پریسپترون

تصحیح را پرسپترون وزنهای مقادیر شود ارزیابی غلط مثال.میکنیم

میشوند ارزیابی درست آموزشی مثالهای تمامی آیا:بله الگوریتم پایانخیربرمیگردیم 2 مرحله به

پرسپترون آموزش

آموزشی مثال یک برایX = )x1, x2, …, xn(X = )x1, x2, …, xn( مرحله هر در :میکند تغییر زیر بصورت پریسپتون قانون اساس بر وزنها

wi = wi + Δwiwi = wi + Δwi

آن در که

پرسپترون قانون

Δwi = η ( t – o ) xiΔwi = η ( t – o ) xit: target outputt: target outputo: output generated by the perceptrono: output generated by the perceptronη: constant called the learning rate (e.g., 0.1)η: constant called the learning rate (e.g., 0.1)

و شده همگرا روش این جداپذیرخطی مثال مجموعه یک برای که است شده اثبات.شد خواهد مثالها صحیح سازی جدا به قادر پرسپترون

پرسپترون قانون نباشند جداپذیر خطی بصورت مثالها که وقتی دلتا قانون از مشکل این بر غلبه برای. شد نخواهد همگرا

. میشود استفادهاز استفاده قانون این اصلی ایده gradient descent برای

پایه قانون این. میباشد ممکن وزنهای فرضیه فضای در جستجو چندین با شبکه آموزش برای که است Backpropagation روش.میرود بکار متصل هم به نرون

یادگیری الگوریتمهای انواع برای ای پایه روش این همچنین مختلف های فرضیه شامل ای فرضیه فضای باید که است

.کنند جستجو را پیوسته

Delta Rule دلتا قانون

Delta Rule دلتا قانون

پرسپترون یک به آنرا روش این بهتر درک برای است الزم انجا در. میکنیم اعمال آستانه حد فاقد یک. شود ارائه آموزش ی خطا برای تعریفی ابتدا

:است چنین این متداول تعریفE = ½ ΣE = ½ Σii )t )tii – o – oii( ( 22

انجام آموزشی مثالهای تمام برای مجموع این که .میشود

gradient descent الگوریتمتعریف نحوه به توجه با E یک بصورت خطا سطح

حداقل که هستیم وزنهائی بدنبال ما. بود خواهد سهمی در gradient descent الگوریتم . باشند داشته را خطا

. کند حداقل را خطا که میگردد برداری بدنبال وزنها فضای شروع وزن بردار برای دلبخواه مقدار یک از الگوریتم این

در که میدهد تغییر طوری را وزنها مرحله هر در و کرده.شود داده کاهش خطا فوق منحنی کاهشی شیب جهت

w1w1

w2w2

E(E(WW))

gradient قانون آوردن بدستdescent

افزایش جهت در همواره گرادیان: اصلی ایده .میکند عمل E شیب

گرادیان E وزن بردار به نسبت w زیر بصورت :میشود تعریف

E )W( = [ E’/w0, E’/w1, …, E’/wn]E )W( = [ E’/w0, E’/w1, …, E’/wn]آنآن دردر کهکه E )W(E )W( برداروبردارو یکیک EE’’جزئیجزئی مشتقمشتق

..میباشدمیباشد وزنوزن هرهر بهبه نسبتنسبت

ΔΔ

ΔΔ

Delta Rule دلتا قانون

آموزشی مثال یک برایX = )x1, x2, …, xn(X = )x1, x2, …, xn( هر در :میکند تغییر زیر بصورت دلتا قانون اساس بر وزنها مرحله

wi = wi + Δwiwi = wi + Δwi

Where Δwi = -η E’)Where Δwi = -η E’)WW(/wi(/wi

η: learning rate )e.g., 0.1(η: learning rate )e.g., 0.1(

..استاست شیبشیب کاهشکاهش جهتجهت دردر حرکتحرکت نشاندهندهنشاندهنده منفیمنفی عالمتعالمت

گرادیان محاسبه

میتوانمیتوان خطاخطا رابطهرابطه ازاز جزئیجزئی گیریگیری مشتقمشتق بابا ::نمودنمود محاسبهمحاسبه رارا گرادیانگرادیان بسادگیبسادگی

E’)W(/ wE’)W(/ wii = Σ = Σii )t )tii – O – Oii( )-x( )-xii((نمودنمود خواهندخواهند تغییرتغییر زیرزیر رابطهرابطه طبقطبق وزنهاوزنها لذالذا..

Δwi = η Σi )ti – oi( xiΔwi = η Σi )ti – oi( xi

دلتا قانون یادگیری خالصه

.میباشد زیر بصورت دلتا قانون از استفاده با یادگیری الگوریتمدهید نسبت تصادفی مقدار وزنها بهدهید ادامه را زیر مراحل توقف شرایط به رسیدن تا

وزن هر wi کنید اولیه دهی عدد صفر مقدار با را.

وزن: مثال هر برای wi دهید تغییر زیر بصورت را:wwii = w = wii + η )t – o( x + η )t – o( xii

::دهیددهید تغییرتغییر زیرزیر بصورتبصورت رارا wwii مقدارمقدارwwii = w = wii + w + wii

شودشود کوچککوچک بسیاربسیار خطاخطا تاتا

ΔΔ

ΔΔ

Δ Δ Δ Δ Δ Δ

gradient روش مشکالتdescent

زیادی زمان مینیمم مقدار یک به شدن همگرا است ممکن1..باشد داشته الزم

باشد داشته وجود محلی مینیمم چندین خطا سطح در اگر2..بکند پیدا را مطلق مینیمم الگوریتم که ندارد وجود تضمینی

:که است استفاده قابل وقتی روش این ضمن در

.باشد پیوسته پارامتریک های فرضیه دارای فرضیه فضای 1.

باشد گیری مشتق قابل خطا رابطه2.

gradient افزایشی تقریبdescent

را آنها مثالها، همه مشاهده از پس وزنها تغییر بجای میتوان وزنها حالت این در. داد تغییر شده مشاهده مثال هر بازا

را روش این. میکنند تغییر incremental افزایشی بصورتstochastic gradient descentstochastic gradient descent نیزمینامندنیزمینامند..

wwii = η )t-o( x = η )t-o( xii

محلیمحلی مینیمممینیمم بروزبروز ازاز میتواندمیتواند وزنهاوزنها افزایشیافزایشی تغییرتغییر مواردموارد بعضیبعضی دردر دارددارد بیشتریبیشتری محاسباتمحاسبات بهبه نیازنیاز استاندارداستاندارد روشروش. . کندکند جلوگیریجلوگیری..باشدباشد داشتهداشته همهم بزرگتریبزرگتری stepstep طولطول میتواندمیتواند درعوضدرعوض

ΔΔ

برایبرای میتوانندمیتوانند الیهالیه چندچند هایهای شبکهشبکه پرسپترونها پرسپترونها خالفخالف بربر تصمیمتصمیم بابا مسائلیمسائلی همچنینهمچنین وو خطیخطی غیرغیر مسائلمسائل یادگیرییادگیری

..روندروند بکاربکار متعددمتعدد هایهای گیریگیری

Input nodesInput nodes

Internal nodesInternal nodes

Output nodesOutput nodes

الیه چند های شبکه

x1x1

x2x2

مثال

x1x1

x2x2

xnxnX0=1X0=1

w0w0

w1w1

w2w2

wnwn

ΣΣ

O = σ(net) = 1 / 1 + e O = σ(net) = 1 / 1 + e -net-net

netnet

واحد سلول یک

غیرغیر بصورتبصورت رارا گیریگیری تصمیمتصمیم فضایفضای بتوانیمبتوانیم اینکهاینکه برایبرای رارا واحدواحد سلولسلول هرهر تاتا استاست الزمالزم بکنیم،بکنیم، جداجدا همهم ازاز خطیخطی

چنینچنین ازاز مثالیمثالی. . نمائیمنمائیم تعریفتعریف خطیخطی غیرغیر تابعتابع یکیک بصورتبصورت::باشدباشد سیگموئیدسیگموئید واحدواحد یکیک میتواندمیتواند سلولیسلولی

O(x1,x2,…,xn) = O(x1,x2,…,xn) = σ ( WX )σ ( WX )

where: where: σ σ ( WX ) = 1 / 1 + e ( WX ) = 1 / 1 + e -WX-WX

d σ(y) / dy = σ(y) (1 – σ(y))d σ(y) / dy = σ(y) (1 – σ(y))

تابعتابع ایناین. . میشودمیشود نامیدهنامیده لجستیکلجستیک یایا سیگموئیدسیگموئید تابعتابع σσ تابعتابع::استاست زیرزیر خاصیتخاصیت دارایدارای

سیگموئید تابع

بیانبیان میتوانمیتوان زیرزیر بصورتبصورت رارا واحدواحد سلولسلول ایناین خروجیخروجی::نمودنمود

Back propagation الگوریتم

روش از الیه چند شبکه یک های وزن یادگیری برای Back Propagation روش این در. میشود استفاده

تا میشود سعی gradient descent از استفاده با هدف تابع و شبکه های خروجی بین خطای مربع

.شود مینیمممیشود تعریف زیر بصورت خطا: 2

2

1

Dd outputskkdkd otWE

خروجی الیه های واحد مجموعه خروجیهای outputsاز مراد واحد امین k با متناظر خروجی و هدف مقدار okd وtkd و

.است d آموزشی مثال و خروجی

Back propagation الگوریتم

عبارت روش این در جستجو مورد فرضیه فضای مقادیر همه توسط که بزرگی فضای از است

gradient روش. میشود تعریف وزنها برای ممکنdescent به خطا کردن مینیمم با تا میکند سعی

برای تضمینی اما. کند پیدا دست مناسبی فرضیه وجود برسد مطلق مینیمم به الگوریتم این اینکه.ندارد

BP الگوریتم

nout و مخفی، گره nhidden ورودی، گرهnin با ای شبکه1.. کنید ایجاد خروجی گره

دهی عدد کوچک تصادفی مقدار یک با را وزنها همه2..کنید

شدن کوچک ( پایانی شرط به رسیدن تا3.:دهید انجام را زیر مراحل) خطا

:آموزشی مثالهای به متعلقx هر برای

دهید انتشار شبکه در جلو سمت به را X مثال.دهید انتشار شبکه در عقب سمت به را E خطای

و ورودی مقادیر x بردار که میشود ارائه( x,t )زوج یک بصورت آموزشی مثال هر.میکنند تعیین را شبکه خروجی برای هدف مقادیر t بردار

جلو سمت به انتشار

مثال هر برای X را واحد هر خروجی مقدار .برسید خروجی های گره به تا کنید محاسبه

Input nodesInput nodes

Internal nodesInternal nodes

Output nodesOutput nodes

Example XExample X

Compute sigmoid Compute sigmoid functionfunction

عقب سمت به انتشار

محاسبه زیر بصورت را خطا جمله خروجی واحد هر برای1.))δδkk = O = Okk )1-O )1-Okk()t()tkk – O – Okk:کنید

::کنیدکنید محاسبهمحاسبه زیرزیر بصورتبصورت رارا خطاخطا جملهجمله مخفیمخفی واحدواحد هرهر برایبرای2.2. δδhh = O = Ohh )1-O )1-Ohh( Σ( Σkk W Wkhkh δ δkk

::دهیددهید تغییرتغییر زیرزیر بصورتبصورت رارا وزنوزن مقدارهرمقدارهر3.3.

WWjiji = W = Wjiji + ΔW + ΔWjiji

: :آنآن دردر کهکه

ΔWΔWjiji = η δ = η δjj X Xjiji

ηηیادگیری نرخ از است عبارت

خاتمه شرط

همان استفاده با بار هزاران خاتمه از پیش BP الگوریتم معموال میتوان را مختلفی شروط میگردد تکرار آموزشی های داده:برد بکار الگوریتم خاتمه برای

معین دفعات به تکرار از بعد توقفشود کمتر شده تعیین مقدار یک از خطا که وقتی توقف.خاصی قاعده از تائید مجموعه مثالهای در خطا که وقتی توقف

.نماید پیروی باشد زیاد اگر و داشت خواهیم خطا باشد کم تکرار دفعات اگر

.داد خواهد رخ Overfitting مسئله

BP الگوریتم مرور

جستجوی یک الگوریتم این gradient descent در .میدهد انجام وزنها فضای

بیافتد گیر محلی مینیمم یک در است ممکناست بوده موثر بسیار عمل در

:دارد وجود مختلفی روشهای محلی مینیمم از پرهیز برایممنتم افزودناز استفاده stochastic gradient descentstochastic gradient descentوزنهای برای متفاوتی مقادیر با مختلف های ازشبکه استفاده

اولیه

ممنتم افزودن

که گرفت نظر در طوری را وزنها تغییر قانون میتوان در تغییروزن اندازه به حدی تا ام n تکرا در وزن تغییر.باشد داشته بستگی قبلی تکرار

ΔWΔWjiji )n( = η δ )n( = η δjj X Xjiji + αΔW + αΔWjiji )n-1( )n-1(

.میباشد α <= 1α <= 1 >= >= 00 بصورت αα مقدارممنتم آن در که قبلی مسیر در حرکت با تا میشود باعث ممنتم افزودن

:خطا سطح درشود پرهیز محلی مینیم در افتادن گیر ازشود پرهیز صاف سطوح در قرارگرفتن ازجستجو سرعت تغییرات، پله مقدار تدریجی افزایش با

.یابد افزایش

وزن تغییر قانون ممنتم عبارت

توابع نمایش قدرتشبکه یک توسط به توابع نمایش قدرت گرچه feedforward و عمق به بسته

قوانین صورت به میتوان را زیر موارد وجود این با دارد، شبکه گستردگی:نمود بیان کلی

سازی پیاده الیه دو شبکه یک توسط میتوان را بولی تابع هر: بولی توابع .نمود

الیه دو شبکه یک توسط میتوان را محدود پیوسته تابع هر: پیوسته توابع الیه در سیگموئید تابع از که هائی شبکه مورد در مربوطه تئوری. زد تقریب.است صادق میکنند استفاده خروجی شبکه در خطی الیه و پنهان

قابل حد تا الیه سه شبکه یک با میتوان را دلخواه تابع هر :دلخواه توابع .زد تفریب قبولی

روش توسط شده جستجو فرضیه فضای که داست درنظر باید وجود این باgradient deescent وزنها ممکن مقادیر تمام برگیرنده در است ممکن

.نباشد

استقرا بایاس و فرضیه فضایفضای یک بصورت میتوان را جستجو مورد فرضیه فضای

nکه (گرفت نظر در شبکه وزنهای از بعدی n اقلیدسی فرضیه) وزنهاست تعداد

یک تصمیم درخت فرضیه فضای خالف بر فرضیه فضای این .است پیوسته فضای

کرد بیان زیر بصورت میتوان را روش این استقرا بایاس:““smooth interpolation between data pointssmooth interpolation between data points””

همهم بهبه کهکه رارا نقاطینقاطی تاتا میکندمیکند سعیسعی BPBP الگوریتمالگوریتم کهکه معنامعنا ایناین بهبه..دهددهد قرارقرار بندیبندی دستهدسته یکیک دردر هستندهستند نزدیکترنزدیکتر

x1x1

x2x2

Smooth regionsSmooth regions

مثال

پنهان الیه نمایش قدرت

خواص از یکی BP الیه در میتواند که است این داده از آشکاری نا ویژگیهای شبکه پنهان های

.دهد نشان ورودی

ورودی خروجی

طوری زیر 8x3x8 شبکه مثال برای مقدارهرمثال که میشود داده آموزش د بوجو خروجی در عینا را ورودی

ساختار). بگیرد یاد را f)x(=x تابع (آورد واحد تا میشود باعث شبکه این خاص مقادیر های ویژگی وسط الیه های

که کنند بندی کد نحوی به را ورودی نمایش برای آنان از بتواند خروحی الیه

. نماید استفاده ها داده مجدد

پنهان الیه نمایش قدرت

10000000100000000100000001000000001000000010000000010000000100000000100000001000000001000000010000000010000000100000000100000001

10000000100000000100000001000000001000000010000000010000000100000000100000001000000001000000010000000010000000100000000100000001

Hidden nodesHidden nodes

8 از شده تکرار بار 5000 تعداد به که آزمایش این در با شبکه و شده استفاده ورودی عنوان به مختلف داده

را هدف تابع تا شده موفق BP الگوریتم از استفاده.بیاموزد

حاصل بردار که میشود مشخص میانی الیه های واحد خروجی مشاهده با(111,,...,000,001 )است بوده ورودی ههای داده استاندارد انکدینگ معادل

ErrorError

iterationsiterations

Different unitsDifferent units

iterationsiterations

Different weightsDifferent weights

weightweight

نمودارخطا

Number of weight updatesNumber of weight updates

Err

orE

rror

Validation set errorValidation set error

Training set errorTraining set error

overfitting و تعمیم قدرت

الگوریتم پاین شرط BP چیست؟ادامه آنقدر را الگوریتم که است این انتخاب یک

امر این. شود کمتر معینی مقدار از خطا تا دهیم.شود overfitting به منجر میتواند

overfitting دادن رخ دالیل

overfitting مثالهای گرفتن نظر در برای وزنها تنظیم از ناشی مطابقت ها داده کلی توزیع با است ممکن که است نادری

میشود باعث عصبی شبکه یک وزنهای زیاد تعداد. باشند نداشته داشته مثالها این با انطباق برای زیادی آزادی درجه شبکه تا

.باشدشده یادگرفته فرضیه فضای پیچیدگی تکرار، تعداد افزایش با

و نویز بتواند شبکه تا میشود بیشتر و بیشتر الگوریتم توسط ارزیابی بدرستی را آموزش مجموعه در موجود نادر مثالهای

.نماید

حل راه

تائید مجموعه یک از استفاده Vallidation این در خطا که هنگامی یادگیری توقف و .میشود کوچک کافی اندازه به مجموعه

از استفاده میتواند راه یک: تر ساده فرضیه فضاهای برای شبکه کردن بایاس weight decayکمی خیلی باندازه بارتکرار هر در وزنها مقدار آن در که باشد

.میشود داده کاهشk-fold cross validation میتوان باشد کم آموزشی مثالهای تعداد که وقتی m داده

تکرار دفعه k تعداد به را آزمایش و نموده بندی تقسیم دسته K به را آموزشی مجموعه بعنوان بقیه و تست مجموعه بعنوان ها دسته از یکی دفعه هر در. نمود

.میشود انجام نتایج میانگین اساس بر گیری تصمیم. شد خواهند استفاده آموزشی

دیگر روشهای

از دارد وجود جدید های شبکه ایجاد برای متنوعی بسیار های راه:جمله

خطا تابع برای دیگری تعاریف از استفادهیادگیری حین در خطا کاهش برای دیگری روشهای از استفاده

Hybrid Global LearningSimulated AnnealingGenetic Algorithms

واحدها در دیگری توابع از استفادهRadial Basis Functions

شبکه برای دیگری های ساختار از استفادهRecurrent Network