تعالی بسمه

صنایع مهندسی دانشکده

عصبی های شبکه

های شبکهعصبی

پیشگفتار

1

های شبکهعصبی

عصبی: های شبکه م��وازی ص��ورت ب��ه ک��ه س��اده عملی��اتی اج��زای از عصبی های شبکه

زیس��تی عص��بی ه��ای سیستم از اجزا است. این شده تشکیل هستند زی��ادی ان��دازه ت��ا ش��بکه ت��ابع ط��بیعی . بصورت اند شده گرفته الهام

ب��رای ت��وان ش��ود. می می مش��خص عناص��ر بین ارتباط��ات بوس��یله ، ه��ا وزن ک��ردن س��ازگار و تعدیل با ، مخصوص تابع یک دادن نمایش

معمول طور کرد. به مرتب را عصبی شبکه یک عناصر بین ارتباطات مخص��وص ورودی ی��ک این هس��تند.بن��ابر متع��ادل عص��بی ه��ای شبکه در ک��ه موقعی��تی شود. مانند می فرد به منحصر خروجی یک به منجر بین مقایس��ه پای��ه ب��ر ش��بکه اینج��ا . در اس��ت ش��ده داده نش��ان زی��ر

خ��روجی ک��ه اس��ت زم��انی تا مقایسه باشد. این می هدف و خروجی ه��ای ش��بکه در کلی ط��ور باش��د. . ب��ه داشته مطابقت هدف با شبکه

)ورودی/خ��روجی( ه��ای جفت از ه��ا ش��بکه دادن ت��رتیب برای عصبیشود. می استفاده

گ��روه ب��ر مب��نی بای��اس و وزن ساختن بوسیله شبکه گروهی آموزش افزایش��ی شود.درآم��وزش می معین ورودی بردارهای از ای یکپارچه

می تغییر ورودی بردار یک ارائه از بعد شبکه یک های بایاس و ها وزنon» آموزش عنوان به اوقات گاهی افزایشی کنند. آموزش lineی��ا »

ح��ل ب��رای عص��بی ه��ای شود.ش��بکه می « نامیدهadaptive» آموزش شناس��ی، الگ��و ه��ای ک��اربرد مانند مختلف های زمینه در پیچیده توابع

سیس��تم و مشاهده رانی، سخن بندی، طبقه هویت، تعیین شناسایی،دارد. کاربرد کنترل های

کامپیوتره��ای ب��رای ک��ه مس��ائلی حل برای عصبی های شبکه امروزه ک��ردن م��رتب شوند. برای می مرتب است مشکل انسان یا معمولی

ام��ا ش��ود می اس��تفاده نظارتی آموزش از ممعموال عصبی شبکه یک گردد. شبکه می استفاده نیز مستقیم طراحی روش از اوقات گاهی ش��وند. می اس��تفاده ه��ا داده از گروهی تعیین برای نظارتی غیر های

]Hopfield ه��ای ش��بکه و خطی ه��ای ش��بکه از معین ان��واع مس��تقیما

2

های شبکهعصبی

ط��راحی برای مختلفی های روش خالصه طور شوند. به می طراحی را ه��ا آن توان�د می عص�بی شبکه کاربرد نوع که دارد وجود آموزش و

کند. تعیین ام��ا ، گ��ردد می ب��ر گذش��ته ده��ه5 ب��ه عص��بی ه��ای ش��بکه تاریخچ��ه

] آن اطمینان قابل کاربردهای می گذش��ته س��ال15 ب��ه مربوط تقریبا هس�تند. بن��ابراین توس��عه ح�ال در هم هن��وز عصبی های باشد. شبکه

کن��ترل های سیستم دیگر های زمینه با واضح بطور عصبی های شبکه ه��ای روش و پای��ه ریاض��یات و اص��طالحات آنه��ا در ک��ه سازی بهینه یا

گ��������ذاری پای��������ه ث��������ابت ص��������ورت ب��������ه ط��������راحی گیرن��د، می ق��رار استفاده مورد که است زیادی های سال و اند شده

دارد. تفاوت(Basic Chapters) ای پایه های بخش را4 و3 و2 ه��ای فص��ل ش��ما ک��ه این ب��رای عصبی شبکه ابزار جعبه

اس�ت. این ش�ده نوشته بروید پیش ها فصل دیگر سمت به و بخوانید کنی��د. ب��رای استفاده مشکل بدون آن توابع از و بخوانید را ابزار جعبه نح��وه و عص�بی م�دل اص�ول2 فص�ل ش��ود، ممکن ام�ر این ک��ه این

م��ورد های نماد فصل کند. این می ارائه را عصبی های شبکه ساخت تم�ام ک�ه ده�د می توضیح را عصبی های شبکه ساختن برای استفاده

] ش�ما ب�رای2 فص�ل کام�ل باش�ند. درک می ای پایه لوازم آنها ک�امالبود. خواهد مفید ی��ک چگونه که دهد می نشان عصبی شبکه یک ساختار و عصبی مدل

ب��ه ش��کل تغی��یر کن��د. این می تب��دیل خ��روجی ب��ه را ها ورودی شبکه ش�بکه ه�ر س�اختن و بن�دی ش�ود. م�دل می دی�ده محاسباتی صورت شود. روش انجام باید عصبی شبکه آن که دارد محاسباتی به بستگی

آم��وزش ه��ای م��دل از قب��ل بایست می شبکه یک خروجی محاسباتشود. داده توضیح شبکه برای: ها شکل و معادالت برای ریاضی های نماد و نکات

: پایه مفاهیمشوند. می داده نشان کوچک و ایتالیک حروف : با عددی مقادیرشوند. می داده نشانBold و ایتالیک غیر کوچک حروف : با ها بردار

می داده نش��انBold و ایتالی��ک غ��یر ب��زرگ ح��روف : ب��ا ه��ا ماتریسشوند.

3

های شبکهعصبی

: زبانشود. می گفته اعداد از ستون یک به بردار: ها ماتریس وزن

:wi,j(t)عددی عناصر iسطر - ،j،ستون - tتکرار یا - زمان

:W(t) ماتریس،wi,j(t) های بردار آن های ستون که wi (t) ه��ای بردار آن سطرهای

(.W ماتریس سطر امینi از شده ساخته هستند. )بردار: پایه بردار

bi(t) عددی عناصر b(t) بردار: الیه سازی نماد قرار استفاده مورد الیه عناصر کردن مشخص برای نویس باال تک یک n3 ص�ورت ب�ه بای�د س��وم الیه از شبکه ورودی مثال گیرد. بعنوان می

ارتب��اط اولین منبع دادن نشان برایk,1 نویس شود. باال داده نمایش عص��بی دس��تگاه ی الی��ه وزن م��اتریس از ارتب��اط امینk مقص��د و

ب�ه چه�ار الی�ه ب�ه دو الی�ه از الی�ه وزن مث��ال باشد. ب�رای می خودکارشود. داده نمایش بایست می LW4,2 صورت

: ورودی وزن ماتریسشود. می داده نمایش IWk,l صورت به

: الیه وزن ماتریسشود. می داده نمایش LWk,l بصورت

معادالت: و اشکال از هایی مثال ش��ده اس��تفاده نماده��ای است شده گرفته12 فصل از که زیر شکل

دهد. می نشان را پیشرفته اشکال در

4

های شبکهعصبی

معادل: کدهای و ریاضیات قاع��ده و ق��انون تع��دادی کمک به ، برعکس و کد به ریاضیات از تغییر

ه��ای نم��اد تغی��یر ان��د. ب��رای شده لیست اینجا در که شود می ساخته: به دارد نیاز کاربرMatlab برای فهم قابل های نماد به ریاضی

سلولی آرایه های شاخص به ها نویس باال ( تغییر1

پرانتز داخل های شاخص به ها زیرنویس ( تغییر2

آرایه عنصر دومین به پرانتز داخل اندیس ( تغییر3 جعب��ه تواب��ع و Matlab اپراتوره��ای ب��ه ریاض��ی های اپراتور ( تغییر4

ابزاردهد: می نشان را ها شکل در نمادگذاری زیر معادله

5

های شبکهعصبی

اول فصل

6

های شبکهعصبی

(Basic Chapters) ای پایه های بخش نماده��ای و ش��بکه س��اخت ب��رای ای پای��ه ابزار و مواد شامل2 فصل

ت��ابع م��ورد در مرج��ع اولین3 است. فص��ل رابطه این در مخصوصی ش��ده ط��راحی تواب�ع از اس��تفاده نح��وه4 اس��ت. فص��ل ای پایه های

دهد. می توضیح4 نسخه های تازه آنه�ا نس�خه هم�راه ب�ه یافته توسعه و جدید های ویژگی از کمی تعداد

شد: خواهد داده توضیح زیر درکنترل سیستم - کاربردهای1،6 جدید فصل در ارائ��ه کن��ترلی ه��ای سیستم از عملی کاربرد سه

است. شدهپیشگویانه. کنترل ای شبکه های الف( مدلسازگار. کنترل مدل ب( مرجع

خطی. کنترل ج( بازخورد(Graphical User Interfaceکاربر) گرافیکی - نمای2

ک��اربر به نما . این است شده اضافه ابزار جعبه به گرافیکی نمای یک: دهد می اجازه

بسازد. را الف( شبکهکند. واردGUI در را ب( اطالعات

ها. شبکه سازی شبیه و کردن مرتب ، اولیه دهی ج( مقدارک��ار) محی��ط فرم��ان خ��ط ب��رایGUI از آم��وزش نت��ایج د( اس��تنتاجWorkspace)

.GUI به کار محیط فرمان خط از اطالعات کردن ه( وارد Network/Dataاطالع��ات/ش��بکه) م��دیریت پنج��ره ک��ردن ب��از ب��رای

Mnager Windowعبارت ) nntoolکنید. تایپ را

شبکه: ساختن برای جدید توابع وزن ک��ه اس��ت ش��بکه ساخت الگوریتم چهار دارای حاضر ابزار جعبه

، الگ��وریتم ب��رد.اولین می بک��ار ی��ادگیری تواب��ع برای هارا بایاس و ها قواع��د دیگ��ر مدل برد. سه می بکار گروهی های مدل در را یادگیریبرند: می بکار مختلف افزایشی مدل سه در را یادگیری

trainbتابع : Batch training.traincچرخشی. بصورت افزایشی آموزش :تابع

7

های شبکهعصبی

trainrتصادفی. بصورت افزایشی آموزش : تابعtrainsترتیبی. بصورت افزایشی آموزش : تابع

trainrوtrainb ب���ا ک���ه راtrainwb1 وtrainwb از اس���تفاده نکت���ه: م���ات��ابع ب��اtrainr ک��نیم. ت��ابع نمی س��فارش خیلی را ان��د ش��ده جایگزینtrainwb1ک��ه بط��وری ، دارد تف��اوت خیلی trainwb1ب��ردار ی��ک تنه��ا

کند. می ارائه را منفرد]M-code تولید علت به جدید آموزش توابع هس��تند. تواب��ع سریع نسبتا

trainbو traincو trainrو trainsیک همگی M-fileس��ازند می موق��تی می بحث م��ورد ش��بکه ک��ل ساخت برای اختصاصی کدهای شامل که

باشد.عمومی: خطی های شبکه طراحی

خ��روجی ه��ا، ورودی با خطی های شبکه طراحی امکانnewlind تابعدهد. می قرار کاربر اختیار در را چندگانه ورودی تاخیرهای و ها

Improved Early Stopping Early Stoppingبا ترکیب بصورت تواند می Bayesian regularization

ق��ابلیت توان��د می این م��وارد بعض��ی گ��یرد. در ق��رار اس��تفاده م��وردبخشد. بهبود را شده مرتب های شبکه عمومی

8

های شبکهعصبی

عصبی شبکه کاربردهایابزار: جعبه این در - کاربردها1

ک��ه دهد می نشان را شبکه کنترل سیستم عملی کاربرد سه6 فصلشامل:

پیشگویانه. کنترل ای شبکه های الف( مدلسازگار. کنترل مدل ب( مرجع

خطی. کنترل ج( بازخورداست. شده داده توضیح11 فصل در عصبی شبکه دیگر کاربردهای

تجاری -کاربردهای2 DARPAکاربرده��ای1988 س��ال در عص��بی ش��بکه مطالع��ات در

کنن��ده براب��ر کان��ال ب��ا ک��ار ک��رد. این ارائ��ه را عص��بی ش��بکه مختلف م��وفقیت ی��ک ک��ه قطع��ه ش��د. این ش��روع1984 س��ال در تط��بیقی

در ک��ه باشد می فرد به منحصر عصبی شبکه یک بود، برجسته تجاری را ص��دا ه��ای س��یگنال و شود می استفاده دور راه تلفن های سیستم

ش��بکه دیگر تجاری کاربردهای خود لیست درDARPAکند. می تثبیت کنن��ده دس��ته کن��ترل، کن��د: فرآین��د می مع��رفی چ��نین را عصبی های

از عص�بی. بع�د ه�ای ش�بکه ریس�ک آن�الیز سیس�تم و ص�وتی ردی�اب در عص��بی ه��ای شبکه ، کرد ارائه را خود گزارشDARPA که زمانی

اند. شده گرفته کار به نیز دیگر های زمینه بسیاریزمین - جو3

پ��رواز، مس��یر س��ازی ش��بیه خلب��ان، ب��دون هواپیماهای در باال کارایی ش��بیه اتوماتی��ک، خلب��ان بک��ارگیری اف��زایش هواپیم��ا، کنترل سیستمهواپیما. اجزای یابی عیب هواپیما، اجزای سازی

- خودرو4ضمانت. فعالیت تحلیل خودرو، اتوماتیک هدایت سیستم

- بانکداری5 تقاض��ای ارزی��ابی خوان��د، می را مس��تندات دیگر یا چک که دستگاهیاعتبار. گشایش

9

های شبکهعصبی

اعتباری کارت فعالیت کردن - چک6 غ��یر اعتب��اری ک��ارت فع��الیت ک��ردن متوق��ف برای عصبی های شبکهشود. می استفاده شوند می گم که اعتباری های کارت یا مجاز

دفاعی - نیروی7 هدفمن��د، گذاشتن فرق و تبعیض هدفمند، رویارویی نظامی، حکومت ص��وتی ردی��اب سنس��ورها، از جدی��دی ان��واع چهره، تشخیص سیستم

م��تراکم انظم��ام به رادار و تصویر سیگنال پردازش دریایی، زیر برای شناس��ایی پارازیت، از جلوگیری و خصیصه استخراج اطالعات، کننده

سیگنال. و تصویر- الکترونیک8

مجتم��ع، م��دار تراش��ه نقش��ه برنام��ه( ، ک��د)رم��ز، ت��والی گویی پیش بن��دی م�دل و ماش��ینی نگ��رش تراش��ه، خ�رابی تحلی��ل فرآیند، کنترلخطی.

- سرگرمی9ویژه. های جلوه انیمیشن،

- مالی10 آزمایش وام، پرداخت مشاوره واقعی، دارایی قیمت تعیین و ارزیابی

ش��رکت، م��الی آن��الیز ، س��هام تج��اری برنامه اعتبار، حد تحلیل رهن،رایج. پول ارزش گویی پیش- صنعت11

کوره از شده خارج گازهای مقدار گویی پیش برای عصبی های شبکهشده. داده ترتیب صنعتی فرآیندهای دیگر و ها

- بیمه12بیمه. عملکرد ارزیابی

کردن - تولید13 ی���ابی عیب محص���ول، ط���راحی و تحلی���ل تولی���د، فرآین���د کن���ترل

کن��ترل سیس��تم فع��الیت، واقعی زم��ان تش��خیص ماشین)دس��تگاه( ، آن��الیز تولی��دی، کاغ��ذ کیفیت جوش��کاری، کیفیت آنالیز ، بصری کیفی

فل��ز(، س��لیش)ت��راش عملی��ات آن��الیز کامپیوتری، های تراشه کیفیت پیشنهاد ها، دستگاه نگهداری تحلیل شیمیایی، محصول طراحی آنالیز

فرآین��د سیس��تم دینامی��ک بن��دی مدل ریزی، برنامه و مدیریت پروژه،شیمیایی.

-دارویی14 ،ECG مغز( و نگاره )برقEEG تحلیل سینه، سرطان سلولهای آنالیز

هزین��ه کاهش اعضا، پیوند زمان سازی بهینه مصنوعی، اندام طراحی

10

های شبکهعصبی

آزم��ایش و تس��ت مش��اوره بیمارس��تان، کیفیت بودن باال بیمارستان،اورژانس. اتاقگاز و - نفت15

اکتشاف.- رباتیک16

سیس��تم مک��انیکی، ب��ازوی کنترلره��ای جرثقی��ل، رب��ات مسیر، کنترلمشاهده.

- سخنرانی17صوتی. بندی طبقه گفتار، تراکم سخن، تشخیص

بهادار - اوراق18سهام. فروش و خرید مشاوره سیستم بازار، تحلیل

- ارتباطات19 زم��ان خودک��ار، اطالع��ات ه��ای سرویس اطالعات، و عکس فشردن پ��رداخت پ��ردازش ه��ای سیستم شده، صحبت زبان از ترجمه واقعی

مشتری.نقل و - حمل20

ه��ای سیس��تم وسایل، زمانبندی کامیون، ترمز یابی عیب سیستمهایمسیریابی.

11

های شبکهعصبی

دوم فصل

12

های شبکهعصبی

عصبی مدلساده(: عصبی)عصب نمونه

داده نشان زیر شکل در منفرد عددی ورودی یک با عصبی رشته یکچپ( است)سمت شده

WP اس��کالر حاص��ل ک��ه ش��ده ض��ربW وزن درP ورودی اس��کالر اینج��ا گ��یرد. در می ق��رار رابط��ه در ض��رب حاص��ل ب��ود. این خواه��د اس��کالر ک��ه استf انتقال تابع متغییر تنهاWP شده داده وزن ورودی

اس��کالر دارای راس��ت س��مت عصبی کرده. رشته تولید راa خروجی نقطه درWP حاصل به سادگی به بایاس که بینید است. میb بایاس

می منتق��ل چپ س��مت بهb اندازه به راf تابع و شود می اضافه گره ی��ک بای��اس ک��ه تف��اوت این ب��ا اس��ت وزن ب��ه شبیه خیلی کند. بایاس

اس��ت ش��بکه انتق��ال تابع ورودی که n دارد. 1 بردار از ثابت ورودی وWP ش��ده داده وزن ورودی جم��ع حاص��ل که است اسکالر یک خود

)فصل استf انتقال تابع آرگومان جمع حاصل . این باشد می بایاس مع������رفی ش������بکه ورودی ب������رای را دیگ������ری روش ی������ک7

کند(. میfکه است انتقال تابع [ که است شکلS تابع یک یا ای پله تابع یک نوعا

راn آرگوم��������������������������������������������������������������������������ان مختل��ف انتق��ال تواب��ع از هایی دهد. مثال می راaخروجی و گیرد می دو ه��رb وW ک��ه ش��ود اس��ت. توج��ه ش��ده ارائ��ه بع��دی بخش در

ش��بکه اص��لی هس��تند. نظیری��ه عصبی شبکه تنظیم قابل پارامترهای ک�ه ک�نیم تنظیم ط�وری را پارامتره�ایی چ�نین ک�ه اس�ت این عص�بی این باشد. بن��ابر داشته را دلخواه رفتار یا دلخواه مقدار شبکه نمایش

ب��رای را ای ش��بکه بای��اس و وزن پارامتره��ای تنظیم ب��ا توانیم می ما ب�ه رس��یدن ب�رای پارامترزه��ا دهیم. تنظیم ت�رتیب ای ویژه کار انجام

ده��د. تم��ام می انج��ام ش��بکه خ��ود احتماال را نهایی های هدف بعضی در بای��اس ی��ک و دارند بایاس یک ابزار جعبه این در عصبی های رشته

13

های شبکهعصبی

اس��ت ممکن ح��ال هر . به شود می استفاده ما های مثال از بسیاریکنید. حذف خود عصبی رشته از را بایاس بخواهید شما

قاب��ل )اسکالر تعدیل قابل پارامتر یک بایاس شدیم متذکر قبال چنانکه ب��ردار حال هر به نیست، ورودی یکbاست. عصبی رشته تعدیل( از

بایس�ت می و اس�ت ورودی ی�ک کن�د می تحریک را بایاس که1 ثابت 4 فصل در را ورودی بردارهای بین خطی وابستگی که هنگامی مانند

شود. رفتار آن با گیریم می نظر در انتقال توابع

آنه��ا از کام��ل لیست . یک است ابزار جعبه این در زیادی انتقال توابع از ت��ا3 ببینی��د. 14 فص��ل در انتق��ال تواب��ع ش��کل در توانی��د می را

است: آمده زیر در توابع این ترین عمومی

n ازای ب��ه ک��ه بط��وری باشد می محدود بسیارhard-limit انتقال تابع و بزرگ��تر هایn ازای به و صفر برابرa خروجی صفر از کوچکتر های

در انتق��ال ت��ابع این از اس��ت. م��ا ی��ک برابرa خروجی ، صفر مساوی طبق��ه را ها گیری تصمیم که عصبی های رشته ساختن برای3 فصل hardlim ن��ام ب��ه ت��ابعی اب��زرا ک��نیم. جعب��ه می استفاده کند می بندی . اس��تhard-limit انتقال تابع به مربوط ریاضیات درک برای که دارد

است: زیر صورت به تابع این از استفاده

14

های شبکهعصبی

[5,5]- ب��ازه روی ب��رhardlimتابع از طرحی و نمودار یک فرمول این می اب��زار جعب��ه این در ریاض��یاتی انتق��ال تواب��ع کن��د. تم��ام می تولیدباشند. داشته مشابه نام با تابع یک توانند

است. شده داده نشان زیر در خطی انتقال تابع

" در خطی ه��ای زنن��ده تقریب عنوان به نوع این از عصبی های رشتهlinear filtersگیرند. می قرار استفاده مورد4 فصل " در

است. شده داده نشان زیر در که شکلS انتقال تابع

کند می قبول بینهایت منفی تا بینهایت مثبت بین را ها ورودی تابع این در بیش��تر ش��کلS انتق��ال ت��ابع ده��د. این می1 و0 بین خ��روجی و

دارن�������د عقب ب�������ه برگش�������ت ک�������ه ه�������ایی ش�������بکه(backpropagation networksاستفاده ) شوند. می

نش��ان انتق��ال تواب�ع ه��ای گ��راف کن��ار در مربع یک در که هایی نشانه بجای ها آیکون . این هستند انتقال توابع های وابسته است شده داده

15

های شبکهعصبی

fکه را خاصی انتقال تابع تا نشینند می ها شبکه نمودار های جعبه در دهند. نشان را شود می استفاده

ب��ه آنه��ا هخ��ای آیک��ون و انتق��ال تواب�ع از کام��ل لیست یک دیدن برای می کنی��د. همچ��نین رج��وع14 فص��ل انتق��ال« در تواب��ع »نمودارهای

خ��ود ب��رای را14 فصل انتقال توابع از بغیر دیگری انتقال توابع توانید انتق��ال تواب�ع و س��اده عصبی رشته یک با تواند می کنید. شما انتخابدهید. انجام را آزمایشیnnd2n1 برنامه کردنrun بوسیله مختلفبرداری ورودی با عصبی رشته

داده نش��ان زی��ر در ج��زئیR ورودی بردار تک یک با عصبی رشته یک زی��ر ش��کل ب��ه ورودی ف��رد ب��ه منحص��ر اج��زای اینجا . در است شده

است:

شوند: می ضرب زیر های وزن در که

شوند. می جمع اتصال نقطه در شده داده وزن مقادیر کهداریم. ای نقطه ضربPبردار وW سطر( ماتریس )یک بین

باn شبکه ورودی تشکیل برای که استb بایاس دارای عصبی رشتهشود. می جمع شده داده وزن های ورودی

شود: می نوشته زیر بصورتMatlab در عبارت این

جزئی��ات ش��امل ب��اال در ش��ده داده نش��ان عصبی رشته تک یک شکل را عص��بی رشته زیادی تعداد با شبکه یک ما که است. هنگامی زیادی

ب��اعث ک��ه ب��ود خواه��د زیادی بسیار جزئیات دارای گیریم می نظر در ب��رای تدبیری مولفان . بنابراین شد خواهد افکار پراکندگی و انحراف اندیش��یده ف��رد به منحصر عصبی رشته یک برای نمادها کردن خالصه

16

های شبکهعصبی

اس�تفاده م�ورد چندگان�ه عص�بی ه�ای رش�ته در بعدا که نماد اند. ایناست. شده داده نشان زیر شکل در گیرد می قرار

چپ س��مت در رن��گ س��یاه میل��ه ی��ک بوسیلهP ورودی بردار اینجا در ذکر است. )شایانP، R×1 بردار است.اندازه شده داده نشان شکل ک��ردیم اس��تفاده قبلی عبارت درR مانند بزرگ حروف از ما که است

جزءR با بردار یکPاست( . بنابراین بردار اندازه به اشاره برای این W س��تونیR و س��طری ت��ک ماتریس در ها ورودی ستون است. این

ورودی یک بعنوان1 ثابت شد گفته قبال که شود. همانطور می ضرب . قابل گردد می ضربb بایاس عدد در و شود می عصبی رشته وارد خ��روجی باش��یم داشته عصبی رشته یک از بیش ما اگر که است ذکر

نش��ان ب��اال در شبکه یک از الیه باشد. یک بردار یک بایست می شبکه وضرب)در جمع اپراتورهای ، ها وزن شامل الیه .یک است شده داده اس��ت. ی��کf انتقال تابع وb است(،بایاسWP شده تولید بردار اینجابود. نخواهد جداگانه الیه یکP بردار عبارتی به یا ها ورودی از آرایه

م��ورد اس��ت ش��ده مختص��ر ک��ه ش��بکه نمادگ��ذاری این ک��ه زم��ان هر متغی��یر ن��ام زی��ر در بایست می ها ماتریس اندازه گیرد قرار استفادهشود. نوشته ماتریس

ش�کل در مخص�وص انتقال تابع یک که هنگامی قبلی توضیح عنوان به ق����������������������رار اس����������������������تفاده م����������������������ورد

ش��ده داده نشانf انتقال تابع جایگزین آن نشانه و عالمت ، گیرد میبینید: می را مثال چند اینجا بود.در خواهد باال در

17

های شبکهعصبی

شبکه ساختن می س��ادگی ب��ه ش��د داده نش��ان که عصبی رشته بیشتر تعدادی یا دو

توان��د می خ��اص ش��بکه ی��ک و ش��وند ت��رکیب الی��ه یک در هم با توانند ه��ای رش��ته از الی��ه ی��ک باش��د. ابت��دا الی��ه بیشتری تعداد یا یک شاملگیریم. می نظر در را عصبی

عصبی: های رشته از الیه یک زی��ر بصورت عصبی رشتهS و ورودی جزءR با ای الیه یک شبکه یک

است:

W وزن م��اتریس واس��طه بهP ورودی بردار در جزء هر شبکه این در n(i) ی��ک عص��بی رش��ته امینiش��ود. می متص��ل عصبی رشته هر به

آم��ده بدس��ت بای��اس و ش��ده داده وزن ه��ای ورودی جم��ع از که دارد را ج��زئیS ش��بکه ورودی ب��ردار ی��ک هم ب��ا مختل��ف ه��ایn(i)اس��ت

تش�����������������������������������������������������������������������������������کیل ب��ود. خواه��دa س��تونی ب��ردار عص��بی الی��ه خروجی انتها دهند.در می

ورودی تع��داد که است معمولی کامال مطلب این که شویم می یادآور] الی�ه باش�د. ی�ک متف�اوت عص�بی های رشته تعداد با الیه به ها الزام�ا

می باشد. ش��ما داشته یکسان عصبی های رشته و ورودی تعداد نباید تواب�ع دارای ک�ه عص�بی ه�ای رش�ته )مرکب( از منفرد الیه یک توانید ه��ایی ش��بکه از ت��ا دو ک��ه ترتیب بدین ، بسازید هستند متفاوت انتقال

بایست می شبکه دو دهید.هر قرار موازی هم با را شد داده نشان که از تع��دادی بایس��ت می ش��بکه هر و باشند داشته یکسان های ورودی

18

های شبکهعصبی

W م��اتریس واس��طه ب��ه ورودی بردار کند. اجزاء تولید را ها خروجیشوند. می شبکه وارد

ک��ه عص��بی رش��ته مقص��د آدرسWم��اتریس در سطرها های شماره منب��ع ه��ا س��تون ه��ای شماره و دهد می نشان را رسد می آن به وزن

،W1,2اندیس دهد. بنابراین می نشان وزن آن برای را ورودی ق��وت می نشان را اول عصبی رشته به دوم ورودی جزء از ورودی سیگنال

زی��ر بص��ورت تواند می منبعیR و ای رشتهS ای الیه یک دهد. شبکهشود. خالصه

b وa وS×Rم��اتریس ی��کR ، W طول با ورودی بردار یکP اینجا در هستند. sطول به بردارهاییها الیه و ها ورودی

هستند الیه چندین دارای که کنیم می توصیف را هایی شبکه اکنون ما بحث م��ورد موض��وع ب��ه را خ��ود س��ازی نم��اد که داریم نیاز بنابراین ،

ب��ه ک��ه وزنی ه��ای م��اتریس بین بای��د م��ا . بخص��وص دهیم گس��ترش متص��ل ه��ا الی��ه بین که وزنی های ماتریس و هستند متصل ها ورودی

ه��ا وزن مقص��دهای و من��ابع بای��د شویم. همچنین قائل فرق اند شدهشوند. مشخص ورودی« و ه��ای »وزن را هس��تند متص��ل ورودی به که هایی ماتریس الیه« می های »وزن را هستند ها الیه خروجی که وزنی های ماتریس

دوم( )ان��دیس منابع کردن مشخص برای نویس باال از نامیم. همچنین

19

های شبکهعصبی

مختل��ف ه��ای وزن ک��ردن مشخص اول(برای )اندیس نویس زیر از و دوب��اره را ش��بکه این بحث ش��ده مش��خص ک��نیم. ب��رای می استفاده

پ��������������������ایین در خالص��������������������ه بص��������������������ورتکشیم. می

متص��لP ورودی ب��ردار به که وزنی ماتریس ما بینید می که همانطور ک��رده گ��ذاری ( ن��امIW1,1ورودی) وزن ماتریس یک عنوان به را است

)ان����دیس1 مقص����د دوم(و )ان����دیس1 منب����ع ی����ک دارای ک����ه ایم خ��روجی و ش��بکه ورودی ، بای��اس مانند اول الیه اجزاء اول(.همچنین

اول الی��ه ب��ه آنه��ا ک��ه ده��د می نش��ان ک��ه هس��تند1 نویس باال دارای (LW) الی��ه وزن م��اتریس از م��ا بع��د بخش باش��ند. در می وابس��ته ب��رای ک��د ب��ه ریاضی از وزن ماتریس تبدیل . برای کنیم می استفاده

کنیم: می عمل زیر ترتیب به مخصوصی شبکه

تابع تابع برای شبکه ورودی آوردن بدست برای توانیم می ما بنابراین زی�����������������������ر بص�����������������������ورت انتق�����������������������ال

کنیم: نویسی کد

عصبی های رشته از چندگانه های الیه ی��ک دارای . هرالی��ه باش��د الی��ه چن��دین دارای توان��د می ش��بکه ی��ک

است. برایaخروجی بردار یک و بایاس، بردار یک ،Wوزن ماتریس ک��دام هر و... برای خروجی های بردار ، وزن های ماتریس دادن تمیز

نظ��ر در متغییرها برای نویس باال بصورت الیه شماره یک ، ها الیه از را الی��ه س��ازی نم��اد ن��وع این از اس��تفاده توانی��د می گیریم. شما می

ببینید. زیر شکل در ای الیه سه شبکه یک برای

20

های شبکهعصبی

در عص��بی رش��تهS1 و ورودیR1دارای باال در شده داده نشان شبکه تع��دا و... اس��ت. داش��تن دوم الی��ه در عص��بی رش��تهS2 ، الی��ه اولین

] مختل��ف ه��ای الیه برای عصبی های رشته از متفاوتی معم��ولی ک��امال می تغذیه عصبی رشته هر برای را ها بایاس ،1 ورودی . ثابت است

اس��ت دیگر ای الیه ورودی ، میانی الیه هر خروجی که کنید کند. توجه S2 و ورودیS1 ب��ا ش��بکه اول الی��ه عنوان به تواند می2 الیه . بنابراین

گیرد. قرار تحلیل و تجزیه موردS1× S2 وزن ماتریس و عصبی رشتهاست. a2 آن خروجی و استa1 ،2 الیه ورودی

کردیم مشخص را دوم الیه های ماتریس و بردارها تمامی ما بنابراین م��ورد الی��ه ت��ک ش��بکه ی��ک عنوان به را الیه این توانیم می ما اکنون ،

ب��ه را الی��ه ه��ر ت��وانیم می روش این از اس��تفاده . با دهیم قرار بحث ای الی��ه چن��د ش��بکه ی��ک ه��ای . الی��ه بگیریم نظر در شبکه یک عنوان

ک��ه ای دارند(. الی��ه مختلفی دهند)وظایف می انجام مختلفی کارهای تمامی و شود می نامیده خروجی الیه کند می تولید را شبکه خروجی

ای الی��ه س��ه ش��وند. ش��بکه می نامی��ده پنهان های الیه دیگر های الیه اس��ت. پنه��ان الیه دو و خروجی الیه یک دارای باال در شده داده نشان که برند می نام الیه چهارمین عنوان به ها ورودی از مولفین از بعضی

اس������������������تفاده اس������������������م این از اینج������������������ا در زی��ر ص��ورت ب��ه توان��د می ب��اال در ش��ده داده نشان شود. شبکه نمی

شود. خالصه

21

های شبکهعصبی

ش��بکه ی��ک مثال عنوان هستند. به قدرتمند بسیار الیه چند های شبکه خطی آن دوم الی��ه وsigmoid ت��ابع دارای آن اول الی��ه ک��ه ای الی��ه دو

داد. در آم��وزش ت��ابعی ه��ر زدن تق��ریب ب��رای ت��وان می را باشد می خ��روجی ک��ه ، اس��تa3 س��وم الی��ه خ��روجی که کنیم می فرض اینجا

ب��رای نمادس��ازی این از ایم. م��ا نامی��دهY را خ��روجی و است شبکهکنیم. می استفاده چندالیه های شبکه خروجی تعیین

داده ساختار س��ازی شبیه بر را ها داده ساختار فرمت تاثیرات چگونگی بخش این

دهد. می توضیح ها شبکه می دینامیک های شبکه به و کنیم می شروع استاتیک های شبکه با ما

گیریم.: می نظر در را ورودی بردارهای از ای پایه نوع دو رسیم. ما اتف��اق زم��ان یک در افتند)یا می اتفاق همزمان بطور که آنهایی-1

ندارند( . بخصوصی زمانی ترتیب یا افتند، میافتند. می اتفاق زمان در پی در پی بطور که آنهایی-2 م��ا اگ��ر و نیس��ت ( مهمorderطبقه) و دسته زمان هم بردارهای برای ت��وانیم می ش��وند اج��را موازی صورت به که باشیم داشته شبکه چند برداره��ای بگ��یریم. ب��رای نظ��ر در شبکه هر برای را ورودی بردار یک ش�ود می ظ�اهر آن در بردار که ای طبقه و )متوالی( دسته پی در پی

است. مهم

استاتیک های شبکه در زمان هم بردارهای با سازی شبیه ای ش��بکه ک��ه اس��ت زم��انی شبکه یک سازی شبیه از ای ساده حالت

ش���������������ود می س���������������ازی ش���������������بیه ک���������������ه باش��د. در نداش��ته ت��اخیر ( وfeedbackب��ازخورد) یعنی ، باشد استاتیک

ت��والی ی��ک در ک��ه ورودی برداره��ای به زیاد بایست نمی ما مورد این ب�ا را مس�ئله م�ا ک��نیم. بعالوه توج�ه افتد می اتفاق بخصوصی زمانی

22

های شبکهعصبی

می دارد ورودی ب��ردار ی��ک تنه��ا ش��بکه که فرض این با و ساده اعدادبگیرید: نظر در مثال یک عنوان به را زیر سازیم. شبکه

Set ب��رای upش��بکة این ک��ردن feedforwardاین از توانی��د می ش��ما کنید: استفاده دستور

می نظر در زیر صورت به را بایاس و وزن ماتریس سادگی برایگیریم:

است: زیر صورت به موارد این برای دستورات

بردارQ =4شامل شبکه سازی شبیه اطالعات مجموعه کنید فرض باشد. می زمان هم ورودی

می ارائه شبکه برای ماتریس یک عنوان به زمان هم های بردارشوند:

کنیم: سازی شبیه را شبکه توانیم می اکنون ما

و است شده ارائه شبکه به زمان هم بردارهای از منفرد ماتریس یک خروجی عنوان به زمان هم بردارهای از منفرد ماتریس یک شبکه

23

های شبکهعصبی

نتیجه هم باز کند عمل موازی طور به شبکه4 است. اگر ساخته و گیرد می را ورودی بردارهای از یکی شبکه هر و بود خواهد همین خیلی ورودی بردارهای بندی دهد. دسته می را ها خروجی از یکینیست. مهم

دینامیک های شبکه در متوالی بردارهای با سازی شبیه می معموال شبکه ورودی ، داریم تاخیر با شبکه یک ما که هنگامی قطعی زمان یک در که باشد ورودی بردارهای از توالی یک بایست تاخیر یک با شبکه یک از مورد این تشریح افتد. برای می اتفاق

کنیم. می استفاده

است: زیر بصورت سازد می را شبکه این که دستوراتی

زیر در آن دستورات دهیم. که می قرارW=[1 2] را وزن ماتریسآمده:

است: زیر صورت به ورود توالی که کنید فرض

شود: می ارائه زیر صورت به که

کنیم: سازی شبیه را شبکه توانیم می اکنون ما

24

های شبکهعصبی

ش��وند می ارائ��ه مت��والی ص��ورت به ها ورودی که زمانی ، کنید توجه از ج��اری خ��روجیcase این . در اس��ت مهم ه��ا خ��روجی بن��دی دسته

حاص��ل نت��ایج جم��ع و2 از قبلی ورودی و1 از ج��اری ورودی ض��رب در ک��ه اع��دادی ، دهیم تغی��یر را ه��ا ورودی ت��رتیب ما است. اگر شده

کرد. خواهد تغییر آوریم می بدست خروجی هQQای شQQبکه در زمQQان هم هQQای ورودی بQQا سQQازی شQQبیه

دینامیک این ب�ا ب�ریم، بک�ار قب�ل مثال های ورودی با مشابهی های ورودی اگر

زم��ان هم ورودی مجموع��ه یک ، متوالی های ورودی بجای که تفاوت ی�������افت در متف�������اوت ک�������امال ج�������واب ی�������ک باش�������د،

ش��ود می تع��یین ک��ه ورودی ه��ر ک��ه اس��ت این مانن��د . این ک��نیم میداریم: قبل مثال برود. برای موازی شبکه یک به همزمان

است: زیر صورت به آن کد که

داریم: شبکه سازی شبیه برای و

تعری��ف جداگانه های شبکه برای را ها ورودی از یک هر زمان هم اگر همین ن��یز ک��ردیم می محاس��به را خ��روجی ی��ک س��پس و ک��ردیم می

اولی��ه ش��رط هیچ اینج��ا ما که کنید آوردیم. توجه می بدست را جوابایم. نکرده تعیین ها تاخیر برای ای برای را شبکه جواب بخواهیم که است ممکن ما قطعی های مثال در

ما مثال این کنیم. در سازی شبیه زمان یک در مختلف توالی چندین کنیم. فرض ارائه را ها توالی از زمان هم مجموعه یک خواهیم میبدهیم: شبکه به را زیر توالی دو خواهیم می ما کنید

شود. می ارائه زیر صورت به که

کنیم: سازی شبیه را شبکه توانیم می اکنون

25

های شبکهعصبی

مت��والی خ��روجی ، م��اتریس ه��ر اول س��تون بینی��د می ک هم��انطور ماتریس هر ستون دومین و است اول متوالی ورودی از شده ساخته

اس��ت. در دوم مت��والی های ورودی از شده ساخته ، متوالی خروجی این مانن��د ن�دارد. این وج�ود همزم�ان ت�والی دو بین متقابلی اثر اینجاکنیم. اجرا و بدهیم شبکه یک به را ها ورودی از یک هر ما که است که هنگامی راSim تابع برایP ورودی برای اصلی فرمت زیر شکل

دهد. این می داریم.نشان زمانی مرحلهTS از زمان هم توالیQ ما را دارد وجود ورودی بردار یک آن در که را حاالتی تمامی حالت

از ماتریس یک ای، آرایه سلول از جزء دهد. هر می پوشش هر برای زمان در یکسان نقاط مانند که است زمان هم بردارهای

های ماتریس باشم داشته ورودی بردار چندین است. اگر توالیبود. خواهند سطر چندین دارای ای آرایه های سلول در موجود

های شبکه برای را متوالی و زمان هم های ورودی ما بخش این در برای را زمان هم های ورودی قبل بخش در و بردیم بکار دینامیک

های ورودی است ممکن کردیم. همچنین ارائه استاتیک های شبکه در تغییری مسأله بریم. این بکار استاتیک ای شبکه برای را متوالی بر است ممکن کند. اما نمی ایجاد شبکه از شده سازی شبیه جواب بعد بخش در مسأله باشد. این مؤثر شبکه دادن ترتیب نحوه روی

شود. می روشنآموزش های روش

کنیم. در می معرفی آموزش برای مختلف روش دو ما بخش در شبکه های بایاس و ها ( وزنIncremental Trainingافزایشی) آموزش

شوند. در می بهنگام شود می وارد شبکه به ورودی یک که زمان هر که زمانی تنها ها بایاس و ها ( وزنBatch Trainingگروهی) آموزش

شوند. می هنگام به شدند، ارائه ها ورودی تمامافزایشی آموزش

26

های شبکهعصبی

و استاتیک های شبکه نوع دو هر برای توانند می افزایشی های شبکه تر عمومی دینامیک های شبکه از شوند. استفاده گرفته بکار دینامیک

بر افزایشی آموزش چگونه که دهیم می نشان بخش این است. درشود. می اجرا دینامیک و استاتیک شبکه دو هر روی

استاتیک های شبکه با افزایشی آموزش در دوباره را کردیم، استفاده مثال اولین در که را استاتیکی شبکه دهیم. ترتیب افزایشی بصورت را آن خواهیم می بگیرید. ما نظر

شود می ارائه که ورودی هر از بعد باید ها بایاس و ها وزن بنابراین و کنیم می استفادهadapt تابع از ما مثال این شوند. در بهنگامکنیم. می ارائه پی در پی و متوالی بصورت را اهداف و ها ورودی+t=2p1 خطی تابع که دهیم ترتیب را ای شبکه خواهیم می کنید فرض

p2بسازد. راداریم: ها ورودی برای

هستند: زیر بصورت اهداف و

. دهیم می ترتیب را صفر های بایاس و ها وزن با ای شبکه ابتدا در می قرار صفر ( راLearning Rateیادگیری) سرعت ابتدا در معموال ما

دهیم.

ارائه متوالی بصورت را اهداف و ها ورودی افزایشی آموزش برایکنیم: می

بصورت ها ورودی چه استاتیک شبکه یک برای که شویم می یادآور آرایه بصورت چه و شوند ارائه زمان هم بردارهای از ماتریس یک

خواهند یکسان خروجی و جواب ، متوالی بردارهای از سلولی های شرایطی هر در آموزشی های شبکه مورد در موضوع بود. این اگر سود، می استفادهadapt تابع از که بود. هنگامی نخواهد برقرار شوند ارائه متوالی بردارهای از سلولی های آرایه بصورت ها ورودی

که شوند. همانطور می بهنگام ورودی هر ارائه از بعد ها وزن آنگاه

27

های شبکهعصبی

از ماتریس یک بصورت ها ورودی اگر دید خواهیم بعد بخش در کلیه که زمانی تنها ها وزن آنگاه ، شوند ارائه زمان هم بردارهای

شوند. می بهنگام شوند ارائه ها ورودیدهیم: می ترتیب افزایشی بصورت ای شبکه اکنون ما

صفر ، است صفر یادگیری سرعت که زمانی تا شبکه های خروجی اهداف برابر خطاها و شوند نمی بهنگام ها وزن و ماند خواهد باقی

بود: خواهند

چگونه که دید خواهیم دهیم قرار0. 1 را یادگیری سرعت ما اگرشود. می بهنگام ورودی هر ازای به شبکه

ب��ود. خواهد صفر یادگیری سرعت که است حالتی مانند اول خروجی صورت شدنی بهنگام هیچ ، نشود وارد ورودی اولین که زمانی تا زیرا . ان��د شده بهنگام ها وزن زیرا است متفاوت دوم گیرد. خروجی نمی اص�الح ، ش��ود می محاس��به ک��ه خط��ایی ه��ر با پیوسته بطور ها وزنکنند. می حرکت صفر سمت به سرانجام شوند. خطاها می

دینامیک های شبکه با افزایشی آموزش حالت این واقع . در داد ترتیب توان می نیز را افزایشی های شبکه در را تأخیر یک با خطی شبکه دهید است. اجازه تر عمومی بسیار های کند. وزن می استفاده قبل مثال های ورودی از که بگیریم نظر می0.1 را یادگیری سرعت و دهیم می قرار صفر برابر را اولیه

گذاریم:

را اهداف و ها ورودی ما افزایشی شبکه این دادن ترتیب برایکنیم. می ارائه آرایه یک اجزای بصورت

28

های شبکهعصبی

های ورودی که دهیم ترتیب را ای شبکه کرد خواهیم سعی اینجا در . این کند جمع هم با جاری خروجی ساخت برای را قبلی و جاری

استفادهSim با قبلی مثال مادر که است متوالی ورودی مشابه تأخیر برای متوالی بصورت اولیه مقدار یک ما که تفاوت این با کردیم

شبکه یکadapt از استفاده با توانیم می گیریم.اکنون می نظر دردهیم. ترتیب را متوالی

. وزن اند نشده بهنگام هنوز ها وزن . زیرا است صفر خروجی اولینشوند. می بهنگام زمانی مرحله هر در ها

ای دسته آموزش تنها ها بایاس و ها وزن آن در که است روشی ای دسته آموزششوند. می بهنگام شوند ارائه اهداف و ها وروی تمام که زمانی

دینامیک و استاتیک شبکه دو هر برای توانیم می را ای دسته آموزشبریم. بکار

استاتیک های شبکه با ای دسته آموزش کند. استفادهtrain وadapt تابع دو هر از تواند می ای دسته آموزش دسترسی تابع این است. چونکه بهتری گزینهtrain کلی بطور اگرچه

افزایشی دارد. آموزش مؤثرتریtraining های الگوریتم به بیشتری می انجام را ای دسته آموزش تنهاtrain، کند می کارadapt با تنها

کنیم. سرعت شروع قبل، مثال استاتیک شبکه با دهید دهد. اجازهدهیم: می قرار0.1 را یادگیری

ورودی بردارهای ،adapt با استاتیک شبکه در ای دسته آموزش برایگیرند. قرار زمان هم بردارهای از ماتریس یک در بایست می

پیش که )راadapt ، train کنیم می فراخوانی راadapt ما که هنگامی تابع فرض پیش )کهlearnwh خطی( و شبکهadaption تابع فرض

learningاز کند. بنابراین می فراخوانی را ( است Widrow-Hoff Learningشود. می استفاده

29

های شبکهعصبی

تا ها وزن هستند. زیرا صفر همگی شبکه های خروجی که کنید توجه

ما . اگر شوند نمی بهنگام نشود ارائه آموزش شبکه کل که زمانیداشت: خواهیم دهیم نمایش را ها وزن

دهیم. انجامtrain با را گروهی آموزش همان که دهید اجازه حالقانون چونکه

Widrow-Hoffمی استفاده ای دسته و افزایشی روش دو هر در . ولی شود فراخوانیtrain یا adapt بوسیله تواند می ، شود

آموزش در تنها توان می که دارد وجود هم مختلفی های الگوریتم می ارائه ، ترتیب همین به را ای شود. شبکه استفاده افزایشی

کنیم:

حالت دو هر حالت دو هر تواند می ورودی بردار مثال این برای متوالی بردارهای از سلولی آرایه یا زمان هم بردارهای از ماتریس یک به تبدیل متوالی بردارهای از ای آرایه سلول هرtrain باشد. در که است خاطر بدین شود. این می زمان هم بردارهای از ماتریس

کند. می کار افزایشی آموزش در تنهاtrain و است استاتیک شبکه

دوره یک برای را شبکه . ما هستیم شبکه دادن ترتیب آماده ما اکنون train، خطی شبکه برای آموزش تابع فرض دهیم. پیش می ترتیب .Learnwh ها بایاس و ها وزن برای یادگیری تابع فرض پیش و است

مثال درadapt از که حالتیکه با مشابهی های جواب باید ما بنابراین یکی تابع دو هر فرض پیش آوریم. زیرا بدست کردیم استفاده قبل

است.

30

های شبکهعصبی

خواهیم دهیم نشان آموزش دوره یک از پس را ها وزن ما اگرداشت:

آمد. بدست گروهی آموزش روش با که است نتایجی با مشابه که

31

های شبکهعصبی

دینامیک های شبکه با ای دسته آموزش train تابع از ما دارند. اگر ساده نسبتا آموزشی ، استاتیک ها شبکه

خواهد ای دسته روش به شود می مرتب که ای شبکه کنیم استفاده شوند. حتی می تبدیل زمان هم بردارهای به ورودی بردارهای و بود] در آنها اگر کنیم استفادهadapt از اگر باشند. و پی در پی بعنوان ابتدا

ها ورودی کند. اگر می مشخص را آموزشی متد ورودی، فرمت می داده ترتیب افزایشی آموزش با شبکه باشند متوالی بصورت

روش از باشند زمان هم بردارهای بصورت ها ورودی شود. اگرشود. می استفاده گروهی آموزش

انجامtrain با تنها نوعا ای دسته آموزش روش دینامیک های شبکه در] می باش�د. داش�ته وج�ود آموزش�ی توالی یک تنها اگر شوند. خصوصا

ی�ک ب�ا خطی ش�بکه دوب�اره دهی�د اجازه مطلب این دادن نشان برای آم��وزش ب��رای0.02 ی��ادگیری سرعت از بگیریم. ما نظر در را تاخیر

کنیم. می استفاده

آموزش در آنچه با مشابه های توالی با ای شبکه خواهیم می که خواهیم می بار این دهیم. ولی ترتیب کردیم استفاده افزایشی

بهنگام شدند، برده بکار ها ورودی تمام اینکه از بعد تنها ها وزن شوند. زیرا می سازی ترتیبی)متوالی( شبیه روش به شوند. شبکه

روش به ها وزن هستند. اما ترتیبی و متوالی بصورت ها ورودیشوند. می بهنگام ای دسته

بود: خواهند زیر شکل به آموزش دوره یک از بعد ها وزن

کردیم می استفاده افزایشی آموزش از که زمانی با مقادیر این که بهنگام مشاهده یک طول در بار سه ها وزن که است. جایی متفاوت

دوره هر در مرتبه یک تنها ها وزن ای دسته آموزش برای شوند میشوند. می بهنگام

32

های شبکهعصبی

نمودارها و معادالت

33

های شبکهعصبی

34

های شبکهعصبی

35

های شبکهعصبی

36

های شبکهعصبی

37

های شبکهعصبی

38

های شبکهعصبی

39

های شبکهعصبی

40

های شبکهعصبی

41