vi (83_ 96 str) neuronske mreže.ppt

Upload: sandra-pranjic

Post on 07-Jul-2018

219 views

Category:

Documents


0 download

TRANSCRIPT

  • 8/18/2019 VI (83_ 96 Str) Neuronske mreže.ppt

    1/16

      JU UNIVERZITET MAŠINSKI FAKULTET U TUZLI TUZLA

    INTELIGENTNI SENZORIINTELIGENTNI SENZORIIZVOD IZ PREDAVANJA

    Dr.sc. Šarić Bahrudin, van.r!".

    Dr.sc. Šarić Bahrudin Autri!"ana #r$da"an%a

  • 8/18/2019 VI (83_ 96 Str) Neuronske mreže.ppt

    2/16

      J# #NIVERZITET $AŠINS%I &A%#LTET# T#ZLI T#ZLA

    Dr.sc. Šarić Bahrudin Autri!"ana #r$da"an%a Strana &'.

    V'()*a+( n(ur!ns( -r(( 

    U (dina)a *%$ d+a!$ s"$ "$ći ,r% istra-i"a*ih ti)"a ,a"it ć$ s$ #r,+$)ati*) u)%$tnihn$urns*ih )r$-a/ dnsn u)%$tn) int$+i($nci%) u#ć$. U t) s)is+u int$n!i"irati ć$ s$istra-i"an%a ,i0i!i+(i%$/ t$ #sihi*ih #rc$sa )!(a "%$*a d stran$ istra-i"aa i!d("ara%ućih )$dicins*ih naunih disci#+ina. 1"$ r$!u+tat$ #r$u!i)at ć$ t$hni*$ i sta+$!nansti s ci+%$) una#r$2i"an%a #$r0)anci u)%$tnih n$urns*ih )r$-a/ dnsn susta"a u)%$tn$int$+i($nci%$. Int$rdisci#+inarni #ristu# "% #r,+$)atici #sta%$ i)#$rati") na3$( "r$)$na/ a$*u%$ s$ da ć$ stu#an% int$rdisci#+inarnsti %3 "i3$ #rasti.

    U)%$tn$ n$urns*$ )r$-$ i)a%u i!u!$tn 3ir* #dru%$ #ri)%$n$ u #rc$si)a #ti)iran%a/+in$arn( #r(ra)iran%a/ r,tici/ id$nti0i*aci%i s+-$nih dina)i*ih susta"a/ *ntr+i dnsn"2$n%u susta"a/ *+asi0iciran%a si(na+a/ *)uniciran%a/ #r$"2$n%a sa %$dn( na dru($ %$!i*$/ itd. 

    1!,i+%ni%a #ri)%$na u)%$tnih n$urns*ih )r$-a %$ u )$dicini !a #tr$,$ di%a(nsticiran%a i u

    #rc$si)a "2$n%a r,ta. 1sn"na *ara*t$risti*a n$urns*$ )r$-$ %$ da )ra i)ati s#s,nst,r!( u$n%a/ a+i #rit) n%$na stru*tura )ra ,iti 3t %$dnsta"ni%a.

    Kad %$ ri%$ i)#+$)$ntaci%i n$urns*ih )r$-a/ nda s$ "$+i*$ nad$ #+a-u u ra!"% #ti*ihn$urns*ih )r$-a *d *%ih s$ *)uni*aci%$ d"i%a%u ,r!in) s"%$t+sti/ sa aut)ats*)i!)%$n) 4ada#taci%)5 #ara)$tara )r$-$ #r$* *)#%utra i t$*ućih *rista+a.

  • 8/18/2019 VI (83_ 96 Str) Neuronske mreže.ppt

    3/16

      J# #NIVERZITET $AŠINS%I &A%#LTET# T#ZLI T#ZLA

    Dr.sc. Šarić Bahrudin Autri!"ana #r$da"an%a Strana &6.

    Ka#acit$t n$urns*$ )r$-$ %$ %$dan d "a-ni%ih #ara)$tara u c%$ni s#s,nsti u)%$tnihn$urns*ih )r$-a. U,ia%$n %$ ,i+ da s$ *a#acit$t n$urns*$ )r$-$ dr$2u%$ #r$* ,r%an$urna/ t$ ,r%a n$urns*ih s+%$"a. Na%n"i%a istra-i"an%a 4Th)as M. 7"$r/ 899:.(./5#t"r2u%u da *a#acit$t n$urns*$ )r$-$ "isi stu#n%u s+,d$ )r$-$. Stu#an% s+,d$ )r$-$d$0inira s$ *a ,r% #r)%$n+%i"ih 4#d$si"ih5 #ara)$tara )r$-$. Ta*/ na #ri)%$r/ n$urns*a)r$-a r$a+i!irana %$dni) %$dini) n$urn)/ sa #ara)$tr) *%i )-$ ##ri)iti sttinu "ri%$dnstiu ra!+iiti) "r$)$ns*i) tr$nuci)a )-$ i)ati "$ći *a#acit$t d n$urns*$ )r$-$ sa d$s$ta*n$urna s 0i*sirani) #ara)$tri)a 4t$-ina)a5.

    T$r)in neuronska mreža  s$ i!"rn dnsi na )r$-u n$urna *%i su )$2us,n #"$!anisina#sa)a. U #rs%$*u +%uds*i )!a* ini 8.;⋅8.

    1sn"n$ d"i%$ s+insti "%$3ta*ih n$urns*ih )r$-a sa )!() su@  Mr$-a !nan%$ #ri*u#+%a *r! #rc$s$ u$n%a.  T$-ins*i *$0ici%$nti ddi%$+%$ni "$!a)a )$2u n$urni)a 4sina#sa)a5 *rist$ s$ !a)$)risan%$ t(a !nan%a.

  • 8/18/2019 VI (83_ 96 Str) Neuronske mreže.ppt

    4/16

      J# #NIVERZITET $AŠINS%I &A%#LTET# T#ZLI T#ZLA

    Dr.sc. Šarić Bahrudin Autri!"ana #r$da"an%a Strana &;.

    N$*$ d d,rih s,ina n$urns*ih )r$-a su@  Nelinearnost.  N$urn %$ u sn"i n$+in$aran/ 3t i)a !a #s+%$dicu da %$ i sa)a n$urns*a)r$-a n$+in$arna.

      Generalizacija. S#s,nst )r$-$ da da%$ +(in$ i!+a!$ !a u+a!$ *%i nisu *ri3t$ni u t*un%$n( u$n%a.  Adaptivnost . N$urns*a )r$-a tr$nirana da radi u s#$ci0in) *ru-$n%u )-$ s$ #r$tr$niratida s$ #ri+a(di )a+i) #r)%$na)a u #(ns*i) stan%i)a *ru-$n%a.  Dokazni odziv . U *nt$*stu #r$#!na"an%a u!ra*a/ n$urns*a )r$-a )-$ ,iti #r%$*t"anada si(ura n$ sa) in0r)aci%u *%% *+asi u!ra* #ri#ada "$ć i in0r)aci%u #u!danstidn3$n%a t$ d+u*$.

    N$urns*a )r$-a ui s"%% *+ini *r! it$rati"ni #rc$s #d$3a"an%a s"%ih sina#ti*ih t$-ina i#ra("a *%i s$ na!i"a pravilo učenja. ?st%$ tri sn"n$ *+as$ u$n%a@  Nadgledano učenje 4=su#$r"is$d +$arnin(>5 #r$dsta"+%a )di0i*aci%u sina#ti*ih t$-ina n$urns*$)r$-$ *ri3t$n%$) s*u#a !na$nih u!ra*a !a u$n%$. S"a*i u!ra* ini %$dinst"$n u+a!ni si(na+i n%$)u d("ara%ući -$+%$ni d!i". Sina#ti*$ t$-in$ )r$-$ s$ )di0i*u%u ta* da s$ )ini)i!irara!+i*a i!)$2u -$+%$n( i st"arn( d!i"a )r$-$.  Pojačano učenje 4=r$in0rc$)$nt +$arnin(>5 %$ =n+in$> u$n%$ "$!i i!)$2u u+a!a i i!+a!a *r!

    #rc$s #*u3a%a ta* da s$ )a*si)i!ira s*a+arni ind$*s *%i s$ na!i"a signal pojačanja 4=r$in0rc$)$nt si(na+>5.  Nenadgledano i+i samoorganizovano učenje 4=unsu#$r"is$d r s$+0r(ani!$d +$arnin(>5 %$ta*" u$n%$ u *)$ n$ #st%i )(ućnst nad(+$dan%a/ t%. n$ #st%$ #ri)%$ri 0un*ci%$ *%u )r$-atr$,a da naui.

    Za"isn d naina na *%i su n$urni ras#r$2$ni u n$urns*% )r$-i/ ra!+i*u%$ s$ i "i3$ stru*turan$urns*ih )r$-a.

  • 8/18/2019 VI (83_ 96 Str) Neuronske mreže.ppt

    5/16

    8

      J# #NIVERZITET $AŠINS%I &A%#LTET# T#ZLI T#ZLA

    Dr.sc. Šarić Bahrudin Autri!"ana #r$da"an%a Strana &C.

    Vrste umjetnih neuronskih mreža 

    1"isn #sta"+%$n) *rit$ri%u )(u s$ d,iti ra!+iit$ *at$(ri!aci%$ u)%$tnih n$urns*ih )r$-a.

    U)%$tn$ n$urns*$ )r$-$ )(u ,iti@  jednoslojne i  višeslojne.

    U,ia%$n %$ da "i3$s+%n$ )r$-$ i)a%u u+a!ni i i!+a!ni s+%/ a i!)$2u n%ih su t!". s*ri"$ni s+%$"i. A*s$ s+%$"i n$urns*$ )r$-$ #"$-u ta* da si(na+i #utu%u sa) u %$dn) s)%$ru/ d u+a!a *ai!+a!i)a )r$-$/ nda ("ri)   unaprijednim neuronskim mrežama 40$$d0rard n$ura+ n$tr*s5.U*+i* #st%i ,ar %$dna #"ratna #$t+%a 4su#rtni s)%$r si(na+a5 radi s$ t!".  povratnim neuronskim mrežama  40$$d,ac* r r$curr$nt n$ura+ n$tr*s5.

    U r%$3a"an%u #r,+$)a  prepoznavanja uzoraka  n$urns*a )r$-a na%#ri%$ #r+a!i *r! #rc$su$n%a t*) *%$( s$ )r$-i #r$!$ntira s*u# u+a!nih u!ra*a !a%$dn sa *+as) *%% ta% u!ra*#ri#ada. ?t) s$ "r3i "a+idaci%a )r$-$ na u!r*$ *%i #ri#ada%u ist% ##u+aci%i u!ra*a a+i nisu#r$!$ntirani )r$-i u t*u u$n%a. K+asi0i*aci%a u!ra*a d$0inisana na "a% nain #r$dsta"+%a#r,+$) nad(+$dan( u$n%a. Tr$,a na#)$nuti da i n$nad(+$dan u$n%$ i)a !naa%nu u+(u u*+asi0i*aci%i u!ra*a/ #s$,n ta) (d%$ n$ #st%i a#rirn #!na"an%$ *at$(ri%a u *%$ s$ u+a!niu!rci *+asi0icira%u. U ") s+ua%u/ n$nad(+$dan u$n%$ #r$u!i)a u+(u (ru#isan%a 4=c+ust$rin(>5#ri%$ sa)$ *+asi0i*aci%$ u!ra*a.

  • 8/18/2019 VI (83_ 96 Str) Neuronske mreže.ppt

    6/16

    8

      J# #NIVERZITET $AŠINS%I &A%#LTET# T#ZLI T#ZLA

    Dr.sc. Šarić Bahrudin Autri!"ana #r$da"an%a Strana &.

    Kako uče umjetne neuronske mreže 

    U #rinci#u s$ ra!+i*u%$@ supervizorno 4u! nad!r5 i nesupervizorno 4,$! nad!ra5 u$n%$ n$urns*ih )r$-a.

    Supervizorno učenje  !ahti%$"a "an%s*( “učitelja”   n$urns*$ )r$-$/ *%i #r)atra #na3an%$)r$-$ *ri(ira%ući istu d* s$ n$ d,i%$ -$+%$n #na3an%$ )r$-$.

    Kod nesupervizornog učenja n$urns*$ )r$-$/ n$ *risti s$ "an%s*i uit$+%. 1"d%$ s$n$urns*a )r$-a sa)a r(ani!ira/ #a s$ )r$-$ u$n$ ") )$td) na!i"a%u samoorganizirajuće neuronske mreže. Na u+a! )r$-$ d"di s$ s*u# u+a!nih "ari%a,+i/ a )r$-as$ sa)r(ani!ira #d$3a"an%$) s"%ih #ara)$tara 4t$-ina5 # d$0iniran) a+(rit)u.

    Radi i!,ra ad$*"atn( )d$+a n$urns*$ )r$-$/ n$#hdn %$ us"%iti i dr$ditisn"n$ #ara)$tr$ *%i in$ stru*turu )r$-$/ a t su@

      ulazni sloj,  roj neurona/ 4ras#r$2$nih u t!". s*ri"$ni s+% i!)$2u u+a!n( i i!+a!n( s+%a5/  izlazni sloj /  početne vrijednosti težina mreže !neurona".?$tn$ "ri%$dnsti t$-ina n$urns*$ )r$-$/ ,in s$ dr$2u%u ($n$ratr) s+ua%nih ,r%$"a.

  • 8/18/2019 VI (83_ 96 Str) Neuronske mreže.ppt

    7/16

    8

      J# #NIVERZITET $AŠINS%I &A%#LTET# T#ZLI T#ZLA

    Dr.sc. Šarić Bahrudin Autri!"ana #r$da"an%a Strana &&.

    Višeslojni per#eptron

    Md$+ n$urna/ (ra0i*i #ri*a!an( na s+ici '.8./ in$ tri sn"na $+$)$nta@

      Skup sinapsi / #ri $)u s"a*u d n%ih *ara*t$ri3$ t$-ins*i *$0ici%$nt. T !nai da s$ si(na+ G%na u+a!u sina#s$ % *%a %$ "$!ana na n$urn * )n-i sa sina#ti*) t$-in) *%.

      Sumator ulaznih signala #)n-$nih sa d("ara%ući) t$-ins*i) *$0ici%$nti)a sina#si.   $ktiva#ijska %unk#ija !a (rani$n%$ a)#+itud$ i!+a!a n$urna.

     Ar(u)$nt a*ti"aci%s*$ 0un*ci%$ )-$ ,iti u"$ćan i+i u)an%$n dda"an%$) i+i du!i)an%$)#!iti"n( ,r%a *%i na!i"a) #ra(. I!+a! n$urna s$ rauna *a@

    )();(

    1

    k k k k k k 

     p

      j  jkjk 

    bu yu y

     xwu

    +=−=

    ∑==

    ϕ θ ϕ 

    H...

    w k1

    w k 

    w kn

    θ k 

    G8

    G:

    Gn

    ϕ4•5! k  S/.0.1. ?%$dnsta"+%$ni

    )d$+ n$urna

  • 8/18/2019 VI (83_ 96 Str) Neuronske mreže.ppt

    8/16

    8

      J# #NIVERZITET $AŠINS%I &A%#LTET# T#ZLI T#ZLA

    Dr.sc. Šarić Bahrudin Autri!"ana #r$da"an%a Strana &9.

    &azlikuju se osnovna četiri modela neurona, zavisno od aktiva#ijskih %unk#ija'

      "inearni model. N$+in$arna a*ti"aci%s*a 0un*ci%a !a)i%$n%$na %$ dir$*tn) "$!)/ ta* da %$i!+a! su)a u+a!a #)n-$nih t$-ins*i) *$0ici%$nti)a.

      #c$ulloc%&Pitts model . N$+in$arna 0un*ci%a %$ #ra("na 0un*ci%a/ ?ri*a!ana na s+ici '.:4a5.   "inearno&kom'inovani model . U+a!ni!+a!na *ara*t$risti*a "(a )d$+a n$urna

    #ri*a!ana %$ na s+ici '.:4,5. A*ti"aci%s*a 0un*ci%a %$ *),inaci%a "i3$ +in$arnih 0un*ci%a.   (igmoidalni model . A*ti"aci%s*a 0un*ci%a %$ S,+i*a/ t%. )ntn rastuća 0un*ci%a sa d"i%$

    hri!nta+n$ asi)#tt$ 4s+i*a '.:4c55.

    4a5 4,5 4c5 4d5

    S/.0.2. A*ti"aci%s*$ 0un*ci%$ n$urna

  • 8/18/2019 VI (83_ 96 Str) Neuronske mreže.ppt

    9/16

    8

      J# #NIVERZITET $AŠINS%I &A%#LTET# T#ZLI T#ZLA

    Dr.sc. Šarić Bahrudin Autri!"ana #r$da"an%a Strana 9

  • 8/18/2019 VI (83_ 96 Str) Neuronske mreže.ppt

    10/16

    8

      J# #NIVERZITET $AŠINS%I &A%#LTET# T#ZLI T#ZLA

    Dr.sc. Šarić Bahrudin Autri!"ana #r$da"an%a Strana 98.

    )išeslojni perceptron  4=)u+ti+a$r #$rc$#trn>ML?5 %$ n$urns*a )r$-a *%u ini ulazni sloj  i!"rnih "r"a/ %$dan i+i "i3$ skriveni% slojeva  n$urna i izlazni sloj   *%$(a ta*2$ 0r)ira%u

    n$urni. I!"rni "r"i su ta*$ 0i!i*( #ristu#a u+a!nih si(na+a. D"i%$ *ara*t$risti*$ "$n$urns*$ )r$-$ )(u s$ +ah* uiti sa s+i*$ '.'. *%a #r$dsta"+%a n%$nu stru*turu@

      Vi3$s+%ni #$rc$#trn %$ %$dns)%$rna 4=0$$d0rard>5 )r$-a/ u s)is+u da u+a!ni si(na+($n$ri3$ i!+a! )r$-$ #rstirući s$ sa) u #r#usn) s)%$ru. J$dnsta"n r$$n/ "a)r$-a n$)a #"ratn$ "$!$.  Mr$-a )-$ ,iti #t#un #"$!ana 4*a na s+ici '.'.5 ta* da %$ n$urn u %$dn) s+%u

    )r$-$ #"$!an sa s"i) n$urni)a u sus%$dni) s+%$"i)a. S dru($ stran$/ )r$-a )-$,iti i #arci%a+n #"$!ana 3t !nai da n$*a d sina#ti*ih "$!a n$dsta%$.

    U+a!nis+%

    S*ri"$ni s+%

    I!+a!nis+%

    S/.0.0. Vi3$s+%ni #$rc$#trnsa %$dni) s*ri"$ni) s+%$)

  • 8/18/2019 VI (83_ 96 Str) Neuronske mreže.ppt

    11/16

    8

      J# #NIVERZITET $AŠINS%I &A%#LTET# T#ZLI T#ZLA

    Dr.sc. Šarić Bahrudin Autri!"ana #r$da"an%a Strana 9:.

    Br% i!"rnih "r"a u u+a!n) s+%u dr$2$n %$ di)$n!i%a)a u+a!n( "$*tra/ d* %$ ,r% n$urna ui!+a!n) s+%u d$0inisan !ahti%$"ani) di)$n!i%a)a -$+%$n( d!i"a )r$-$. ?r$)a t)$/ #r%$*t"an%$

    "i3$s+%n( #$rc$#trna !ahti%$"a d("r na s+i%$d$ća #itan%a@

     D$0inisan%$ ,r%a s*ri"$nih s+%$"a. D$0inisan%$ ,r%a n$urna u s"a*) d s*ri"$nih s+%$"a. 1dr$2i"an%$ sina#ti*ih t$-ina *%$ #"$!u%u n$urn$ u ra!+iiti) s+%$"i)a )r$-$.

    ?r"a d"a #itan%a #r$dsta"+%a%u na%s+a,i%u ta*u #r%$*t"an%a "i3$s+%n( #$rc$#trna.

    Za dr$2i"an%$ sina#ti*ih težina  "i3$s+%n( #$rc$#trna *risti s$ *'ack&error propagation+ algoritam 4a+(rita) #r#a(aci%$ (r$3*$ una!ad5.

    Si(na+ (r$3*$ na i!+a!u n$urna j  #ri #r$!$ntiran%u u!r*a n/ dr$2$n %$ i!ra!)@

    )()()(   n ynd ne  j j j   −=neuron j pripada izlaznom sloju 

    (d%$ %$@ d   -$+%$ni d!i" n$urna j .

  • 8/18/2019 VI (83_ 96 Str) Neuronske mreže.ppt

    12/16

    8

      J# #NIVERZITET $AŠINS%I &A%#LTET# T#ZLI T#ZLA

    Dr.sc. Šarić Bahrudin Autri!"ana #r$da"an%a Strana 9'.

    Tr$nutna su)a *"adrata (r$3*$ )r$-$ %$dna*a %$@

    (d%$ s*u# $   ,uh"ata s"$ n$urn$ u i!+a!n) s+%u )r$-$. N$*a N  !naa"a u*u#an ,r% u!ra*a *%$ sadr-i s*u# !a u$n%$. Sr$dn%a*"adratna (r$3*a s$ d,i%$ su)iran%$) ,-n  !a s"$ n  i nr)a+i!aci%)na "$+iinu s*u#a N @

    7i+% #rc$sa u$n%a %$st$ #ri+a(diti #ara)$tr$ )r$-$ ta* da s$ )ini)i!ira , sr .

    ∑∈= C  j j   nen E    )(2

    1)(   2

    ∑=

    = N 

    n

     sr   n E 

     N  E 

    1

    )(1

    U i)#+$)$ntaci%i "(a a+(rit)a ra!+i*u%u s$ d"a #r+a!a si(na+a@

    Pr!/a3 nari'(d. U ") #r+a!u sina#ti*$ t$-in$ sta%u 0i*sn$ i rauna s$ d!i" )r$-$ na !adat$u+a!n$ si(na+$. Kn*r$tn/ si(na+ *%i s$ #%a"+%u%$ na i!+a!u n$urna  j  s$ rauna *a@

    ))(()(   nvn y  j j   ϕ =  (d%$ %$ ni" unutra3n%$ a*ti"nsti n$urna j  d$0inisan sa@

    )()()(0

    n ynwnv p

    ii ji j   ∑=

    =  (d%$ %$ p u*u#an ,r% u+a!a u n$urn  j / a u+a!ni si(na+i u n$urn  j .

    1"a #r"a 0a!a raunan%a #in%$ sa #r"i) s*ri"$ni) s+%$) i !a"r3a"a sa raun) si(na+a (r$3*$!a s"a*i n$urn u i!+a!n) s+%u.

  • 8/18/2019 VI (83_ 96 Str) Neuronske mreže.ppt

    13/16

    8

      J# #NIVERZITET $AŠINS%I &A%#LTET# T#ZLI T#ZLA

    Dr.sc. Šarić Bahrudin Autri!"ana #r$da"an%a Strana 96.

    Pr!/a3 una3ad. ?d$3a"an%$ sina#ti*ih t$-ina s$ "r3i ta* da s$ )ini)i!ira 0un*ci%a ci+%ad$0inisana *a su)a *"adrata (r$3*$. Kn*r$tn/ #in%$ s$ sa #rraun) si(na+a (r$3*$ u

    i!+a!n) s+%u a !ati) una!ad *r! )r$-u/ s+% # s+%/ s"$ d* s$ n$ #*ri%$ ci%$+a )r$-a. ?r$)at)$/ "a% #r+a! *ara*t$ri3$ #r#a(aci%a (r$3*$ d *ra%a *a #$t*u )r$-$.

    R%$3a"an%$ #ra*tinih #r,+$)a *ri3t$n%$) "i3$s+%n( #$rc$#trna ,in !ahti%$"a )r$-u "$+i*ihdi)$n!i%a. ?ra*tian !adata* *%i s$ #%a"+%u%$ u ") *nt$*stu %$st$ )ini)i!aci%a "$+iin$ )r$-$,$! d$(radaci%$ n%$nih *ara*t$risti*a. $n$ra+n %$ #ra"i+ da )r$-a )ini)a+n$ "$+iin$ i)a )an%u

    "%$r"atnću da ,ud$ nau$na na 3u) u #daci)a !a u$n%$ i i)a ,+%u ($n$ra+i!aci%u na n"$#dat*$.

    Mini)a+na "$+iina )r$-$ s$ )-$ #stići na %$dan d d"a naina@

    &ast mreže/ u *%$) s$ #in%$ sa )r$-) )a+ih di)$n!i%a da ,i s$ ri%$3i t$*ući #r,+$)/ i !ati)

    dda%$ n"i n$urn i+i s+% s*ri"$nih n$urna s"$ d* s$ n$ #sti(n$ #sta"+%$ni ci+%.

    Skraćivanje mreže/ #ri $)u s$ #in%$ sa "$+i*) )r$-) *%a !ad"+%a"a s"%i) *ara*t$risti*a)a#sta"+%$n) !adat*u/ i !ati) s*raću%$ $+i)inisan%$) =n$#u!danih> sina#ti*ih t$-ina.

  • 8/18/2019 VI (83_ 96 Str) Neuronske mreže.ppt

    14/16

    8

      J# #NIVERZITET $AŠINS%I &A%#LTET# T#ZLI T#ZLA

    Dr.sc. Šarić Bahrudin Autri!"ana #r$da"an%a Strana 9;.

    Procedura eliminacije težina  i)a !a ci+% dr$diti "$*tr t$-ins*ih "ri%$dnsti 4  *%i)ini)i!ira 0un*ci%u@

    (d%$ %$ w /   una#ri%$d d$0inisani #ara)$tar #rc$dur$/ a w i  #r$dsta"+%a t$-ins*i *$0ici%$nt sina#s$ i  u )r$-i. 

    S*u# l  s$ dnsi na s"$ sina#ti*$ *n$*ci%$ u )r$-i. M(u s$ id$nti0icirati d"a (ranina s+ua%a@

    )()()(   www C S    E  E  R   λ +=?r"i i!ra! %$ standardna mjera karakteristika mreže *%a !a"isi i d)d$+a )r$-$ i d u+a!nih #data*a. Za =,ac*#r#a(atin> u$n%$s$ d$0ini3$ *a sr$dn%a *"adratna (r$3*a !a s"$ n$urn$ u i!+a!n)s+%u i s"$ u!r*$ !a u$n%$.

    Dru(i i!ra! %$ penalni 0aktor složenosti   *%i !a"isi sa) d )d$+a )r$-$. ?rc%$na %$ "$!ana

    !a sina#ti*$ *n$*ci%$ )r$-$ i d$0inisana %$ i!ra!)@

    ∑∈   +

    =l i   i

    i

    ww

    ww E 

    2

    0

    2

    0

    )/(1

    )/()(w

     Kada %$ #$na+ni 0a*tr s+-$nsti t$-i *a nu+i. 1" !nai da %$ dsada3n%a sina#ti*at$-ina n$#u!dana i da %$ tr$,a $+i)inisati i! )r$-$.

    0wwi   > #$na+ni 0a*tr s+-$nsti s$ #ri,+i-a"a %$dinici 4n%$("a )a*si)a+na "ri%$dnst5/

    3t !nai da %$ !naa%an u =,ac*#r#a(atin> #rc$su u$n%a.

  • 8/18/2019 VI (83_ 96 Str) Neuronske mreže.ppt

    15/16

      J# #NIVERZITET $AŠINS%I &A%#LTET# T#ZLI T#ZLA

    Dr.sc. Šarić Bahrudin Autri!"ana #r$da"an%a Strana 9C.

    ?ara)$tar λ  i)a u+(u parametra regularizacije.

    Kada %$ λ  %$dna* nu+i/ #rc$s u$n%a n$)a (rani$n%a i )r$-a %$ u #t#unsti d$0inisanas*u#) #data*a !a u$n%$.

    U #ra*tini) #ri)%$na)a/ #ara)$tar λ i)a "ri%$dnst i!)$2u "a d"a (ranina s+ua%a.

    Knani ci+% na"$d$n$ )ini)i!aci%$ %$st$ #ri+a(diti *)#+$*snst )r$-$ *)#+$*snsti#data*a *ri3t$nih !a u$n%$ )r$-$.

    U s+ua%u da %$ λ  ,$s*nan "$+i*/ u"$d$na su (rani$n%a #)ću #$na+n( 0a*tras+-$nsti *%i %$ tada sa) # s$,i d"+%an da s$ s#$ci0icira )r$-a. Na dru(i nain r$$n/#daci !a u$n%$ su n$#u!dani i tr$,a%u ,iti i(nrisani.

    ?rc$s u$n%a n$urns*ih )r$-a s$ )-$ #s)atrati *a n$*a "rsta 0itovanja modela. U su3tini/!a dati s*u# )%$r$n%a *%i #r$dsta"+%a u+a!ni si(na+ i n%i)a d("ara%ući -$+%$ni d!i"/ #sta"+%a s$!adata* dr$diti "$!u i!)$2u u+a!a i i!+a!a *%a #r+a!i *r! s"$ "$ ta*$. Sa) #rc$s($n$ra+i!aci%$ s$ )-$ #s)atrati *a interpolacija/ #ri $)u )r$-a tr$,a da ($n$ri3$ d!i" !au+a!$ *%$ #ri%$ ni%$ ="id%$+a>.

  • 8/18/2019 VI (83_ 96 Str) Neuronske mreže.ppt

    16/16