nevronske mreže
Post on 23-Jan-2015
1.257 Views
Preview:
DESCRIPTION
TRANSCRIPT
Nevronske mreže
Simon@hekovnik.si
AI urice II
Nevron
Sinapsa
Perceptron
Aktivacijska funkcija
• Linearna
• Prag
• Sigmoida
Razširitve
Večslojni perceptron
• Poljubno natančna aproksimacija zvezne funkcije (Cybenkov izrek)
Povratna nevronska mreža
• Pojavi v času
• Univerzalen Turnigov stroj
Samo-organizirajoče karte
• N-dimenzionalna mreža nevronov
• Nevron kot točka v prostoru
• Stabilnost narašča s časom
• Hierarhične karte• Nevronski plin
Uporaba
• Napovedovanje• Prepoznavanje vzorcev• Klasifikacija• Obdelovanje podatkov
– Filtriranje– Grozdenje– Kompresija
• Odločanje
Učenje
Učenje
• Nadzorovano– Pari vhod-izhod
• Nenadzorovano– Učenje iz primerov
• Vzpodbujevalno– Interakcija z okoljem
Nadzorovano učenje
Rprop
• Napaka se širi od izhodov nazaj po mreži
• Pri posodobitvah uteži upoštevamo le spremembe smeri napake
• Batch učenje
Rprop/napaka
Izhodni nevron(delta i j) = (* (dtanh (activation i j))
(- (target j) (activation i
j)))
Ostali nevroni(delta i j) = (* (dtanh (activation i j))
(sum #’* (delta i) (weight
i)))
Rprop/posodobitev
(incf (weight i j) (cond ((> (delta i j t) 0)
(update- i j t))
((< (delta i j t) 0)
(update+ i j t))
(t 0)))
Rprop/posodobitev
step+ = 1.2
step- = 0.5
(update i j t) = (cond ((> (* (delta i j (1- t))
(delta i j t))
0)
(* step+ (update i j (1- t))))
((< (* (delta i j (1- t))
(delta i j t))
0)
(* step- (update i j (1- t))))
(t (update i j (1- t))))
Nenadzorovano učenje
Samo-organizirajoče karte
Za vsak dražljaj:
1. Izberemo nevron najbližje dražljaju
2. Izbranca premaknemo še bližje
3. Okoliške nevrone premaknemo bližje
4. Zmanjšamo okolico & koeficient učenja
Izboljšave
Hierarhija mrež
• Problem razstavimo– Prevedemo (recikliranje rešitev)
• Hitrejše učenje (konvergenca)• Različne mreže
– Preprostejše– Namenske
• Različni učni algoritmi• Omilimo overfitting
top related