![Page 1: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/1.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Wstęp do sieci neuronowych, wykład 10Sieci rekurencyjne. Autoasocjator Hopfielda
Maja Czoków, Jarosław Piersa
Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika
2012-12-19
Projekt pn. „Wzmocnienie potencjału dydaktycznego UMK w Toruniu w dziedzinach matematyczno-przyrodniczych”realizowany w ramach Poddziałania 4.1.1 Programu Operacyjnego Kapitał Ludzki
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 2: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/2.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
1 Sieci rekurencyjneSieci rekurencyjneModele sieci rekurencyjnejEnergia sieci
2 Autoasocjator HopfieldaKonstrukcjaOdzyskiwanie obrazuStabilność wzorca i pojemność sieci
3 Zadania
4 PrzeliczeniaPojemność sieciPoprawne odzyskiwanie
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 3: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/3.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Sieci rekurencyjneModele sieci rekurencyjnejEnergia sieci
1 Sieci rekurencyjneSieci rekurencyjneModele sieci rekurencyjnejEnergia sieci
2 Autoasocjator HopfieldaKonstrukcjaOdzyskiwanie obrazuStabilność wzorca i pojemność sieci
3 Zadania
4 PrzeliczeniaPojemność sieciPoprawne odzyskiwanie
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 4: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/4.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Sieci rekurencyjneModele sieci rekurencyjnejEnergia sieci
Sieci skierowane — przypomnienie
Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli
wierzchołki dają się posortować topologicznie,
dynamika odbywa się synchronicznie zgodnie z kolejnościązadaną przez otrzymaną kolejność,
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 5: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/5.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Sieci rekurencyjneModele sieci rekurencyjnejEnergia sieci
Sieci rekurencyjne
Graf sieci dopuszcza istnienie cykli skierowanych,
sortowanie topologiczne nie jest możliwe,
Czynnik czasowy w dynamice: sieć rozwijamy w szereg podsiecipowiązanych ze sobą zależnościami czasowymi.
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 6: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/6.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Sieci rekurencyjneModele sieci rekurencyjnejEnergia sieci
Motywacja
Chcemy stworzyć rekurencyjną sieć neuronową, zdolną kodować irozwiązywać (dyskretne) problemy optymalizacyjne
Rozważania w poniższym rozdziale będą dotyczyły konstrukcjiautoasocjatora graficznego,
W dalszych wykładach pokażemy jak dostosować sieć do innychproblemów.
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 7: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/7.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Sieci rekurencyjneModele sieci rekurencyjnejEnergia sieci
Sieci rekurencyjne typu Hopfielda
każda jednostka ma przypisany swójspin σi ∈ {−1,+1} — zmienny wtrakcie dynamiki,
połączenia synaptyczne mająprzypisane wagi wij = wji ∈ R —stałe w trakcie dynamiki, zmienne wtrakcie uczenia,
wii = 0,
jeżeli krawędzi nie ma w grafie, towij = 0,
neurony otrzymują swoje polezewnętrzne hi ∈ R — stałe.
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 8: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/8.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Sieci rekurencyjneModele sieci rekurencyjnejEnergia sieci
Ogólna koncepcja dynamiki w sieciach rekurencyjnych
neuron zmienia swój spin i wysyła informację do sąsiadów,
po zmianie jest nieaktywny przez pewien okres czasu τr czasrefrakcji,
po upływie τr neuron może przyjmować i wysyłać impulsy,
przesył impulsu po krawędzi zajmuje pewien okres czasu τp(czas przesyłu, może zależeć od rodzaju lub długości krawędzi),
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 9: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/9.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Sieci rekurencyjneModele sieci rekurencyjnejEnergia sieci
Dynamika Glaudera
Jeżeli τp � τr , to sieć jest niewielka i można stosować następującądynamikę:
wylosuj neuron σi ,
przypisz
σi = sign(∑j
wijσj + hi )
powtarzaj 1 i 2 aż do ustabilizowania się sytuacji.
Oznaczmy Mi =∑j wijσj + hi — lokalne pole wypadkowe dla
jednostki i .
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 10: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/10.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Sieci rekurencyjneModele sieci rekurencyjnejEnergia sieci
Dynamika Little’a
Jeżeli τp ' τr , to działanie przybliżamy dynamiką synchroniczną:
wszystkie neurony jednocześnie ustawiają się zgodnie z lokalnympolem wypadkowym, tj, przypisujemy:
σi = sign(Mi )
przy wykorzystaniu zestawu spinów z poprzedniej iteracji.
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 11: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/11.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Sieci rekurencyjneModele sieci rekurencyjnejEnergia sieci
Dynamika Little’a
Alternatywne sformułowanie:
Rozpocznij z losowego σ̄0
Powtarzaj wielokrotnie:Przypisz
σ̄t+1 := sign(W · σ̄t + H)
gdzie:W = [wij ]i ,j=1..N jest macierzą wag,H — wektor pól zewnętrznychσ̄t — wektor spinów w t-tym kroku.
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 12: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/12.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Sieci rekurencyjneModele sieci rekurencyjnejEnergia sieci
Dynamika Hybrydowa
Jeżeli τp � τr , to dynamika staje się skomplikowana ze względu naznaczne opóźnienia w przesyle.
małe fragmenty sieci (tj. bliskie jednostki) przybliżamy dynamikąasynchroniczną (Glaudera),
w dużej skali stosujemy dynamikę synchroniczną uwzględniającąróżnice czasowe.
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 13: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/13.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Sieci rekurencyjneModele sieci rekurencyjnejEnergia sieci
Energia sieci
Określmy energię sieci (Hammiltonian) zależny od bieżącejkonfiguracji spinów neuronów:
Energia
E (σ̄) = −12
∑i 6=jwijσiσj −
∑i
hiσi
Wagi wij oraz pola zewnętrzne hi są ustalone, więc energia zależytylko od spinów.
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 14: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/14.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Sieci rekurencyjneModele sieci rekurencyjnejEnergia sieci
Twierdzenie
Twierdzenie
W trakcie dynamiki Glaudera energia sieci nie ulega wzrostowi.
Dowód na tablicy
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 15: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/15.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Sieci rekurencyjneModele sieci rekurencyjnejEnergia sieci
Twierdzenie
Twierdzenie
W trakcie dynamiki Glaudera energia sieci nie ulega wzrostowi.
Dowód na tablicy
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 16: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/16.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Sieci rekurencyjneModele sieci rekurencyjnejEnergia sieci
Dowód
Załóżmy, że z konfiguracji σ̄ przeszliśmy do σ̄′. Niech σi będzieneuronem, który zmieniliśmy, tj σi = −σ′i = −sign(Mi ).
Zauważmy, że
E (σ̄) = −12
∑j 6=i ,k 6=i
wjkσjσk −12
2 ·∑j
wijσiσj −∑j 6=ihjσj − hiσi
Zmieniliśmy tylko spin σi więc∑j 6=i ,k 6=i wjkσjσk oraz
∑j 6=i hjσj nie
wpływają na zmianę energii.Obliczmy E (σ̄′)− E (σ̄) =
= −∑j
wijσ′iσj − hiσ′i −
−∑j
wijσiσj − hiσi
=
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 17: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/17.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Sieci rekurencyjneModele sieci rekurencyjnejEnergia sieci
Dowód
Załóżmy, że z konfiguracji σ̄ przeszliśmy do σ̄′. Niech σi będzieneuronem, który zmieniliśmy, tj σi = −σ′i = −sign(Mi ).Zauważmy, że
E (σ̄) = −12
∑j 6=i ,k 6=i
wjkσjσk −12
2 ·∑j
wijσiσj −∑j 6=ihjσj − hiσi
Zmieniliśmy tylko spin σi więc∑j 6=i ,k 6=i wjkσjσk oraz
∑j 6=i hjσj nie
wpływają na zmianę energii.Obliczmy E (σ̄′)− E (σ̄) =
= −∑j
wijσ′iσj − hiσ′i −
−∑j
wijσiσj − hiσi
=
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 18: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/18.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Sieci rekurencyjneModele sieci rekurencyjnejEnergia sieci
Dowód
Załóżmy, że z konfiguracji σ̄ przeszliśmy do σ̄′. Niech σi będzieneuronem, który zmieniliśmy, tj σi = −σ′i = −sign(Mi ).Zauważmy, że
E (σ̄) = −12
∑j 6=i ,k 6=i
wjkσjσk −12
2 ·∑j
wijσiσj −∑j 6=ihjσj − hiσi
Zmieniliśmy tylko spin σi więc∑j 6=i ,k 6=i wjkσjσk oraz
∑j 6=i hjσj nie
wpływają na zmianę energii.
Obliczmy E (σ̄′)− E (σ̄) =
= −∑j
wijσ′iσj − hiσ′i −
−∑j
wijσiσj − hiσi
=
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 19: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/19.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Sieci rekurencyjneModele sieci rekurencyjnejEnergia sieci
Dowód
Załóżmy, że z konfiguracji σ̄ przeszliśmy do σ̄′. Niech σi będzieneuronem, który zmieniliśmy, tj σi = −σ′i = −sign(Mi ).Zauważmy, że
E (σ̄) = −12
∑j 6=i ,k 6=i
wjkσjσk −12
2 ·∑j
wijσiσj −∑j 6=ihjσj − hiσi
Zmieniliśmy tylko spin σi więc∑j 6=i ,k 6=i wjkσjσk oraz
∑j 6=i hjσj nie
wpływają na zmianę energii.Obliczmy E (σ̄′)− E (σ̄) =
= −∑j
wijσ′iσj − hiσ′i −
−∑j
wijσiσj − hiσi
=
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 20: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/20.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Sieci rekurencyjneModele sieci rekurencyjnejEnergia sieci
Dowód cd.
E (σ̄′)− E (σ̄) = −∑j
wijσ′iσj − hiσ′i +∑j
wijσiσj + hiσi =
−∑j
wij(σ′i − σi )σj − hi (σ′i − σi ) =
(σ′i − σi )
−∑j
wijσj − hi
= (σ′i − σi )(−Mi )
Przypomnijmy, że podstawialiśmy σ′i := sign(Mi ).
E (σ̄′)− E (σ̄) = −(sign(Mi )− (−sign(Mi ))Mi = −2|Mi | ≤ 0
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 21: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/21.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Sieci rekurencyjneModele sieci rekurencyjnejEnergia sieci
Dowód cd.
E (σ̄′)− E (σ̄) = −∑j
wijσ′iσj − hiσ′i +∑j
wijσiσj + hiσi =
−∑j
wij(σ′i − σi )σj − hi (σ′i − σi ) =
(σ′i − σi )
−∑j
wijσj − hi
= (σ′i − σi )(−Mi )
Przypomnijmy, że podstawialiśmy σ′i := sign(Mi ).
E (σ̄′)− E (σ̄) = −(sign(Mi )− (−sign(Mi ))Mi = −2|Mi | ≤ 0
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 22: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/22.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Sieci rekurencyjneModele sieci rekurencyjnejEnergia sieci
Dowód cd.
E (σ̄′)− E (σ̄) = −∑j
wijσ′iσj − hiσ′i +∑j
wijσiσj + hiσi =
−∑j
wij(σ′i − σi )σj − hi (σ′i − σi ) =
(σ′i − σi )
−∑j
wijσj − hi
= (σ′i − σi )(−Mi )
Przypomnijmy, że podstawialiśmy σ′i := sign(Mi ).
E (σ̄′)− E (σ̄) = −(sign(Mi )− (−sign(Mi ))Mi = −2|Mi | ≤ 0
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 23: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/23.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Sieci rekurencyjneModele sieci rekurencyjnejEnergia sieci
Dowód cd.
E (σ̄′)− E (σ̄) = −∑j
wijσ′iσj − hiσ′i +∑j
wijσiσj + hiσi =
−∑j
wij(σ′i − σi )σj − hi (σ′i − σi ) =
(σ′i − σi )
−∑j
wijσj − hi
= (σ′i − σi )(−Mi )
Przypomnijmy, że podstawialiśmy σ′i := sign(Mi ).
E (σ̄′)− E (σ̄) = −(sign(Mi )− (−sign(Mi ))Mi = −2|Mi | ≤ 0
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 24: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/24.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Sieci rekurencyjneModele sieci rekurencyjnejEnergia sieci
Ewolucja sieci Hopfielda, dynamika Little’a
click
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 25: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/25.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Sieci rekurencyjneModele sieci rekurencyjnejEnergia sieci
Wniosek
Jeżeli ilość neuronów w sieci n jest skończona, to ilośćmożliwych konfiguracji σ̄ również,
podczas dynamiki osiągane jest minimum (być może lokalne!)funkcji energetycznej w skończonym czasie.
Wykorzystamy dynamikę asynchroniczną sieci do znajdowaniarozwiązania problemów optymalizacyjnych.
Wystarczy do tego sprecyzować wagi wij i pola lokalne hj ,
Dostosowanie wag i pól zewnętrznych jest zagadnieniem uczeniasieci.
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 26: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/26.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Sieci rekurencyjneModele sieci rekurencyjnejEnergia sieci
Wniosek
Jeżeli ilość neuronów w sieci n jest skończona, to ilośćmożliwych konfiguracji σ̄ również,
podczas dynamiki osiągane jest minimum (być może lokalne!)funkcji energetycznej w skończonym czasie.
Wykorzystamy dynamikę asynchroniczną sieci do znajdowaniarozwiązania problemów optymalizacyjnych.
Wystarczy do tego sprecyzować wagi wij i pola lokalne hj ,
Dostosowanie wag i pól zewnętrznych jest zagadnieniem uczeniasieci.
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 27: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/27.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
KonstrukcjaOdzyskiwanie obrazuStabilność wzorca i pojemność sieci
1 Sieci rekurencyjneSieci rekurencyjneModele sieci rekurencyjnejEnergia sieci
2 Autoasocjator HopfieldaKonstrukcjaOdzyskiwanie obrazuStabilność wzorca i pojemność sieci
3 Zadania
4 PrzeliczeniaPojemność sieciPoprawne odzyskiwanie
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 28: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/28.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
KonstrukcjaOdzyskiwanie obrazuStabilność wzorca i pojemność sieci
Cel
Chcemy stworzyć pamięć adresowaną zawartością, tj mając danyfragment obrazu będziemy w stanie go odtworzyć.
Oznaczmy:
Iµ = {ξµi } — obraz wzorcowy,
i = 1..N — indeks piksela, N — ilość pikseli,
µ = 1..P — indeks wzorca, P — ilość wzorców,
σi — neurony sieci, po jednym neuronie na każdy piksel obrazu,
wij — wagi między neuronami,
hi — pola zewnętrzne.
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 29: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/29.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
KonstrukcjaOdzyskiwanie obrazuStabilność wzorca i pojemność sieci
Cel
Chcemy stworzyć pamięć adresowaną zawartością, tj mając danyfragment obrazu będziemy w stanie go odtworzyć.
Oznaczmy:
Iµ = {ξµi } — obraz wzorcowy,
i = 1..N — indeks piksela, N — ilość pikseli,
µ = 1..P — indeks wzorca, P — ilość wzorców,
σi — neurony sieci, po jednym neuronie na każdy piksel obrazu,
wij — wagi między neuronami,
hi — pola zewnętrzne.
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 30: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/30.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
KonstrukcjaOdzyskiwanie obrazuStabilność wzorca i pojemność sieci
Konstrukcja
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 31: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/31.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
KonstrukcjaOdzyskiwanie obrazuStabilność wzorca i pojemność sieci
Konstrukcja
Oznaczmy stopień zgodności stanu sieci σ̄ ze wzorcem Iµ
Mµ(σ̄) =1N
N∑i=1
σiξµi =
1N〈σ̄, Iµ〉
Mµ(σ̄) = 1 oznacza pełną zgodność, Mµ(σ̄) = −1 całkowitąniezgodność, ale przy naszych oznaczeniach należy pamiętać, że jestto idealny negatyw.
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 32: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/32.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
KonstrukcjaOdzyskiwanie obrazuStabilność wzorca i pojemność sieci
Konstrukcja
Oznaczmy stopień zgodności stanu sieci σ̄ ze wzorcem Iµ
Mµ(σ̄) =1N
N∑i=1
σiξµi =
1N〈σ̄, Iµ〉
Mµ(σ̄) = 1 oznacza pełną zgodność, Mµ(σ̄) = −1 całkowitąniezgodność, ale przy naszych oznaczeniach należy pamiętać, że jestto idealny negatyw.
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 33: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/33.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
KonstrukcjaOdzyskiwanie obrazuStabilność wzorca i pojemność sieci
Energia
Zdefiniujmy energię
E (σ̄) = −N2
P∑µ=1
(Mµ(σ̄))2 =
= −N2
P∑µ=1
(1N
N∑i=1
σiξµi
)2 =
−N2
P∑µ=1
1N2
N∑i=1
N∑j=1,j 6=i
σiσjξµi ξ
µj +
1N2
N∑i=1
σ2i ξµi2
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 34: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/34.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
KonstrukcjaOdzyskiwanie obrazuStabilność wzorca i pojemność sieci
Energia
Zdefiniujmy energię
E (σ̄) = −N2
P∑µ=1
(Mµ(σ̄))2 =
= −N2
P∑µ=1
(1N
N∑i=1
σiξµi
)2 =
−N2
P∑µ=1
1N2
N∑i=1
N∑j=1,j 6=i
σiσjξµi ξ
µj +
1N2
N∑i=1
σ2i ξµi2
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 35: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/35.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
KonstrukcjaOdzyskiwanie obrazuStabilność wzorca i pojemność sieci
Energia
Zdefiniujmy energię
E (σ̄) = −N2
P∑µ=1
(Mµ(σ̄))2 =
= −N2
P∑µ=1
(1N
N∑i=1
σiξµi
)2 =
−N2
P∑µ=1
1N2
N∑i=1
N∑j=1,j 6=i
σiσjξµi ξ
µj +
1N2
N∑i=1
σ2i ξµi2
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 36: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/36.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
KonstrukcjaOdzyskiwanie obrazuStabilność wzorca i pojemność sieci
Energia
Zdefiniujmy energię
E (σ̄) = −N2
P∑µ=1
(Mµ(σ̄))2 =
= −N2
P∑µ=1
(1N
N∑i=1
σiξµi
)2 =
−N2
P∑µ=1
1N2
N∑i=1
N∑j=1,j 6=i
σiσjξµi ξ
µj +
1N2
N∑i=1
σ2i ξµi2
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 37: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/37.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
KonstrukcjaOdzyskiwanie obrazuStabilność wzorca i pojemność sieci
Energia
E (σ̄) = − 12N
P∑µ=1
∑i 6=j
σiσjξµi ξ
µj
= − 12N
N∑i 6=j
P∑µ=1
σiσjξµi ξ
µj
= −12
N∑i 6=j
σiσj
1N
P∑µ=1
ξµi ξµj
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 38: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/38.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
KonstrukcjaOdzyskiwanie obrazuStabilność wzorca i pojemność sieci
Energia
E (σ̄) = − 12N
P∑µ=1
∑i 6=j
σiσjξµi ξ
µj
= − 1
2N
N∑i 6=j
P∑µ=1
σiσjξµi ξ
µj
= −12
N∑i 6=j
σiσj
1N
P∑µ=1
ξµi ξµj
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 39: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/39.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
KonstrukcjaOdzyskiwanie obrazuStabilność wzorca i pojemność sieci
Energia
E (σ̄) = − 12N
P∑µ=1
∑i 6=j
σiσjξµi ξ
µj
= − 1
2N
N∑i 6=j
P∑µ=1
σiσjξµi ξ
µj
= −12
N∑i 6=j
σiσj
1N
P∑µ=1
ξµi ξµj
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 40: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/40.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
KonstrukcjaOdzyskiwanie obrazuStabilność wzorca i pojemność sieci
Wagi
Otrzymujemy zależności na wagi:
Wagi
wij =1N
P∑µ=1
ξµi ξµj
oraz na pola zewnętrzne
Pola zewnętrzne
hi = 0
Zerowe pola zewnętrzne sprawiają, że sieć nie ma preferencji odnośniekolorów. Negatywy są rozpoznawane tak samo jak obrazy oryginalne.
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 41: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/41.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
KonstrukcjaOdzyskiwanie obrazuStabilność wzorca i pojemność sieci
Przestrzeń stanów
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 42: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/42.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
KonstrukcjaOdzyskiwanie obrazuStabilność wzorca i pojemność sieci
Rekonstrukcja obrazu — dynamika Glaudera
Gdy sieć jest już nauczona możemy odzyskać wejściowy zaszumionyobraz:
1 Obraz wejściowy konwertujemy na konfigurację spinów σ̄,2 Poddajemy bieżącą konfigurację ewolucji Glaudera:
1 Losujemy jednostkę i ,2 Ustawiamy spin σi := sign(
∑j wijσj),
3 Powtarzamy 2.1 i 2.2 aż stan sieci się ustabilizuje,
3 Wyjściowy obraz odzyskujemy dekodując wyjściową konfiguracjęspinów σ̄.
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 43: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/43.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
KonstrukcjaOdzyskiwanie obrazuStabilność wzorca i pojemność sieci
Rekonstrukcja obrazu — dynamika Little’a
Ustaloną mamy macierz wag W = (wij)Ni ,j=11 Obraz wejściowy konwertujemy na konfigurację początkową
(t = 0) spinów σ̄0,2 Poddajemy konfigurację ewolucji:
1 Przypisujemyσ̄t+1 :=W · σ̄t
σ̄t+1i := sign(σ̄t+1i )
2 Powtarzamy 2.1 aż stan sieci się ustabilizuje,
3 Wyjściowy obraz odzyskujemy dekodując wyjściową konfiguracjęspinów σ̄T .
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 44: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/44.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
KonstrukcjaOdzyskiwanie obrazuStabilność wzorca i pojemność sieci
Trajektoria odzyskiwania obrazu
Rysunek uproszczony, przestrzeń to {−1,+1}d a nie R2.
-10
-5
0
5
10 -10
-5
0
5
10-2.5
-2
-1.5
-1
-0.5
0
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 45: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/45.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
KonstrukcjaOdzyskiwanie obrazuStabilność wzorca i pojemność sieci
Trajektoria odzyskiwania obrazu
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 46: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/46.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
KonstrukcjaOdzyskiwanie obrazuStabilność wzorca i pojemność sieci
Ograniczenia
Jakie wymagania sieć musi spełniać aby poprawnie odtwarzaćwzorce?
Ile maksymalnie wzorców P =? może się pomieścić w sieci o Nneuronach?
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 47: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/47.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
KonstrukcjaOdzyskiwanie obrazuStabilność wzorca i pojemność sieci
Fakt
Jakie wymagania sieć musi spełniać aby poprawnie odtwarzaćwzorce?
Ile maksymalnie wzorców może się pomieścić w sieci o Nneuronach?
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 48: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/48.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
KonstrukcjaOdzyskiwanie obrazuStabilność wzorca i pojemność sieci
Pojemność sieci
Fakt
W sieci o N wierzchołkach można przechować maksymalnie N4 logN
nieskorelowanych wzorców.
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 49: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/49.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
KonstrukcjaOdzyskiwanie obrazuStabilność wzorca i pojemność sieci
Pojemność sieci
W poprawnym działaniu ważną rolę odgrywa brak korelacjimiędzy wzorcami uczącymi.
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 50: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/50.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
KonstrukcjaOdzyskiwanie obrazuStabilność wzorca i pojemność sieci
Co to są wzorce skorelowane?
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 51: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/51.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
KonstrukcjaOdzyskiwanie obrazuStabilność wzorca i pojemność sieci
Co to są wzorce skorelowane?
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 52: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/52.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
KonstrukcjaOdzyskiwanie obrazuStabilność wzorca i pojemność sieci
Korelacja a poprawne odzyskiwanie
-10-5
05
10-10-5
05
10-1-0.8-0.6-0.4-0.20
-10-5
05
10-10-5
05
10-1-0.8-0.6-0.4-0.20
-10-5
05
10-10-5
05
10-1-0.8-0.6-0.4-0.20
-10-5
05
10-10-5
05
10-1-0.8-0.6-0.4-0.20
-10-5
05
10-10-5
05
10-1-0.8-0.6-0.4-0.20
-10-5
05
10-10-5
05
10-1.4-1.2-1-0.8-0.6-0.4-0.20
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 53: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/53.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
KonstrukcjaOdzyskiwanie obrazuStabilność wzorca i pojemność sieci
Niepoprawne odzyskiwanie — za dużo wzorców lub wzorceskorelowane
-10-5
05
10-10-5
05
10-1-0.8-0.6-0.4-0.20
-10-5
05
10-10-5
05
10-1-0.8-0.6-0.4-0.20
-10-5
05
10-10-5
05
10-1-0.8-0.6-0.4-0.20
-10-5
05
10-10-5
05
10-1-0.8-0.6-0.4-0.20
-10-5
05
10-10-5
05
10-1-0.8-0.6-0.4-0.20
-10-5
05
10-10-5
05
10-2
-1.5-1
-0.50
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 54: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/54.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Zadania
Zapoznaj się z mechanizmem symulowanego wyżarzania.Dlaczego jest on często wprowadzany do dynamiki sieciHopfielda?
Oszacuj wymagania pamięciowe naiwnej implementacji sieciHopfielda dla obrazów o rozdzielczości 256× 256. Jak możnazredukować zapotrzebowanie pamięciowe?
(*) Jak można zmusić sieć Hopfielda do uczenia się zrozróżnieniem obrazu od negatywu?
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 55: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/55.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Zadania
Zaimplementuj autoasocjator graficzny Hopfielda.
Zaimplementuj autoasocjator lingwistyczny (dla par / trójekliter) bazujący na sieci Hopfielda.
Jak sieć będzie działać dla problemy rozpoznawania małych literna matrycy dużej rozdzielczości?
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 56: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/56.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Pojemność sieciPoprawne odzyskiwanie
Przeliczenia
Poniższy fragment zawiera szkice oszacowań pojemności sieci,przy której można stabilnie odzyskać obraz,
Nie obowiązuje na egzaminie.
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 57: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/57.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Pojemność sieciPoprawne odzyskiwanie
Stabilność wzorca
Załóżmy, że
wzorce Iµ są niezależne, tj.
P(ξµi = +1) = P(ξµi = −1) =12
Pytamy:
kiedy Iµ jest punktem stałym dynamiki sieci?
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 58: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/58.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Pojemność sieciPoprawne odzyskiwanie
Stabilność wzorca
Policzmy:
Mi (σ̄) =∑j
wijσi =
∑j
(1N
∑µ
ξµi ξµj
)σj =
∑µ
Mµ(σ̄)ξµi
Podstawmy za konfigurację wzorzec σ̄ := Iµ0 .
Mi (Iµ0) = ξµ0i +∑
µ6=µ0Mµ(Iµ0)ξµi︸︷︷︸ ︸ ︷︷ ︸
sygnał szum
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 59: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/59.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Pojemność sieciPoprawne odzyskiwanie
Stabilność wzorca
Policzmy:
Mi (σ̄) =∑j
wijσi =∑j
(1N
∑µ
ξµi ξµj
)σj
=∑µ
Mµ(σ̄)ξµi
Podstawmy za konfigurację wzorzec σ̄ := Iµ0 .
Mi (Iµ0) = ξµ0i +∑
µ6=µ0Mµ(Iµ0)ξµi︸︷︷︸ ︸ ︷︷ ︸
sygnał szum
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 60: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/60.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Pojemność sieciPoprawne odzyskiwanie
Stabilność wzorca
Policzmy:
Mi (σ̄) =∑j
wijσi =∑j
(1N
∑µ
ξµi ξµj
)σj =
∑µ
Mµ(σ̄)ξµi
Podstawmy za konfigurację wzorzec σ̄ := Iµ0 .
Mi (Iµ0) = ξµ0i +∑
µ6=µ0Mµ(Iµ0)ξµi︸︷︷︸ ︸ ︷︷ ︸
sygnał szum
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 61: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/61.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Pojemność sieciPoprawne odzyskiwanie
Stabilność wzorca
Policzmy:
Mi (σ̄) =∑j
wijσi =∑j
(1N
∑µ
ξµi ξµj
)σj =
∑µ
Mµ(σ̄)ξµi
Podstawmy za konfigurację wzorzec σ̄ := Iµ0 .
Mi (Iµ0) = ξµ0i +∑
µ6=µ0Mµ(Iµ0)ξµi︸︷︷︸ ︸ ︷︷ ︸
sygnał szum
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 62: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/62.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Pojemność sieciPoprawne odzyskiwanie
Stabilność wzorca
Policzmy:
Mi (σ̄) =∑j
wijσi =∑j
(1N
∑µ
ξµi ξµj
)σj =
∑µ
Mµ(σ̄)ξµi
Podstawmy za konfigurację wzorzec σ̄ := Iµ0 .
Mi (Iµ0) = ξµ0i +∑
µ6=µ0Mµ(Iµ0)ξµi
︸︷︷︸ ︸ ︷︷ ︸sygnał szum
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 63: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/63.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Pojemność sieciPoprawne odzyskiwanie
Stabilność wzorca
Policzmy:
Mi (σ̄) =∑j
wijσi =∑j
(1N
∑µ
ξµi ξµj
)σj =
∑µ
Mµ(σ̄)ξµi
Podstawmy za konfigurację wzorzec σ̄ := Iµ0 .
Mi (Iµ0) = ξµ0i +∑
µ6=µ0Mµ(Iµ0)ξµi︸︷︷︸ ︸ ︷︷ ︸
sygnał szum
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 64: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/64.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Pojemność sieciPoprawne odzyskiwanie
Stabilność wzorca
Założyliśmy, że:
P(ξµi ξµj = +1) = P(ξµi ξ
µj = −1) =
12
Zdefiniujmy zmienną losową Ξ:
Ξ = ξµi ξµj
Wartość oczekiwana wynosi EΞ = 0, wariancja D2Ξ = 1:Z centralnego twierdzenia granicznego.
Mµ(Iµ0) =1N
∑j
ξµi ξµj =
∑i Ξi − N · 0√N√N · 1
→D1√NN(0, 1) ∼ N(0,
1N
)
I dalej: ∑µ 6=µ0
Mµ(Iµ0)ξµi ∼ N(0,P − 1N
)
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 65: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/65.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Pojemność sieciPoprawne odzyskiwanie
Stabilność wzorca
Założyliśmy, że:
P(ξµi ξµj = +1) = P(ξµi ξ
µj = −1) =
12
Zdefiniujmy zmienną losową Ξ:
Ξ = ξµi ξµj
Wartość oczekiwana wynosi EΞ = 0, wariancja D2Ξ = 1:Z centralnego twierdzenia granicznego.
Mµ(Iµ0) =1N
∑j
ξµi ξµj =
∑i Ξi − N · 0√N√N · 1
→D1√NN(0, 1) ∼ N(0,
1N
)
I dalej: ∑µ 6=µ0
Mµ(Iµ0)ξµi ∼ N(0,P − 1N
)
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 66: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/66.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Pojemność sieciPoprawne odzyskiwanie
Stabilność wzorca
Założyliśmy, że:
P(ξµi ξµj = +1) = P(ξµi ξ
µj = −1) =
12
Zdefiniujmy zmienną losową Ξ:
Ξ = ξµi ξµj
Wartość oczekiwana wynosi EΞ = 0, wariancja D2Ξ = 1:
Z centralnego twierdzenia granicznego.
Mµ(Iµ0) =1N
∑j
ξµi ξµj =
∑i Ξi − N · 0√N√N · 1
→D1√NN(0, 1) ∼ N(0,
1N
)
I dalej: ∑µ 6=µ0
Mµ(Iµ0)ξµi ∼ N(0,P − 1N
)
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 67: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/67.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Pojemność sieciPoprawne odzyskiwanie
Stabilność wzorca
Założyliśmy, że:
P(ξµi ξµj = +1) = P(ξµi ξ
µj = −1) =
12
Zdefiniujmy zmienną losową Ξ:
Ξ = ξµi ξµj
Wartość oczekiwana wynosi EΞ = 0, wariancja D2Ξ = 1:Z centralnego twierdzenia granicznego.
Mµ(Iµ0) =
1N
∑j
ξµi ξµj =
∑i Ξi − N · 0√N√N · 1
→D1√NN(0, 1) ∼ N(0,
1N
)
I dalej: ∑µ 6=µ0
Mµ(Iµ0)ξµi ∼ N(0,P − 1N
)
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 68: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/68.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Pojemność sieciPoprawne odzyskiwanie
Stabilność wzorca
Założyliśmy, że:
P(ξµi ξµj = +1) = P(ξµi ξ
µj = −1) =
12
Zdefiniujmy zmienną losową Ξ:
Ξ = ξµi ξµj
Wartość oczekiwana wynosi EΞ = 0, wariancja D2Ξ = 1:Z centralnego twierdzenia granicznego.
Mµ(Iµ0) =1N
∑j
ξµi ξµj =
∑i Ξi − N · 0√N√N · 1
→D1√NN(0, 1) ∼ N(0,
1N
)
I dalej: ∑µ 6=µ0
Mµ(Iµ0)ξµi ∼ N(0,P − 1N
)
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 69: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/69.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Pojemność sieciPoprawne odzyskiwanie
Stabilność wzorca
Założyliśmy, że:
P(ξµi ξµj = +1) = P(ξµi ξ
µj = −1) =
12
Zdefiniujmy zmienną losową Ξ:
Ξ = ξµi ξµj
Wartość oczekiwana wynosi EΞ = 0, wariancja D2Ξ = 1:Z centralnego twierdzenia granicznego.
Mµ(Iµ0) =1N
∑j
ξµi ξµj =
∑i Ξi − N · 0√N√N · 1
→D1√NN(0, 1) ∼ N(0,
1N
)
I dalej: ∑µ 6=µ0
Mµ(Iµ0)ξµi ∼ N(0,P − 1N
)
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 70: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/70.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Pojemność sieciPoprawne odzyskiwanie
Stabilność wzorca
Założyliśmy, że:
P(ξµi ξµj = +1) = P(ξµi ξ
µj = −1) =
12
Zdefiniujmy zmienną losową Ξ:
Ξ = ξµi ξµj
Wartość oczekiwana wynosi EΞ = 0, wariancja D2Ξ = 1:Z centralnego twierdzenia granicznego.
Mµ(Iµ0) =1N
∑j
ξµi ξµj =
∑i Ξi − N · 0√N√N · 1
→D1√NN(0, 1)
∼ N(0,1N
)
I dalej: ∑µ 6=µ0
Mµ(Iµ0)ξµi ∼ N(0,P − 1N
)
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 71: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/71.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Pojemność sieciPoprawne odzyskiwanie
Stabilność wzorca
Założyliśmy, że:
P(ξµi ξµj = +1) = P(ξµi ξ
µj = −1) =
12
Zdefiniujmy zmienną losową Ξ:
Ξ = ξµi ξµj
Wartość oczekiwana wynosi EΞ = 0, wariancja D2Ξ = 1:Z centralnego twierdzenia granicznego.
Mµ(Iµ0) =1N
∑j
ξµi ξµj =
∑i Ξi − N · 0√N√N · 1
→D1√NN(0, 1) ∼ N(0,
1N
)
I dalej: ∑µ 6=µ0
Mµ(Iµ0)ξµi ∼ N(0,P − 1N
)
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 72: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/72.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Pojemność sieciPoprawne odzyskiwanie
Stabilność wzorca
Założyliśmy, że:
P(ξµi ξµj = +1) = P(ξµi ξ
µj = −1) =
12
Zdefiniujmy zmienną losową Ξ:
Ξ = ξµi ξµj
Wartość oczekiwana wynosi EΞ = 0, wariancja D2Ξ = 1:Z centralnego twierdzenia granicznego.
Mµ(Iµ0) =1N
∑j
ξµi ξµj =
∑i Ξi − N · 0√N√N · 1
→D1√NN(0, 1) ∼ N(0,
1N
)
I dalej: ∑µ 6=µ0
Mµ(Iµ0)ξµi ∼ N(0,P − 1N
)
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 73: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/73.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Pojemność sieciPoprawne odzyskiwanie
Stabilność wzorca
Aby nie zepsuć wzorca musi zachodzić
|∑µ6=µ0
Mµ(Iµ0)ξµi | ∼ |N(0,P − 1N
)| < 1
Wariancja musi być bardzo mała
P − 1N
� 1
czyliP � N
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 74: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/74.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Pojemność sieciPoprawne odzyskiwanie
Stabilność wzorca
Aby nie zepsuć wzorca musi zachodzić
|∑µ6=µ0
Mµ(Iµ0)ξµi | ∼ |N(0,P − 1N
)| < 1
Wariancja musi być bardzo mała
P − 1N
� 1
czyliP � N
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 75: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/75.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Pojemność sieciPoprawne odzyskiwanie
Stabilność wzorca
Aby nie zepsuć wzorca musi zachodzić
|∑µ6=µ0
Mµ(Iµ0)ξµi | ∼ |N(0,P − 1N
)| < 1
Wariancja musi być bardzo mała
P − 1N
� 1
czyliP � N
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 76: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/76.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Pojemność sieciPoprawne odzyskiwanie
Poprawne odzyskiwanie
Wzorzec Iµ0 zaburzamy w R punktach.Szum nadal wynosi N(0, PN ).Sygnał (1− RN )ξµ0i .
Szukamy bezpiecznego α = PN , aby wciąż dało się odzyskać obraz.
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 77: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/77.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Pojemność sieciPoprawne odzyskiwanie
Poprawne odzyskiwanie
Prawdopodobieństwo że uda się odtworzyć i-ty piksel wynosi:
P(N(0, α) < 1− 2RN
) =
Φ(1− 2R/N√
α) = 1− Φ̄(
1− 2R/N√α
)
Chcemy odtworzyć wszystkie piksele (a nie jeden), więcprawdopodobieństwo wyniesie
'(
1− Φ̄(1− 2R/N√
α)
)N' 1− N · Φ̄(
1− 2R/N√α
)
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 78: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/78.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Pojemność sieciPoprawne odzyskiwanie
Poprawne odzyskiwanie
Prawdopodobieństwo że uda się odtworzyć i-ty piksel wynosi:
P(N(0, α) < 1− 2RN
) = Φ(1− 2R/N√
α) =
1− Φ̄(1− 2R/N√
α)
Chcemy odtworzyć wszystkie piksele (a nie jeden), więcprawdopodobieństwo wyniesie
'(
1− Φ̄(1− 2R/N√
α)
)N' 1− N · Φ̄(
1− 2R/N√α
)
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 79: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/79.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Pojemność sieciPoprawne odzyskiwanie
Poprawne odzyskiwanie
Prawdopodobieństwo że uda się odtworzyć i-ty piksel wynosi:
P(N(0, α) < 1− 2RN
) = Φ(1− 2R/N√
α) = 1− Φ̄(
1− 2R/N√α
)
Chcemy odtworzyć wszystkie piksele (a nie jeden), więcprawdopodobieństwo wyniesie
'(
1− Φ̄(1− 2R/N√
α)
)N' 1− N · Φ̄(
1− 2R/N√α
)
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 80: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/80.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Pojemność sieciPoprawne odzyskiwanie
Poprawne odzyskiwanie
Prawdopodobieństwo że uda się odtworzyć i-ty piksel wynosi:
P(N(0, α) < 1− 2RN
) = Φ(1− 2R/N√
α) = 1− Φ̄(
1− 2R/N√α
)
Chcemy odtworzyć wszystkie piksele (a nie jeden), więcprawdopodobieństwo wyniesie
'(
1− Φ̄(1− 2R/N√
α)
)N'
1− N · Φ̄(1− 2R/N√
α)
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 81: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/81.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Pojemność sieciPoprawne odzyskiwanie
Poprawne odzyskiwanie
Prawdopodobieństwo że uda się odtworzyć i-ty piksel wynosi:
P(N(0, α) < 1− 2RN
) = Φ(1− 2R/N√
α) = 1− Φ̄(
1− 2R/N√α
)
Chcemy odtworzyć wszystkie piksele (a nie jeden), więcprawdopodobieństwo wyniesie
'(
1− Φ̄(1− 2R/N√
α)
)N' 1− N · Φ̄(
1− 2R/N√α
)
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 82: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/82.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Pojemność sieciPoprawne odzyskiwanie
Poprawne odzyskiwanie
Skorzystamy z przybliżenia Φ̄ ' 1x√2π
exp(−x2
2 ).
Jeżeli ograniczymy dopuszczalny błąd przez δ, to
δ > NΦ̄(1− 2R/N√
α) ' N
√α
(1− 2R/N)√
2πexp(−(1− 2R/N)2
2α) '
'N√α exp(−(1−2R/N)2
2α )√
2π
Po zlogarytmowaniu:
(1− 2RN
)2 ' 2α(− ln δ + lnN +
lnα2
)
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 83: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/83.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Pojemność sieciPoprawne odzyskiwanie
Poprawne odzyskiwanie
Skorzystamy z przybliżenia Φ̄ ' 1x√2π
exp(−x2
2 ).
Jeżeli ograniczymy dopuszczalny błąd przez δ, to
δ > NΦ̄(1− 2R/N√
α) '
N√α
(1− 2R/N)√
2πexp(−(1− 2R/N)2
2α) '
'N√α exp(−(1−2R/N)2
2α )√
2π
Po zlogarytmowaniu:
(1− 2RN
)2 ' 2α(− ln δ + lnN +
lnα2
)
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 84: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/84.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Pojemność sieciPoprawne odzyskiwanie
Poprawne odzyskiwanie
Skorzystamy z przybliżenia Φ̄ ' 1x√2π
exp(−x2
2 ).
Jeżeli ograniczymy dopuszczalny błąd przez δ, to
δ > NΦ̄(1− 2R/N√
α) ' N
√α
(1− 2R/N)√
2πexp(−(1− 2R/N)2
2α) '
'N√α exp(−(1−2R/N)2
2α )√
2π
Po zlogarytmowaniu:
(1− 2RN
)2 ' 2α(− ln δ + lnN +
lnα2
)
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 85: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/85.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Pojemność sieciPoprawne odzyskiwanie
Poprawne odzyskiwanie
Skorzystamy z przybliżenia Φ̄ ' 1x√2π
exp(−x2
2 ).
Jeżeli ograniczymy dopuszczalny błąd przez δ, to
δ > NΦ̄(1− 2R/N√
α) ' N
√α
(1− 2R/N)√
2πexp(−(1− 2R/N)2
2α) '
'N√α exp(−(1−2R/N)2
2α )√
2π
Po zlogarytmowaniu:
(1− 2RN
)2 ' 2α(− ln δ + lnN +
lnα2
)
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 86: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/86.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Pojemność sieciPoprawne odzyskiwanie
Poprawne odzyskiwanie
Skorzystamy z przybliżenia Φ̄ ' 1x√2π
exp(−x2
2 ).
Jeżeli ograniczymy dopuszczalny błąd przez δ, to
δ > NΦ̄(1− 2R/N√
α) ' N
√α
(1− 2R/N)√
2πexp(−(1− 2R/N)2
2α) '
'N√α exp(−(1−2R/N)2
2α )√
2π
Po zlogarytmowaniu:
(1− 2RN
)2 ' 2α(− ln δ + lnN +
lnα2
)
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10
![Page 87: Wstep do sieci neuronowych, wyklad 10 Sieci rekurencyjne ...maja/www/contents/teaching/wsn2012/wsn... · Sieci skierowane — graf połączeń synaptycznych nie zawiera cykli wierzchołki](https://reader031.vdocuments.net/reader031/viewer/2022022115/5c770f7409d3f2c43b8b98d6/html5/thumbnails/87.jpg)
Sieci rekurencyjneAutoasocjator Hopfielda
ZadaniaPrzeliczenia
Pojemność sieciPoprawne odzyskiwanie
Poprawne odzyskiwanie
α '(1− 2RN )2
2 lnN' 1
2 lnN
Wniosek
W sieci o N wierzchołkach można przechować maksymalnie N4 logN
wzorców.
M. Czoków, J. Piersa WSN 2011/2012 Wykład 10