hopfieldove mreže i asocijativne memorije - lejla-bm.com.ba nm.pdf · 5/23/2013 7 problemi...

5/23/2013

1

Prepoznavanje uzoraka

Hopfieldove mreže i asocijativne memorije

Vanr.prof.dr. Lejla Banjanovic‐Mehmedovic

Prepoznavanje uzoraka Copyright: Lejla Banjanovic‐Mehmedovic

Hopfieldove mreže

• Hopfieldove mreže su nelinearne mreže s povratnim vezama koje su• Hopfieldove mreže su nelinearne mreže s povratnim vezama koje suzasnovane na principu pamćenja informacija u dinamički stabilnimstanjima.

• Svaki uzorak je zapamćen u jednom lokalnom minimumu energetskefunkcije

• Kroz rad mreže, bilo koje početno stanje konvergira ka najbližemminimumu energetske funkcije

H fi ld ž k i ti M C ll h Pitt d l (i l i 1 ili 1)• Hopfieldova mreža koristi McCulloch‐Pitts model neurona (izlazi +1 ili ‐1)

• Stanje mreže koja se sastoji od N neurona može se opisati vektorom s = [ s1, s2, …, sN ]T


5/23/2013

2

Stuktura Hopfieldovih mreža

•Par neurona i i j povezani susinaptičkom težinom wji kojaodređuje doprinos izlaznogsignala si neurona i na ulazu uneuron j

• Hopfieldove mreže su mreže sa simetričnim težnskim vrijednostima: wij=wji.Hopfield ‐ ako su težinski koeficijenti simetrični mreža će težiti ravnotežnomstanju i izbjeći će periodično ili haotično ponašanje.


Pravilo osvježavanja Hopfieldovih mreža

Pravilo učenja Hopfieldovih žmreža

)(1

)()1(

n

ijj

iik

jijk

i xywsngy

yi(k) – trenutna vrijednost u čvoru i

yj(k‐1) – vrijednost svih čvorova (j≠i) iz predhodnog koraka (rekurzivna vrijednost)yj vrijednost svih čvorova (j≠i) iz predhodnog koraka (rekurzivna vrijednost)

Wij – težinska vrijednost između čvorova i i j

xi – vanjski ulaz

Θi – prag

sng(‐) – signum funkcija


5/23/2013

3

Stabilnost diskretnih Hopfieldovih mreža

U h ž d t iti š j ž k f k ij• U ovu svrhu, možemo predstaviti ponašanje mreže, preko funkcije energije:

n

i

n

iiiii

n

i

n

ijj

jiji yyxyywE1 11 12

1

• Ukoliko je mreže stabilna, tada je promjena energetske funkcije ΔEnegativna, odnosno E opada kad god se stanje bilo kog čvora promjeni.


Kontinualne Hopfieldove mreže

• Hopfieldova mreža može biti realizovana i kao kontinualan model u kojem• Hopfieldova mreža može biti realizovana i kao kontinualan model, u kojemje vrijeme kontinualna varijabla i čvorovi imaju kontinualan, stepenastiizlaz, a ne izlaz od dva stanja.

• To znači da energija mreže opada kontinualno u vremenu i takve mreže senazivaju kontinualnim Hopfieldovim mrežama.

• Hopfield je pokazao da kontinualne Hopfieldove mreže imaju iste korisneosobine kao i diskretni model.


5/23/2013

4

Struktura kontinualnih Hopfieldovih mreža

• Kontinualna Hopfieldova mreža se realizuje kao analogno elektronsko kolo• Kontinualna Hopfieldova mreža se realizuje kao analogno elektronsko kolo, koje se sastoji od nelinearnih pojačavače i otpornika.

On se sastoji od n pojačavača(čvorova), od kojih svaki mapirasvoj ulazni napon ui u izlazninapon yi, pomoću jednačine a(ui),koja može biti npr. sigmoidnakoja mo e biti npr. sigmoidnafunkcija:

a(λui)=1/(1+e‐λui),

gdje je λ parametar pojačanja. Kadaλ→∞, kontinualni model postajediskretni.


Pravilo osvježavanja kontinualnih Hopfieldovih mreža

• Pravilo osvježavanja za svaki čvor u kontinualnoj Hopfieldovoj mreži može se dobiti pisanjem jednačine razvoja sistema, za sklop sa slike, koji predstavlja ulaz u čvor kontinualne Hopfieldove mreže:predstavlja ulaz u čvor kontinualne Hopfieldove mreže:

gdje je:

n

ijj

iiijij

n

ijj

iiiijij xuGywxuguywdt

duiCi

11

)(

n

ijj

iiji gwG1


5/23/2013

5

Asocijativne memorije

• Asocijativne memorije rade na principu asocijacije i prepoznavanja Kada• Asocijativne memorije rade na principu asocijacije i prepoznavanja. Kada se asocijativnoj memoriji na ulaz dovede probni uzorak, zvani ključ, ona kao rješenje šalje onaj uzorak, iz liste uzoraka pohranjenjih u memoriji, koji je najsličniji ključu.

• Povrat informacije se vrši kroz prepoznavanje dodjeljene informacije unutar već pohranjenih informacija. Takve memorije se takođe zovu i memorije adresirane preko sadržaja ili CAMmemorije (contentmemorije adresirane preko sadržaja ili CAM memorije (content‐addressable memories)


Tipovi asocijativnih memorija

Možemo razlikovati dva tipa asocijativnih memorijaMožemo razlikovati dva tipa asocijativnih memorija.

• autoasocijativne memorije

• heteroasocijativne memorije• U autoasocijavnim memorijama

predpostavljeno je da je xi=yi i da mrežaimplementira mapiranje Φ { Φ: R‐>R |Φ(xi)=xi }. Ako je neki uzorak x sličniji xinego bilo koji xj za j=1, 2, ..., p i j≠i, onda jeΦ( ) iΦ(x)=xi

• U heteroasocijavnim memorijama mrežaimplementira mapiranje Φ { Φ : R‐>R |Φ(xi)=yi }. I ako je neki proizvoljan uzorak xsličniji xi nego bilo koji drugi xj za j=1, 2, ...,p i j≠i onda je Φ(x)=yi.


5/23/2013

6

Linearni asocijatori

• U specijalnom slučaju ako vektori xi za i 01 2 p formiraju ortonormalan• U specijalnom slučaju ako vektori xi, za i=01,2,...,p formiraju ortonormalanprostor, asocijativna memorija može se definisati kao:

Φ(x)=Wx=(y1(x1)T+y2 (x2)T+...+yp(xp)T)x

gdje je W matrica težinskih vrijednosti, koja se naziva kros‐korelacionamatrica. Lako se vidi da je Φ(xi )=Wxi = yi kada vektori xi čine ortonormalanskup vektora.

Asocijativne mreže sa matricama težinskih vrijednosti definisanih kao uj d či i li i ij tjednačini, zovu se linearni asocijator .

• Ako je ulazni vektor x u linearni asocijator drugačiji od bilo kojeg xi, (i=1,2,...,p)tako da je x=xi+d, onda je izlaz: Φ(x)=Φ(xi+d)=yi+Wd gdje je Wd šumpreslišavanja, uzrokovan smetnjama u ulaznom uzorku. Linearni asocijatorne pruža način za suzbijanje šuma preslišavanja tako da je njegovaupotreba za tačno prepoznavanje ograničena.


Rekurentne autoasocijativne memorije –Hopfieldove memorije‐

• Hopfield‐ove memorije su rekurentne autoasocijativne memorije. Onei j b t d t i i l i kt ( k) i ij k d j jimaju sposobnost da vrate originalni vektor (uzorak) iz memorije kada jojse na ulaz dovede vektor približan originalu.

)(1

)()1(

n

ijj

iik

jijk

i xywsngy Pravilo za vraćanja podataka izmemorije (pravilo čitanja)

pIxxWp

k

Tkk 1

)(

p

k

kj

kiij xxw

1

ili

Algoritam za pohranjivanje je algoritam zanalaženje matrice težinskih vrijednosti ipredstavlja Hebbianovo pravilo učenja ilipravilo krajnjeg proizvoda.


5/23/2013

7

Problemi Hopfieldove memorije

• Dva najveća problema Hopfieldove memorije su• Dva najveća problema Hopfieldove memorije su

– neplanirano stabilno stanje, poznato pod nazivom lažno stabilno stanje(spurious stable state) koje je uzrokovano dodatnim minimumima energije.

– nesigurnost popravke uzorka, koja ovisi od kapaciteta Hopfieldove mreže.Preopterećena memorija može dovesti do male Hammingove distance izmeđupohranjenih uzoraka te može doći do greške u prepoznavanju.

• Primjećeno je da broj lažnih stabilnih stanja opada sa povećanjemPrimjećeno je da broj lažnih stabilnih stanja opada sa povećanjemdimenzija pohranjenog vektora (na primjer, broja njegovih neurona n) sobzirom na broj pohranjenih vektora. Na kraju, došlo je do toga da seunutar Hammingovog prečnika (radijusa) nalazi relativno malo lažnihstabilnih stanja, za svaki orginalno pohranjen vektor, te postaje ispravnoposmatrati svaku memoriju kao da ima svoj fiksan prečnik konvergencije.


Kapacitet Hopfieldove memorije (1)

• Postavlja se pitanje šta je kapacitet Hopfieldove memorije koja je veza• Postavlja se pitanje: šta je kapacitet Hopfieldove memorije, koja je vezaizmeđu broja pohranjenih memorija i veličine mreže. Zaista, kapacitet jenajvažniji parametar performanse u asocijativnim memorijama.

• Mjera za kapacitet asocijativne memorije je radijus privlačnosti ρ, kojipredstavlja distancu ρn od stabilnog stanja. Ta distanca je takva, da svakivektor unutar nje, će u jednom trenutku doseći stabilno stanje x. Distancaρn se uzima da je Hummingova distanca pa stoga predstavlja cijeli brojρn se uzima da je Hummingova distanca, pa stoga predstavlja cijeli broj.


5/23/2013

8

Kapacitet Hopfieldove memorije (2)

• Kapacitet Hopfieldove memorije

• Ako dozvolimo, međutim, da postoji mali dio memorije koji nije stabilan i nepovratan, onda se kapacitet može izvesti kao:

n

npC

ln4

)21( 2

n

npC

ln2

)21( 2

• Dakle bez obzira na radijus privlačnosti kapacitet Hopfieldove memorije leži u granicama:

nln2

n

nC

n

n

ln2ln4


Primjer 1

N k j d t H fi ld ž k j t ji• Neka nam je data Hopfieldova mreža, koja se sastojiod dva neurona, i koja ima dva stabilna ravnotežnastanja.

• Teorija kaže da će sa vremenom će sva početna stanjazavršiti u jednom od ta dva stabilna stanja. Ono što ćeodlučiti u kojem će stabilnom stanju završiti kojekretanje, je blizina početnog i ravnotežnog stanja.

• U ovom primjeru ćemo simulirati ponašanje jedne• U ovom primjeru ćemo simulirati ponašanje jednetakve mreže.


5/23/2013

9

Primjer 1

1

Hopfield Network State Space

-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

a(2)

Na slici su prikazana samo stabilnaravnotežna stanja

-1 -0.8 -0.6 -0.4 -0.2 0 0.2 0.4 0.6 0.8 1

-1

-0.8

a(1)


Primjer 1

1


-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

a(2)

Na slici je prikazano kretanje jednog stanja iz njegove početne tačke do tačke ravnoteže

-1 -0.8 -0.6 -0.4 -0.2 0 0.2 0.4 0.6 0.8 1

-1

-0.8

a(1)


5/23/2013

10

Primjer 1

1


-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

a(2)

Na ovoj slici vidimo da su sva stanja završila u jednoj od stabilnih tačaka, a u kojoj su završili zavisilo je samo od udaljenosti početke tačke i ravnotežne tačke

-1 -0.8 -0.6 -0.4 -0.2 0 0.2 0.4 0.6 0.8 1

-1

-0.8

a(1)


Primjer 2

Hopfieldova mrežu zauklanjanje šuma sa slike,pomoć a toaso ijati nihpomoću autoasocijativnihmemorija


5/23/2013

11

Load Image

'Load Image' nam dopuštamogućnost da učitamo slikusa svog računara. Pri tome,slika može biti samo određeneextenzije: .bmp, .tif, .jpg i .tiff.


Train Network

Pohrana slika u memorijuHopfieldove mreže,

č ž dnaučimo mrežu da je tojedan od mogućihuzoraka.

Memorisani uzorciPrepoznavanje uzoraka Copyright: Lejla Banjanovic‐Mehmedovic

5/23/2013

12

Add Noisse

Eksperiment:

Uzećemo neko, bilo kojel i či islovo, i učitati ga, naprimjer slovo 'C'. Zatimtrebamo da mu, pomoćuklizača i dugmića 'AddNoise', dodamo određenukoličinu šuma, da gapokvarimo.

Pomoću klizača, smo dakle dodali proizvoljnu količinu šuma. U ovom slučaju 27%. Šumse dodaje tako što određeni broj pixela, crnih i bijelih, zamjene međusobno mjesta.Prepoznavanje uzoraka Copyright: Lejla Banjanovic‐Mehmedovic

Run

Nakon dodavanja šuma,slovo je veoma oštećeno,li i ljiali ne i neprepoznatljivo.Pritiskom dugmića 'Run'Hopfieldova mreža, ćeprimiti pokvarenu sliku kaoulaz=ključ, uporediti je sasvim slikama, koje smopredhodno pohranili unjenu memoriju i poslatisliku koja je najsličnijasliku koja je najsličnijaključu.

Budući da slika nije bilaneprepoznatljiva, mreža jebez problema poslalapravu sliku iz memorije.


5/23/2013

13

‘’Add too much noisse ‘’

Sada ćemo vidjeti šta ćese desiti ako na istu slikul ' ' d d ždslova 'C' dodamo, možda,previše šuma. 84%.

Kao što vidmo sa slike,ovaj put slovo ‘c’ nije višeprepoznatljivo.


‘Run’

Pritiskom na dugmić'Run' ne dobijamo

l č l korginalnu, čistu slikuslova ‘C’, već dobijamojoš jednu pokvarenu iiskrivljenu sliku togslova. Međutim i to jeveoma značajan ikorisan rezultat, jerslika iako iskrivljena,ona je prepoznatljivaona je prepoznatljiva.


5/23/2013

14

Jos nekoliko pritiskanja dugmića 'Run'...


...i dobićemo orginalnu verziju našeg slova 'C'.

Ovako sretno rješenje se nedešava svaki put. Ponekadako dodamo previše šumaako dodamo previše šuma,koliko god ponavljalioperaciju ‘Run’ nećemodobiti početno rješenje.

U nekim eksperimentima sadodavanjem previše šumadošlo je do prepoznavanjapogrešnog slova ili

j lprepoznavanja pravog slovaali pogrešne boje (bijelo nacrnom), tako da ovoprepoznavanje nepredstavlja pravilo .


5/23/2013

15

Primjer 3

U ovom primjeru, Hopfieldova memorija sa 120 čvorova, 14400 težinskihvrijednosti, koristi se za smještanje 8 uzoraka pokazanih na slici.Ulazni elementi u mreži uzimaju vrijednosti +1 za crne piksele i -1 za bijele.Pri testiranju prepoznavanja uzorak za broj 3 je pokvaren nasumičnomPri testiranju prepoznavanja, uzorak za broj 3 je pokvaren nasumičnomzamjenom svakog bita, nezavisno da li pretvaramo +1 u -1 i obratno, savjerovatnoćom 0,25.Ovakav oštećeni uzorak se koristi kao ključni uzorak u Hopfieldovoj mreži upočetnom trenutku. Stanje u mreži tokom iteracija od 0 do 7 je prikazano naslici. Očigledno je da poremećeni uzorak ponovo pretvara u broj 3.


Zaključak:

• Hopfieldove mreže imaju mogućnost da ocjene koji je pohranjeni uzorak• Hopfieldove mreže imaju mogućnost da ocjene, koji je pohranjeni uzorakili stabilno stanje, najbliže nekom početnom stanju iz kojeg počinju'kretanje'.

• Asocijativne memorije ‐ memorije koje rade na principima prepoznavanjena osnovu sličnosti. Na osnovu njihove sposobnosti da prepoznaju koji jeuzorak iz memorije najsličniji uzorku, koji se prosljeđuje kao ulazniparametar, Hopfildove mreže mogu otklanjati šum veoma uspješno.


hopfieldove mreže i asocijativne memorije - lejla-bm.com.ba nm.pdf · 5/23/2013 7 problemi...

Documents