Attività cerebrale

•I neuroni si attivano in gruppi sotto l’azione di uno stimolo

•Attività in gruppi ben delimitati con alta o bassa attività

•Il gruppo di attività è chiamato “bolla”

•La bolla persiste a lungo e si restringe lentamente

Attività neuronale

n

ijiji

j ndt

d

1

In assenza di altri neuroni, l’attività del neurone j-esimo è:

Ove:

- attività del neurone j-esimo

- componente i-esima dello stimolo con “n” ingressi

- peso della connessione tra neurone j-esimo e ingresso i-esimo

- perdite nel trasferimento delle informazioni

j

i

ji

Equazione attivitàL’andamento della sinapsi, in base alla distanza dal neurone, è:

2

22

14

2

22

22

yx

eyx

G

L’equazione dell’attività del neurone j-esimo diventa

ik

kki

n

ijiji

j wdt

d

1

con wki = sinapsi connessione tra neurone “i” e “k”

Trasferimento informazioni

L’evoluzione temprale della sinapsi è espressa da

jijiiji

dt

d

Con α che controlla la velocità di

apprendimento e β come fattore di dimenticanza

Dipende, quindi, dall’attività dei neuroni della connessione

L’attività varia in base alla posizione del neurone, dentro o fuori dalla bolla

Neurone “entro”

•Attività massima, normalizzabile a 1

•Normalizzazione di α e β per avere jj ~

jiiji

dt

d

La sinapsi cerca di uguagliare l’ingresso relativo

Neurone “fuori”

Attività trascurabile, ηj = 0

0dt

d ji

Le sinapsi non vengono modificate

•Modello costruito nel 1983

•Rete auto-organizzante

•Replica il processo di formazione delle mappe cerebrali

•L’apprendimento si basa sulla competizione tra neuroni

Reti di Kohonen

Griglia rettangolare di unità collegate a tutti gli ingressi

Architettura

j

x1

x2

xi

xn-1

xn

wj1

wj2

wji

wj(n-1)

wjn

Unità lineare

n

1iijij xwy

wji è il peso della connessione tra il neurone “j” e l’ingresso “i”

Neurone con uscita massima

cos1

XWXWxwy jj

n

ijjij

Necessaria la normalizzazione

1WX

Senza la normalizzazione

W1

W2

X

coscos 21 XWXW

anche se

Distanza vettore-ingresso

Viene scelto il neurone il cui vettore dei pesi è più vicino all’ingresso

Non è necessaria la normalizzazione

W1

W2

X

Si può usare la distanza Euclidea

N

ijiij wxXWd

1

2,

Legge di apprendimento

La legge di apprendimento per l’aggiornamento delle sinapsi del neurone vincente risulta:

NiconkVj

kwkxkkwkw

jo

jiijiji

...2,1

11

Vjo indica il vicinato del neurone vincente all’iterazione k

Dalla legge precedente, in notazione vettoriale: WXtW

Apprendimento cosciente

Adattamento alla distanza tra il neurone j-esimo ed il neurone vincitore

0,...2,1

11

jjDSTdeNiconkVj

kwkxdkkwkw

jo

jiijiji

Scelte e variazioni

• Il vicinato va scelto in modo da imitare la biologia del cervello

• La scelta del vicinato deve variare in modo da includere tutti i neuroni

• Alla fine si dovrà avere il solo neurone vincente

Variazioni ed iterazioni

• Anche il fattore R varia

• Costante per un certo numero di iterazioni, poi decresce

• Il numero delle iterazioni dell’algoritmo dipende dal numero M di neuroni

• Solitamente (500÷5000)M

Riduzione di R e A

Rmax

Rmint

tr

Amax

Amint

t

1,2 minmax

max

minmax

max

RN

R

R

RRtr

T

t

0,1 minmax

max

minmax

max

AA

A

AAt

T

t

Algoritmo

1. Inizializzazione casuale dei pesi2. Inizializzazione parametri α=Amax e r=Rmax

3. Fino a che α>Amin

A. Per ogni ingresso,

B. Riduzione di “α” e “r”

i. Calcolo dell’uscita

ii. Determinazione del neurone vincente

iii. Aggiornamento pesi del vicinato

Applicazioni

•Classificazione

•Es. odorato, fonemi

•Clustering

•Raggruppamento dati in sottoinsiemi di dimensione limitata

•Compressione

•Es. immagini