réseaux de neurones formels - gipsa-lab, laboratoire de ...christian.jutten/mescours/neural... ·...

Octobre 2005 Master Recherche Sciences Cognitives

1

Réseaux de neurones formels

Christian JuttenLab. des Images et des Signaux

(LIS)UMR 5083 Centre National de la Recherche Scientifique,

Institut National Polytechnique de Grenoble,Université Joseph Fourier

Grenoble


2

Contenu

• I. Introduction • II. Quelques flashs de neurobiologie• III. Modèles mathématiques• IV. Coopération et compétition• V. Mémoires associatives linéaires• VI. Perceptrons multi-couches• VII. Modèles de Hopfield• VIII. Cartes auto-organisatrices de Kohonen• IX. Séparation de sources• X. Présentation du BE et des mini-projets


3

Chapitre 8

Cartes auto-organisatricesde Kohonen


4

Cartes de Kohonen

• Principes des cartes auto-organisatrices• Quantification Vectorielle et préservation de la topologie• Algorithmes Batch et adaptatif• Architectures du réseaux et algorithmes,• Propriétés et applications,• Problèmes et limitations, • Analyse en composantes curvilinéaires


5

Cartes auto-organisatrices : principes• Principes: Modelisation des relations entre rétine et cortex visuel

• Objectifs– quantification vectorielle– préservation de la « topologie »


6

Cartes auto-organisatrices : quantification vectorielle

• Quantification scalaire : opération d ’arrondi classique

• Quantification vectorielle (VQ) : extension pour données vectorielles x

• Définition VQ : codage i.e. partitionner E en Q régions

NxxfRx ∈=→∈ )int()(

QifRE in ,,1,ˆ)( K==→⊂∈ xxx

Eix̂ ix̂


7

Algorithme batch de quantification vectorielle

Dynamic clustering (Diday, 1976 ; LBG, Linde, Buzo, Gray, 1980)1. Choisir le nbr Q de mots-codes ; placer au hasard ds espace données ; j = 12. Partager l’espace des données en régions

3. Déplacer les mots-codes selon la relation

4. Si j < Q , alors j = j + 1 et aller en 2, sinon stop.

Qkcxdcxdx jjkk ,,1,),(min),(/ K=

==ℜ

kc ∑ℜ∈ℜ

=kix

ik

k xCard

c 1

+ ++

+++

+ ++

++ ++

+ ++

+++

+ ++

++ ++

+ ++

+++

+ ++

++ ++

+ ++

+++

+ ++

++ ++

+ ++

+++

+ ++

++ ++


8

Algorithme adaptatif de quantification vectorielle

• Choisir le nbe Q mots-codes ; placer au hasard ds espace données ; j = 1• Choisir un point au hasard• Chercher le code le plus proche:• Déplacer le code selon :

• Si le test d’arrêt n’est pas vrai, aller en 2, sinon stop.

+ ++++

+

+ ++

++ ++

ixkc Qkcxdcxdc jijkik ,,1),,(min),(/ K==

)( kikk cxcc −+= µkc

+ ++++

+

+ ++

++ ++

+ ++++

+

+ ++

++ ++

+ ++++

+

+ ++

++ ++

+ ++++

+

+ ++

++ ++


9

Cartes de Kohonen: quantifcationvectorielle avec préservation de la topologie


10

Cartes auto-organisatrices : architecture du réseau

• Réseau de neurones

• « Topologie » du réseau1-D, 2-D, etc. ; voisinages

3

12

entréessorties

QQ neurones (quantifiers)

( )),( xwdKy ii =

Neurone: Modèle 2

p,1

1,11,2

entrées

sorties

Réseau 2-D

Réseau 1-D


11

SOM / VQ

Réseau neurones SOM• nombre de neurones Q

• dim. espace d’entrée: n

• poids neurone w

• organisation du réseau– 1-D,– 2-D, ou plus

permet de définir le voisinage

VQ• nombre de mots-codes Q

• dim. Espace d’entrée : n

• valeur des mots-codes x̂

• pas d’organisation dans l ’étiquetage des mots-codes

ni R∈n

i R∈


12

Cartes auto-organisatrices de Kohonen

• Chose the neuron number Q ; locate randomly on the data space ; define thenetwork organization

• Chose randomly a point• Find the closest neuron:• Move the winner and its neighboors:

• If the stopping test is not true, go to 2, else stop.

ixkc Kkcxdcxdc jijkik ,,1),,(min),(/ K==

kc)(),( kjjijj cVoisccxcc ∈−+= µ

+ ++++

+

+ ++

++ ++

+ ++++

+

+ ++

++ ++

+ ++++

+

+ ++

++ ++

+ ++++

+

+ ++

++ ++

+ ++++

+

+ ++

++ ++


13

Self-Organizing Maps (3)

• « Winner »For the input x, the « winner » is the neuron whose the weight vector is the

closest of x, i.e.

• Algorithm– Choose Q, the architecture ; initialize the weight vectors– do

• select randomly an input data x• compute the « winner »• update the weight of the winner and the neighbour neurons

– untill convergence

( )),(min0 ii wxdArgi =

( )),(min0 ii wxdArgi =

))(()()1( xtwtwtw iii −+=+ µ


14

Kohonen’s SOM: practical issues

• For VQ convergence– Stepsize must be time decreasing in 1/t

• For self-organisation– Initial Neighborhood must concern 60% of the network. For

instance, for a 1-D SOM with 100 neurons, Neigh0 = 30

– Neighborhood must be time decreasing in 1/t

tKmut

+=

1)( 0µµ

tKneightNeigh Neigh

+=

1)( 0


15

SOM properties:meshing


16

SOM properties: meshing

• 2-D data by 1-D network

• Topology preservation is not perfect !


17


• 2-D data by 2-D network: problem if network shape is not suited to data shape


18


• 2-D data by 2-D network: problem if network shapeis not suited to data shape

• Topology is not preserved• Dead units may appear


19

SOM Applications: color image compression

• Color image pixel = 3-D vector (R, G, B)• Basically 1 color pixel = 24 bits• Number of possible colors: NC = 224 !• Compression

– Find the best reduced set of colors (say Q) with respect to a distortion criterion (coding error)

– Replace each pixel (24 bits) by the number of the codewords (log2Q bits)– Compression rate:

• For instance, if Q =16, the compression rate is

• Topology preservation implies that LSB error in color label leads to acolor similar to the optimal one

Q2log24

=ρ

616log

242

==ρ


20

SOM Applications: travel salesman problem

• The problem consists in looking for the shortest tour which goes through N towns, once and only once.

• Using a closed 1-D Kohonen’s SOM, with the algorithm– random selection of a town – move the winner and its neighbours according to

– Topology preservation implies: close neurons code close towns

+

++

++++

+

**

**

**

*

+

++

++++

+

** **

**

*

ix

0i )( 0iNeighk∈)(),( 0iNeighkkikk ∈∀−+= wxww µ


21

SOM Applications: complex data representation

• Large dimension data can be represented using SOM in 2-D (3-D or more) maps for pointing out similarities

• Social and economical data x of countries (6 features for each country). The idea is to represent close data by close neurons, i.e. similar countries by close neurons in the SOM

• Using a 2-D Kohonen’s SOM, with the algorithm– random selection of a country data x– move the winner and its neighbours according to0i )( 0iNeighk

• Due to the topology preservation, after learning, each neuron is labelled with the country name whose data is coded by this neuron, leading to a similarity map

∈i

)(),( 0iNeighkkikk ∈∀−+= wxww µ


22

SOM Applications: scene categorization


23

A few problems with Kohonen’s maps


24

Curvilinear Component Analysis:Unfolding and projecting on the main maniforld


25

Curvilinear Component Analysis:Comparison with Sammons’s algorithm


26

Unfolding versus projection


27

Monitoring the mapping


28

CCA versus Sammons’s NL Mapping


29

CCA applications: Flattening the cortex


30

CCA application: scene categorization


31

CCA application: representation of audio-video data


32

CCA application: texture analysis


33

CCA references

réseaux de neurones formels - gipsa-lab, laboratoire de ...christian.jutten/mescours/neural... ·...

Documents