réseaux de neurones formels - gipsa-lab, laboratoire de

Réseaux de neurones - Master Sciences Cognitives - 2005

1

Réseaux de neurones formels

Christian JuttenLab. des Images et des Signaux

(LIS)UMR 5083 Centre National de la Recherche Scientifique,

Institut National Polytechnique de Grenoble,Université Joseph Fourier

Grenoble


2

Contenu

• I. Introduction • II. Quelques flashs de neurobiologie• III. Modèles mathématiques• IV. Coopération et compétition• V. Mémoires associatives linéaires• VI. Perceptrons multi-couches• VII. Modèles de Hopfield• VIII. Cartes auto-organisatrices de Kohonen• IX. Séparation de sources• X. Présentation du BE et des mini-projets


3

Chapitre 4

Coopération et compétition


4

Coopération et compétition : introduction

• Réseaux à connexions locales• Connexions excitatrices et inhibitrices • Connexions fixes : pas d’apprentissage• Principe : algorithme codé dans le réseau• Deux exemples :

– filtrage spatial non linéaire,– résolution de problèmes d’optimisation


5

Coopération et compétition : filtragespatial non linéaire (1D)

• Réseaux à inhibitions latérales récurrentes

u

N(u)

x(n)

y(n)

α(i)

β(i)

excitation

inhibition

[ ])(*)()(*)()( nnynnxNny βα −=


6


• Convolution : notation *, α et β noyaux de convolution

• Convolution = filtrage– quelques exemples

)()()(*)(

)()()(*)(

iinynny

iinxnnx

b

bi

a

ai

ββ

αα

∑

∑+

−=

+

−=

−=

−=x(n)

y(n)

α(i)

β(i)

excitation

inhibition

4/)1(2/)(4/)1()(*)(3/)1(3/)(3/)1()(*)(

)1()1()0()()1()1()(*)(

+++−=+++−=

−+++−=

nxnxnxnnxnxnxnxnnx

nxnxnxnnx

αα

αααα


7


• Réponse à un créneau constant

n

x(n)

n

x(n)

x(n)

y(n)

α(i)

β(i)

excitation

inhibition

A = 0.5

A = 0.8


8


• Réponse à un créneau constant, avec un grand gain (A>2)

n

x(n)

n

y(n)

n

x(n)

n

y(n)

n

x(n)

n

y(n)

n

x(n)

y(n)

n


9


• Réseau 2-D

entrées neurones sorties

u

N(u)


10


• Réponse à une entrée de type « pavé »

A = 5 A = 20

A = 0.5

A = 10


11


• Réponse à image de caractères alpha-numériques


12


• Réponse à une image bruitée

x(n)

y(n)

α(i)

β(i)

excitation

inhibition


13

Coopération et compétition : résolution de problèmes d’optimisation

• Codage du problème : réseau partagé en groupes– inhibitions mutuelles intra-groupe– excitations sélectives inter-groupe

• Equation d’évolution des sorties des neurones

nippTxppxppdt

dpiiiei

i ,,1),()()( reposminmax L=−−−−−=

reposau retour de tempsde constante : esinhibitric entrées des somme : esexcitatric entrées des somme :

minreposmax

Txx

ppp

i

e

<<


14

Coopération et compétition : résolution de problèmes d’optimisation

• Variations du potentiel d’un neurone

• Système de n équations différentielles couplées– sous certaines conditions (supposées satisfaites), le

système possède des états d’équilibre stable• 2 exemples d ’applications : base de données, coloriage

d’un graphe

nippTxppxppdt

dpiiiei

i ,,1),()()( reposminmax L=−−−−−=

t

p(t)pmax

xe croissant

tp(t)

pmin

xi croissant


15

Coopération et compétition : base dedonnées

• Codage neuronal de la BD • La base de données :– 5 enregistrements– 5 champs

David Dupont BAC 40ans CélAnne Dupont SUP 30ans MarPierre Durand BEP 40ans MarCélia Durand BAC 30ans MarPaul Durand BAC 20ans Cél

basePrénom

Situation

Nom

Age

Etudes


16



basePrénom

Situation

Nom

Age

Etudes

Rappel par enregistrement


17



Rappel par forçage de BAC

basePrénom

Situation

Nom

Age

Etudes


18

Coopération et compétition : coloriage d’une carte

• Règles– Deux régions contiguës ont

des couleurs différentes– Quatre couleurs suffisent

• Codage par réseau– Une région représentée par

un groupe– Un groupe contient 4

neurones– 1 neurone est associé à 1

couleur


19

Coopération et compétition : coloriage d’une carte

• Codage par réseau– Une région représentée par un

groupe– Un groupe contient 4 neurones– 1 neurone est associé à 1 couleur

• Connexions– inhibitrices intra-groupe : une

région a une couleur pure (pas un mélange)

– sélectives (voisins) inter-groupe :• excitatrices entre cellules de

couleurs différentes• inhibitrices entre cellules de

même couleur

Océan

Bordeaux

Toulouse

Océan voisin de BoirdeauxBordeaux voisn de ToulouseOcéan pas voisin de Toulouse


20

Coopération et compétition

• Les réseaux sans apprentissage présentent des propriétés intéressantes :– La non-linéarité entraîne des résultats performants– Les connexions permettent de gérer de façon implicite

des contraintes complexes– Le principe consiste à coder le problème dans une

architecture de réseau– La stabilité du réseau requiert des conditions

particulières, sinon risque de minima locaux


21

Contenu



22

Chapitre 5

Mémoire associative linéaire


23

Mémoire associative linéaire :principes

• Réseau :– connexions totales directes, et adaptables (apprentissage)– neurone à caractéristique linéaire ou booléenne

• Deux représentations équivalentes

x1

x2 y2

y1

xp

y3

yn

y2

y1

y3

yn

x1 x2 xp

w11 w12 w1p

w32

wnpwn2wn1

w21 w22 w2p

WXY =

=∑=

p

jjiji xwy

1


24

Règles de calcul matriciel

• Produit matrice-vecteur, – si le nombre colonne de W = dim X

• Produit scalaire : somme des produit termes à termes– vecteurs de même dimension– ressemblance entre vecteurs,– si vecteurs normés : cos(U,V)

WXY =

=∑=

p

jjiji xwy

1

∑=

=

+++=

=⋅

n

iii

nn

T

vu

vuvuvu

1

2211 L

rrUVVU

i

X

=

Y


25

Mémoire associative linéaire :apprentissage

• Objectif : mémoriser N associations (Xk, Yk)• Apprentissage : à chaque association k

• A la fin de l’apprentissage, W vaut :

• Remarques– c’est la somme des matrices d ’inter-

corrélations des N associations– chaque poids est un mélange des

N associations– chaque association est distribuée sur tous les poids du réseau

kj

kiijij xykwkw +=+ )()1(

∑∑==

==N

k

TkkN

k

kj

kiij xyw

11

)( :soit XYWy2

y1

yn

x1 x2 xp

w11 w12 w1p

w32

wnpwn2wn1

w21 w22 w2p

y3


26

Mémoire associative linéaire : rappel

• Objectif : retrouver Yk en sortie de la mémoire en présentant Xk

• Les poids sont fixés. Si on présente Xr

• Si les vecteurs Xk sont orthonormés, c-à-d

( )∑

∑

=

=

=

==

N

k

rTkk

rN

k

Tkkr

1

1

)(

)(

XXY

XXYXWYy2

y1

yn

x1 x2 xp

w11 w12 w1p

w32

wnpwn2wn1

w21 w22 w2p

y3

( ) ( )r

rTrrN

k

rTkk

Y

XXYXXYY

=

==∑=

)()(1

kllTk δ=XX )(


27


• Objectif : retrouver Yk en sortie de la mémoire en présentant X= Xk + b, où b est un bruit supposé décorrélé des Xk :

• Le rappel donne donc Yk perturbé parles autres sorties apprises Yj pondérées par les coefficients

( )

( )∑

∑

∑

≠

=

=

+=

+=

+

=

kj

Tjjk

N

k

kTkk

kN

k

Tkk

bXYY

bXXY

bXXYY

)(

)()(

)()(

1

1

y2

y1

yn

x1 x2 xp

w11 w12 w1p

w32

wnpwn2wn1

w21 w22 w2p

y3

bX Tj )(


28


• A partir de la relation :

on remarque que la qualité du rappel :– augmente si le bruit est décorrélé des « patterns »,– diminue avec la puissance du bruit,– diminue avec le nombre d’associations à mémoriser.

• On distingue trois types de mémoires associatives :– les mémoires auto-associatives : X et Y sont de même nature, et la

mémoire permet de restaurer des données incomplètes ou bruitées,– les mémoires hétéro-associatives : X et Y sont de nature différentes, par

exemple à un caractère X on associe son code ASCII, – les classifieurs, qui sont des mémoires hétéro-associatives particulières : Y

est la classe de X.

( )∑≠

+=kj

Tjjk bXYYY )(


29

Mémoire associative linéaire : exemple

• Mémoire auto-associative

« Patterns » Clés Sorties pourN = 120

Sorties pourN = 500


30

Mémoire associative linéaire : exemple

• Classifieur

Classe 0

Classe 1

Classe 2

Classe 3


31

Mémoire associative linéaire : robustesse ?

• Propriété de rappel de données incomplètes ou bruitée étonnante !

• Robustesse ?– Peu tolérant aux

transformations géométriques– mesure de ressemblance =

produit scalaire ou cos– Exemple : images translatées

d ’un pixel ne se ressemblent pas

29.0.cos −==t

t

XXXXθ


32

Mémoire associative linéaire : coût ?

• Coût en mémoireMémoire de N images de n = 106 pixels avec 1 pixel = 1 octetMémoire classique :

pour N images : N x 106 octetsMémoire associative :

1 image : matrice de n x n = 106 x106 octetsN images : idem !N < 15% nbre pixels = 15 104 images, sinon rappel catastrophique !

Rapport complexité, optimal pour Nmax :(Compl. MA)/(Compl. MC) > 7

• 106 adressages remplacés par 106 x106 sommes de produits


33


• Hypothèse d’orthonormalité ?– En général, elle est fausse

• Pré-traitement pour augmenter l’orthogonalité– opérateur Laplacien (Kohonen)

)1()(2)1()(~ +−+−−= iXiXiXiX Vecteurs initiaux

Vecteurs aprèsprétraitement


34


• Pré-traitement pour augmenter l’orthogonalité– opérateur Laplacien (Kohonen)

Avant prétraitement

98.0cos21

21 =⋅

=XXXXθ

03.0~~~~

cos21

21 −=⋅

=XXXXθ

Après prétraitement


35

Mémoire associative linéaire : amélioration

• MA optimale au sens des Moindres Carrés (Kohonen, Oja)– En réponse à X, on obtient une estimation

– On cherche B qui minimise l ’erreur quadratique

• On montre que la solution est égale à :

où MX et MY sont les matrices de taille pxN et nxN formées par l’ensemble des N associations apprises.

BYWXY +==ˆ

222ˆ BYWXYY =−=−

+= MYMXW .


36

Mémoire associative linéaire : limitation

• Réseaux à une couche : limités à des problèmes linéairement séparables

• Le problème XOR :– X1 et X2 sont 2 variables booléennes, on veut calculer (apprendre)

Y, tel que : 21 XXY ⊕=

θ

X1

X2

Y = signe(w1 X1 + w2 X2 - θ) 0

01

1 X1

X2

w1

w2

Y=-1Y=+1


37

Au-delà de la mémoire associative linéaire

• Avec une couche cachée

• Le problème devient linéairement séparable dans l’espace 3-D : X1, X2, X1 AND X2

• Pour un ^problème complexe : Combien de couches ? Combien de neurones ? Calcul des poids ?

1.5

X1

X2

0

0

1

1

X1

X2

0.5

0.5

0.5

1

11

111

-2

X1 AND X2


38

Vers les MLP : Influence des couches

• Exemple de classification avec des données 2-D

1 couche 2 couches 3 couches


39

Contenu


réseaux de neurones formels - gipsa-lab, laboratoire de

Documents