réseaux de neurones formels - gipsa-lab.grenoble-inp.frchristian.jutten/mescours/neural... ·...

Réseaux de neurones - Master Sciences Cognitives - 2005

1

Réseaux de neurones formels

Christian JuttenLab. des Images et des Signaux

(LIS)UMR 5083 Centre National de la Recherche Scientifique,

Institut National Polytechnique de Grenoble,Université Joseph Fourier

Grenoble


2

Contenu

• I. Introduction • II. Quelques flashs de neurobiologie• III. Modèles mathématiques• IV. Coopération et compétition• V. Mémoires associatives linéaires• VI. Perceptrons multi-couches• VII. Modèles de Hopfield• VIII. Cartes auto-organisatrices de Kohonen• IX. Séparation de sources• X. Présentation du BE et des mini-projets


3

Chapitre 1

Introduction


4

Introduction: différences et similarités


5


WUN DE BA R RME UXRVEILLE

RVEILLEWUNDEBA RRMEUX


6


soundsound


7



8



9

Introduction

• Calcul neuromimétique• Pourquoi cette approche ? Pour quels objectifs ?

PerceptionRobotiqueApprentissage


10

Introduction

• Quelques mots de neurobiologie– Système nerveux humain

• 1012 neurones• 1000 à 10.000 synapses par neurone

– Des propriétés remarquables• Complexité• Variabilité et fiabilité• Parallélisme• Performances• Compacité• Plasticité


11

Introduction

• Un peu d’histoire… les pionniers– Modèle de McCulloch et Pitts (1943)

• automates booléens• connexions fixes

– Perceptron de Rosenblatt (1958)• modèle linéaire + seuil • connexions modifiables

– Adaline de Widrow (1960)• modèle linéaire• connexions modifiables


12

Introduction

• Encore un peu d’histoire … les années 1970– Neurodynamique : Amari (depuis 1967 au Japon)– Mémoires associatives de Kohonen (Finlande, 1970)– Modèle de membrane, RN électroniques : J. Hérault (depuis 1968,

France)– Coopération et compétition, Adaptive Resonance Theory :

Grossberg (1968, USA)– Extraction de traits pertinents, mémoire : Anderson (depuis 1972,

USA)


13

Introduction

• Et l’histoire continue… le boum des années 1980– Physique statistique et réseaux de neurones formels : mémoires

auto-associatives, optimisation combinatoire (Hopfield, 1982, USA)

– Réseaux multi-couches• Neocognitron : Fukushima (1980, Japon)• Multi Layer Perceptron et Backpropagation : Werbos 1974,

Parker 1982, Le Cun 1985, Rumelhart et McClelland 1986– Cartes auto-organisatrices de Kohonen (Finlande, 1982)– Implémentations matérielles, parallèles, circuits intégrés, optiques– Beaucoup d’applications sont développées, revues spécialisées et

conférences internationales, intérêt des industriels


14

Introduction

• Et … aujourd’hui– Outil reconnu : nombreux packages, boîte à outils dans Matlab– Machine learning, Support Vector Machine


15

Chapitre 2

Flashs de neurobiologie


16


• Les neurones : des processeurs élémentaires deformes variéesmais avec des similarités :

– beaucoup d’entrées– une unité de traitement– une sortie


17


• Connexions entre neurones, jusqu’à 10.000 !


18


• Potentiel d’action : signal simple/métabolisme complexe

Ions Na+ K+ Cl- Ca++ Mg++ AutresIntérieur 50 400 60 0,4 10 250Extérieur 440 20 560 10 54 -

1ms

t- 60 mV

60 mV

10 mV dépolarisation

hyperpolarisation


19


• Du potentiel synaptique … au potentiel d’action : la sommation spatio-temporelle– Synapses proches : peu d’atténuation et de retard– Synapses lointaines : atténuation forte et retard important

t

t

somme

t

t

sommeaxone

dendrites

synapse lointaine synapse proche


20


• Codage de l’information – sorties analogiques ou binaires– information liée à l’amplitude, les fréquences instantanée ou

moyenne

• Exemple : codage du mouvement

2 s


21


• Au repos– fréquence des potentiels d’action non nulle, – les variations sont souvent plus significatives

• Fréquence vs somme des entrées– seuil– partie plus ou moins linéaire– saturation

f

Σ e


22


• Plasticité synaptique dans le cortex cérébelleux (Anderson, Eccles, 1965)


23


• Plasticité synaptique dans le cortex visuel humain (Conel, 1959)


24


• Règle de Hebb sur la plasticité synaptique• Tirée de l’ouvrage de D. O. Hebb, The organization of the

behaviour, Wiley, New-York, 1949When an axon of cell A is near enough to excite a cell B and repeatedly or persistently takes part in firing it, some growth process or metabolic changes take place in one or both cells such that A’s efficiency as one of the cells firing B, is increased (page 62)

• Une co-activité entraîne un renforcement synaptique

A B

sens de l'information


25


• Plasticité synaptique : – croissance ou régression des connexions, – modifications à court terme ou à long terme, si stimulations– oubli en absence de stimulation

• De façon qualitative

Pré-syn. Post-syn. Hebb R-SOui Oui ++ ++Non Oui ? --Oui Non ? -Non Non ? -


26


• Organisation en réseaux– environ 1012 neurones,– 1000 à 10.000 synapses par neurones,– plusieurs types de neurones,– une organisation en couches,– une organisation en colonne,– des connexions excitatricesou inhibitrices,– des architectures particulières.


27


• Organisation en réseaux : l’exemple du système olfactif• Des structures typiques

– convergence/divergence– inhibitions de divers types– contrôle central


28


• Organisation en réseaux : l’exemple du cortex visuel• Des structures typiques :

– le cortex : une structure en couches,– les micro-colonnes,– les feuillets de dominance oculaire et d’orientation


29


• Le cerveau des vertébrés– complexe

• nombre d’unités et de connexions,• grande variabilité des composants neurones et synapses,• un métabolisme très complexe,• un système multi-échelle : moléculaire, cellulaire, réseau,• des architectures variées,

– fiable et performant• durée de vie importante,• la perte de composants altère peu le fonctionnement,• plasticité synaptique et apprentissage.


30

Chapitre 3

Modèles mathématiques


31


• Modèles du neurone– modèle non linéaire – équation entrée/sortie

• Modèles de réseaux– structure en couches– divers types de connexions

• Modèles de plasticité ou d’apprentissage


32


• Les bases des modèles du neurone

somadendrites axone

arborisationterminale

xj

wij

neurone i

yi

x

x

x

x1

x2

xn

wi1

wi2

win+

yipi


33


• Modèle de neurone 1

• Quelques exemples pour N(.)

+

x1

x2

xn

pi yiN(.)

wi1

wi2

win

)(1

2211

ii

n

jijj

inniii

pNy

wx

wxwxwxp

=

=

+++=

∑=

L

p

)( pN

p

)( pN

p

)( pN

p

)( pN


34


• Modèle de neurone 1– avec N(.) = signe(.)– cas de 2 entrées

• La frontière entre les régions+1 et -1 est définie par :

)()( 2211

2211

iiiiii

iii

wxwxsignepsigneywxwxp

θθ −+=−=+=

+x1

x2

pi yiN(.)wi1

wi2

22

112

2211 0

i

i

i

i

iii

wwwxx

wxwxθθ

+−=

=−+

plutôt ressemblant

plutôt différent


35


• Modèle de neurone 2

)(1

2211

ii

p

n

j

pijj

pinn

pi

pii

pKy

wx

wxwxwxp

=

−=−=

−++−+−=

∑=

wx

L

p

)( pN

p

)( pNθ

+

x1

x2

xn

pi yiK(.)

wi1

wi2

win


36


• Modèle de neurone 2– distance euclidienne, 2 entrées– fonction noyau :

• La frontière entre les régions :

[ ])(

2/1222

211

ii

iii

pKywxwxp

=

−+−=

+x1

x2

pi yiK(.)wi1

wi2

<

=sinon 0 si 1

)(θp

pK

[ ]θ

θ

<−+−

<−+−=2

222

11

2/1222

211

ou ii

iii

wxwx

wxwxpplutôt

ressemblant

plutôt différent


37


• Modèles de réseaux : quelques exemples

Connexions directes Connexions récurrentes

Connexions totales Connexions locales


38


• Modèles de réseaux : notations

ijw Neurone i

Neurone j

Connexion de j vers i


39


• Apprentissage– par des exemples, souvent bruités– AVEC superviseur : (données bruitées, réponse désirée bruitée)– SANS superviseur : (données bruitées)

• Règle de calcul

• Objectifs– résumer les exemples avec un petit nombre de paramètres– bonne réponse même pour des exemples non appris

( )( )diijijij yyxwfw ,,,=∆


40


• Apprentissage– 7 points de la forme : (xi, f(xi) + bi)– droite : 2 paramètres– parabole : 3 paramètres– polynome de degré 6 7 paramètres = apprentissage par CŒUR– apprentissage par CŒUR = mauvaise GENERALISATION

+

+ + +++

+


41


• Règles d’apprentissage : quelques exemples• Hebb

• Règles avec oubli

imoyjij

ijijij

ijij

yxxw

yxw

yxw

)( −=∆

=∆

=∆

µ

µ

µ

[ ] )()(

)()(

ijijij

ijijij

jjijij

ygxfww

ygxfww

yxww

µγ

µγ

µγ

+−=∆

+−=∆

+−=∆

Neurone j

Neurone i

Connexion de j vers i

ijw


42


• Résumé sur les modèles de réseaux neuronaux– Un réseau de n neurones a au plus n2 interconnexions– La sortie de chaque neurone requiert n sommes de produits et une

opération non linéaire

– Pour le réseau tout entier, on a donc de l’ordre de n2 sommes de produit et n opération non linéaires

– L’apprentissage requiert la modification des n2 interconnexions, soit n2 équations

– La complexité d’un réseau est de O(n2) opérations et mémoire.

)(ou 1

pi

n

jjiji KyxwNy wx −=

= ∑

=

( )( )diijijij yyxwfw ,,,=∆


43


• Réseaux de neurones formels vs vrais réseaux de neurones– Neurones

• Modèles de neurones très simples• Faible variabilité, pas de sommation spatio-temporelle, • Modèles à “beaucoup” d’entrées/une sortie

– Réseaux• Nombre de cellules faibles /réalité• Structure régulière• Modèle local

– Apprentissage• Règle simpliste, avec ou sans superviseur• Autres types d’aprentissage (pénalité-récompense)

réseaux de neurones formels - gipsa-lab.grenoble-inp.frchristian.jutten/mescours/neural... ·...

Documents