identification de paramètres physiques à laide de réseaux de neurones à temps continu françois...
TRANSCRIPT
Identification de paramètres physiques à l’aide de réseaux de neurones à temps continu
François Benoît-Marand, Laurent Signac et Jean-Claude Trigeassou,
Laboratoire d’Automatique et d’Informatique Industrielle de Poitiers
I. PRINCIPES
II. IDENTIFICATION PAR RESEAUX DE NEURONES A TEMPS CONTINU
III APPLICATIONS ET RESULTATS
PLAN
I. PRINCIPES
•Définition du problème•Définition du procédé d’identification•Propriétés des réseaux de neurones•Approche discrète et approche continue
4 Définition du problème•Processus physique étudié :
•Notion de fonctions candidates :
•On recherche le couple qui approche le mieux
processus lerégissant linéairenon fonction :
êtatsd' vecteur :
entréesd' vecteur :
),(
f
X
U
XUfX
),( ioptifc f
iioptopt
i
fc
fcfc
Ec
deoptimaux paramètres :ou
candidates fonctions : ou
,candidates fonctions des ensemble :
5
Méthode avec réduction de modèleMéthode classique
• On a le système suivant :
• doit fournir les valeurs de • Pour toute fonction on préférera simuler et faire une identification dynamique :
Problème :
Temps de calcul (dû à la simulation)
ifc
• Pour un approximateur universel :
•Pour toute fonction :
Avantage :
On teste à la chaîne les fonctions candidates (identification statique)
processus
optimisation)(tU
gE S
S
optimisation
Définition du procédé d’identification
g
processus
optimisation)(tU
)(ˆ tX
)( ekTX
ifc )(ˆ tX
ifc
processus)(tU )( ekTX
X
ifcX
f f
f
ifc
g )(ˆ tX
)( ekTX
6
• Les réseaux de neurones MLP possèdent la propriété suivante [Hornik 89]
Les MLP sont des approximateurs universels
•Propriété sur la parcimonie d’un approximateur [Barron 93]
Les MLP sont des approximateurs universels parcimonieux
•Des méthodes computationnelles, dédiées à l ’optimisation, ont été développées pour les réseaux MLP (rétropropagation du gradient).
)()(,
: que telleneurones deréseau un par blesreprésenta
fonctions des ensemblel' àt appartenan F existe il alors ,0et de
compactun vers de compactun d' continuefonction une Soit
1
1
xFxfCx
R
R Cfm
n
Utilité des réseaux de neurones MLP
•Pour une précision donnée, en fonction du nombre de variables,le nombre de paramètres croit :
•exponentiellement pour un approximateur linéairepar rapport à ses paramètres (cas des polynômes)•linéairement pour un approximateur non linéaire (cas des MLP)
7 Approche discrète et approche continueRNTCRNTD
Réseaux deneurones
dR1z
1ˆ
kXkX
kU
Réseaux deneurones
cR )(ˆ tX
)(ˆ tX
)(tU
))1(())(),((
,
TkXkTXkTUR
Nk
d
)())(),((
,0
tXtXtUR
t
c
Si f est linéaire
ueIa
bxexuR aTaT
d )(),( buaxxufxuRc ),(),(
Si f est non linéaire
),(),( xufxuRc ?
8
Identification dynamique par RNTC
Rc
ifc
),( XUE S
S
optimisation
En résumé
Réduction de modèle
Rc
processus
optimisation)(tU
)(ˆ tX
)(kTeX
RNTC
f
II. IDENTIFICATION PAR RNTC
•Méthode ICES et Méthode ICEE
•Optimisation
•Algorithme de Levenberg-Marquardt
•Fonction Réalisée
•Rétropropagation du gradient
•Recherche du gradient
•Inconvénients de la méthode ICES
•Méthodologie
•Compléments
10 Méthodes RNTC : ICES et ICEE
Rc numérique
processus
)(tU
)(ˆ tX
)(kTeX
)(ˆ tXRc Prédicteur
processus
)(kTeU
))1((ˆ TekX
)(kTeX
)(ˆ kTeX
On utilise en fait un intégrateur numérique.
Plus cet intégrateur sera précis et plus sera proche de .
Pour améliorer la précision on peut :
•Diminuer la période de simulation indépendamment de ,
•Utiliser une méthode d’intégration plus précise ou augmenter l’ordre de la méthode.
De plus on pourra avoir une période de simulation variable à l ’inverse des réseaux RNTD.
Rcf
Te
Désavantages :
• La période de prédiction ne peut être inférieure à
• La méthode est sensible au bruit de sortie du processus (la sortie bruité est utilisée comme entrée de )
On la verra par la suite l’utilité de cette méthode
Rc
Te
ICES pour RNTC ICEE pour RNTC
11 Algorithme de Levenberg-Marquardt
)(ˆ)()(
avec )(1 1
2
x
e
eieiei
K
k
Nx
iei
N
K
T
TkXTkXTke
TkeJ
Principe de l’optimisation
Algorithme de Levenberg-Marquardt
K
k
Nx
ie
j
ie
i
ii,j
K
k
Nx
ie
iei
nn
TkX
TkX
J
TkX
TkeJ
JIJ
1 1
1 1
1
1
)(ˆ
)(ˆ
2
)(ˆ
)(2-
avec
: Période d’échantillonnage
: Nombre de données échantillonnées
: Nombre d’états à identifier
12 Fonction réalisée par un réseau MLP
sortie
11
1 saM
21
2 saM
101 ea
202 ea
1
entrée
NeN ea 0
0
m, couche la de i neuronedu activation :mia
réseaudu i entrée : ie
réseaudu i sortie :is
Schéma
Notations
Fonction réalisée
couche m-1
11ma
1mNm
a
1mia
1
couche m
mja
1
11
MnI
couche M
MNM
a
Ma1
MM aws )( 1
) )(()( avec 1 mmmm
m bawfaR )()()( alors 111 eRRRweR MMM
m, couche la de j neurone leet 1-m couche la de i neurone le entre poids :,m
jiwm, couche la de i neuronedu potentiel :m
jn
m. couche la de j neurone lepour 1-m couche la de biais de poids :mjb
, )( 1 mmmm bawn
mjn
mjb
mW
, )tanh()( mmm
m nnfa
mf
13 Rétropropagation du gradientSchéma
couche k couche k+1
1,1ki
11
,
kj
ikij n
s
1,1
kiNk
1
kil ,
kf 1,kjlw
11,k
lw
1, 1
kNl k
w
1
)(
alors vient Il
)(
: que montreon ger rétropropaPour
1
11
1
1,
1,,
1
1
1,
1
11
,
klm
N
j
kji
kjl
kil
kj
N
j
kjik
l
kj
N
jkj
ikl
i
klmk
l
ikm
kl
kl
ikil
nfw
wa
n
n
s
a
s
nfa
s
n
a
a
s
k
kk
sortie
1 Mmi ns
1s
Nxs
I
11, Mim
1 alors Nommons
où
:matrice la debesoin souvent auraOn
1,,
,
Mimk
m
ikim
j
iji
n
s
sM
sM
couche m-1
1,
,,
,
car détermineon alors
, de valeur la ,,triplet
pour toutconnu Supposons
k
lk
imkml
km
km
ik
ml
i
kim
aw
n
n
s
w
s
M
jik
m
jlw ,
1mla
mjb
1
couche m
14 Recherche du gradient (ICEE)
),( ),(
),(
)),((ˆ
1
kkretro
ekk
kke
ekkkk
XUMTXUM
XURcT
TXURcXX
)(
)( eM
eR retro
Par rétropropagation on connaît :
On développe directement la méthode de prédiction (Euler dans cet exemple) :
15 Recherche du gradient (ICES)
))(ˆ),(( ))(ˆ),(()(ˆ)(ˆ
))(ˆ),(()(ˆ
tXtURctXtUM
dt
dtX
dt
dtX
dt
d
tXtURctXdt
d
)ˆ,(ˆ
))(ˆ,( )ˆ,( )ˆ,(
)(ˆ ˆ
)ˆ,(
)ˆ,( ))(ˆ,(
1,,,
1
XUMX
XURcXUMXUM
dt
d
X
X
XURcXURcXURc
Nx
jlj
j
ili
retroli
Nx
j l
j
j
i
l
i
l
i
Quel que soit l’intégrateur on écrit :
On développe alors le terme de l’extrême droite (on change de notation par commodité) :
11
1
1,
1,
1
11 ˆ
)ˆ,( ˆ
)ˆ,( N
mmjim
j
mN
m m
i
j
i wX
n
n
XURc
X
XURc
Finalement on obtient :
Puis :
)ˆ,()ˆ,( )ˆ,( 1
,1
1,
1,,,
1
XUMwXUMXUMdt
d Nx
jli
N
mmjimli
retroli
16 Inconvénients de la méthode ICES
Valeurs de simulées
Valeurs de simulées
X
M Temps de calcul élevé
Fonction de sensibilité
(on ne connaît pas )
Temps de simulation
)0(M
M
t
Convergence de M Divergence de M
M
t
Identification Identification impossible
17 Méthodologie générale
IceeRc Prédicteur
processus)(kTeU
)(ˆ kTeX
)(kTeX
)(ˆ kTeX
Filtre PB
Réduction de modèle
Méthode ICES partant du réseau
Méthode ICEE (avec filtre PB)
numérique
processus)(tU
)(ˆ tX
)(kTeX
)(ˆ tXIcesRc
ifc
),( XUE XS
Scorrecteur
IcesRc
18
Réduction de modèle :
Nous n ’avons pour l ’instant que survolé cette partie du problème.Nous utilisons pour l ’identification la fonction lsqcurvefit de MathLab qui utilise différente méthode (Gauss-Newton par exemple ou Levenberg-Marquardt)
On donnera plus d ’information sur cette partie du problème dans la section Application.
Compléments
f
Influence de l’intégrateur :
Pour la méthode ICES, on utilise un intégrateur numérique. Plus cet intégrateur sera précis et plus la fonction identifiée sera proche de la fonction . Dans le cadre de nos travaux nous avons comparé deux types d ’intégrateurs :Euler et Runge-Kutta 4.
Pour la méthode ICEE, nous nous sommes limité à un prédicteur basé sur la méthode de Euler. Cela nous a suffit car cette méthode sert uniquement pour initialiser les paramètres du réseau avant d ’utiliser la méthode ICES.
III. EXEMPLES D’APPLICATIONS ET RESULTATS
•Cinétique Chimique
•Ordre supérieur
•Système mixte
20 Cinétique chimiqueDéfinition du processus
2
21615
22
1413121),,(XXBX
XXXBXABAXfX
Exemple d ’une réaction chimique factice :
Les deux réactifs de la réaction sont A et B
Les produits de la réaction sont C et D.
Il y a deux composés intermédiaires et .
Les réactions élémentaires sont les suivantes :
Une connaissance experte du système nous indique que :
L ’objectif est de déterminer la valeur numérique des paramètres physiques qui dépendent des constantes cinétiques des réactions élémentaires.
1X 2X
DX
XXX
CXXB
XA
121
21
1
32
i
21 Cinétique chimiqueDéfinition du processus
'
22
11
22
11
),( avec
)1(),(
BAU
XXBX
XXXBAUXfX
Données réelles Données bruitées
AB
X1X2
X1X2
22 Cinétique chimiqueRésultat de l’identification par la
méthode ICEE sur les données réelles
X1 estiméX1 réel
X2 estiméX2 réel
23 Cinétique chimiqueRésultat de l’identification par la
méthode ICEE sur les données bruitées
La fonction réalisée par le réseau est biaisé. Toutefois l’utilisation d ’un filtre PB va nous
permettre d ’atténuer ce problème.
X2 estiméX2 réel
X1 estiméX1 réel
24 Cinétique chimiqueRésultat de l’identification par la
méthode ICES sur les données bruitées
(en partant du réseau obtenu par ICEE)
X1 estiméX1 réel
X2 estiméX2 réel
25 Cinétique chimiqueRéduction de modèle
2
211
22
11)1(),(
XXBX
XXXBAUXfX
On étudie la fonction candidate suivante :
2
21514
22
13121 )1(),(
XXBX
XXXBAUXfc
Les paramètres physiques associés sont : )1,1,1,1,1(réelSi on opte pour un intégrateur de type Euler on trouve : )99.0,99.0,88.0,88.0,88.0(EulerSi on opte pour un intégrateur de type RK4 on trouve : )94.0,00.1,94.0,94.0,94.0(4 RK
Nous avons testé d ’autres fonctions candidates :–si l ’un des termes initialement présents n ’apparaît pas dans la fonction, l ’erreur de réduction de modèle est au moins 50 fois supérieure à celle obtenue dans les cas précédents–si on rajoute des termes à l ’expression précédente alors les résidus de la réduction de modèle ne diminuent que très peu (diminution de moins de 5 pour-cent de l ’erreur pour l ’ajout de 6 termes supplémentaires ou plus)
•L ’étude des résidus de la réduction de modèle va donc nous permettre de déterminer les termes nécessaires et nous permettre de discuter de l ’utilité de termes supplémentaires.
De nombreuses fonctions seront testées et l ’on comprend mieux l ’intérêt de pouvoir faire ces tests à la chaine par identification statique.
26 Ordre supérieurDéfinition du processus
XXXXUX 2.02.0
27 Ordre supérieurIdentification par RNTC d ’ordre 1 avec ICES
28 Ordre supérieurIdentification par RNTC d ’ordre 2 avec ICES
29 Ordres supérieurRéduction de modèle
On étudie la fonction candidate suivante :
Les paramètres physiques associés sont : )2.0,0,0,1,2.0,1( réel
Si on opte pour un intégrateur de type RK4 on trouve :
)197.0,10,0,988.0,198.0,990.0( 34
RK
XXXXUX 2.02.0
XXXUXUXXUX 654321
30 Système mixteDéfinition du processus
2221
2121
2
1
1.05.03.02.03.0
16.032.064.032.0),(
XUXXXU
XXUXXUUXf
X
X
31 Système mixteIdentification par RNTC avec ICES
pour des ordres différents
IV. CONCLUSION
•Modèle boite noire (DMNN)
•Modèle semi physique à temps discret
•Modèle semi physique à temps continu
33 Modèle boite noire
Principales références : Narendra et Parthasarathy (1990) et Miller,Sutton et Werbos (1990)
Inconvénients de la méthode :
•Le réseau n ’identifie pas directement la fonction .
•La méthode ne permet pas d ’utiliser une période de simulation variable.
•De plus les méthodes classiquement utilisées pour retrouver sont basées sur des méthodes peu raffinées :
Réseaux deneurones
dR1z
1ˆ
kXkX
kU
dR f
f
kkkdkk XXURT
XUf )(1
)(ˆ,,
34 Modèle semi physique à temps discretCes modèles sont obtenus par discrétisation du modèle de connaissance :
Ces méthodes permettent de palier aux problèmes du modèle boite noire :
• approche directement la fonction .
•La période de simulation peut être variable.
•La précision de l ’identification sera fonction de la précision de la méthode de discrétisation.
kxcR
T
1ˆ kx
kxcR cR cR cR
6
T
T2
T
2
T
6
2T
6
2T
TxRx kck )()f(x
:Euler de méthode lasur Basé
1k )22(6
1)f(x
: 4 Kutta-Runge de méthode lasur Basé
32101k kkkkTxk
)(
)2
1(
)2
1(
)(
23
12
01
0
kTxRk
kTxRk
kTxRck
xRck
kc
kc
k
k
Yi-Jen Wang et Chin-Teng Lin (1998)
cR f
35 Modèle semi physique à temps continu
Réseaux deneurones
cR )(ˆ tX
)(ˆ tX
)(tU
Finalement le modèle introduit (RNTC) a les avantages du modèle semi physique à temps discret.
Il possède deux atouts supplémentaires :
•L ’architecture du procédé est indépendante de la méthode d ’intégration choisie
•La méthode d ’optimisation est indépendante de la méthode d ’intégration choisie
L ’approche à temps continu apparaît plus générale que la méthode de discrétisation du modèle de connaissance.