introduction aux processus aléatoires : caractérisation et estimation
DESCRIPTION
Introduction aux processus aléatoires : caractérisation et estimation. Introduction Définitions Caractérisation Filtrage Estimation. B. David ATIAM, TSA, Septembre 2006. Introduction. Exemples : signal de parole. Introduction. Exemples : « bruits ». Introduction. Vocabulaire. - PowerPoint PPT PresentationTRANSCRIPT
1
Introduction aux processus aléatoires :caractérisation et estimation
B. DavidATIAM, TSA,Septembre 2006
B. DavidATIAM, TSA,Septembre 2006
IntroductionDéfinitionsCaractérisationFiltrageEstimation
IntroductionDéfinitionsCaractérisationFiltrageEstimation
2Oct. 2006 ATIAM, TSA-aléatoire
Exemples : signal de parole
0 1 2 3 4 5-0.6
-0.5
-0.4
-0.3
-0.2
-0.1
0
0.1
0.2
0.3voix homme
temps (s)0.94 0.95 0.96 0.97 0.98 0.99 1 1.01
-0.35
-0.3
-0.25
-0.2
-0.15
-0.1
-0.05
0
0.05
0.1
0.15
voix homme
temps (s)
Introduction
3Oct. 2006 ATIAM, TSA-aléatoire
Exemples : « bruits »
0.14 0.16 0.18 0.2 0.22 0.24
-20
-10
0
10
20
Bruit coloré bf
temps (s)
0.126 0.128 0.13 0.132 0.134 0.136-4
-2
0
2
4
Bruit blanc
temps (s)
Introduction
4Oct. 2006 ATIAM, TSA-aléatoire
Vocabulaire
Déterministe vs aléatoire
déterministe : on dispose d’une règle de calcul
aléatoire : présente une variabilité qu’un modèle déterministe est inefficace à représenter car
non parcimonieux pas ou peu prédictif
Déterministe vs aléatoire
déterministe : on dispose d’une règle de calcul
aléatoire : présente une variabilité qu’un modèle déterministe est inefficace à représenter car
non parcimonieux pas ou peu prédictif
Problèmes posés
Comment caractériser (modéliser) ?
Comment estimer les paramètres du modèle ?
Problèmes posés
Comment caractériser (modéliser) ?
Comment estimer les paramètres du modèle ?
Introduction
5Oct. 2006 ATIAM, TSA-aléatoire
exemple : estimer la dépendance au passé
-4 -2 0 2 4
-3
-2
-1
0
1
2
3
X(n)
X(n
+1
)Bruit blanc
Introduction
6Oct. 2006 ATIAM, TSA-aléatoire
exemple : estimer la dépendance au passé
-20 -10 0 10 20
-20
-15
-10
-5
0
5
10
15
X(n)
X(n
+1
)Bruit coloré
Introduction
7Oct. 2006 ATIAM, TSA-aléatoire
Notions et notations
Processus aléatoires à temps discret
chaque échantillon est une variable aléatoire (V.A.), indexée par le temps discret
définies sur un espace probabilisé
un des possibles = une épreuve (notée 2 = une réalisation ou trajectoire du processus
Processus aléatoires à temps discret
chaque échantillon est une variable aléatoire (V.A.), indexée par le temps discret
définies sur un espace probabilisé
un des possibles = une épreuve (notée 2 = une réalisation ou trajectoire du processus
Définitions
8Oct. 2006 ATIAM, TSA-aléatoire
Exemple d’un processus autorégressif
Définitions
0 200 400 600 800-2
0
2
X(
t ,
1)
4 Réalisations d'un proc. AR1
0 200 400 600 800-2
0
2
X(
t ,
2)
0 200 400 600 800-2
0
2
X(
t ,
3)
0 200 400 600 800-2
0
2
X(
t ,
4)
temps discret
générationgénération
ergodicité
moyenne temporelle
moyenne statistique
important si 1 seuleréalisation
ergodicité
moyenne temporelle
moyenne statistique
important si 1 seuleréalisation
9Oct. 2006 ATIAM, TSA-aléatoire
loi de probabilité
loi temporelle d’un processus
processus à support temporel fini : vecteur aléatoire de dimension k finie, constitué de valeurs du processus prises à k instants successifs. Décrit par sa loi de répartition conjointe :
souci en dimension infinie : par exemple, quelle est la probabilité de dépassement d’un débit limite dans une conduite ? (Important pour son dimensionnement) → il faut décrire le processus
Heureusement il y a Kolmogorov : les lois conjointes pour tout k fini suffisent.
loi temporelle d’un processus
processus à support temporel fini : vecteur aléatoire de dimension k finie, constitué de valeurs du processus prises à k instants successifs. Décrit par sa loi de répartition conjointe :
souci en dimension infinie : par exemple, quelle est la probabilité de dépassement d’un débit limite dans une conduite ? (Important pour son dimensionnement) → il faut décrire le processus
Heureusement il y a Kolmogorov : les lois conjointes pour tout k fini suffisent.
Caractérisation
10Oct. 2006 ATIAM, TSA-aléatoire
moments d’ordre 1 et 2
ordre 1
moyenne d’un processus
dépend a priori du temps
définition du processus centré associé
exemples: tracer qques trajectoires, calculer mX et Xc pour rampe bruitée
processus harmoniques
ordre 1
moyenne d’un processus
dépend a priori du temps
définition du processus centré associé
exemples: tracer qques trajectoires, calculer mX et Xc pour rampe bruitée
processus harmoniques
Caractérisation
11Oct. 2006 ATIAM, TSA-aléatoire
moments d’ordre 1 et 2
ordre 2
covariance de deux v.a :
Rque : E(XY*) définit un produit scalaire dans l’espace de Hilbert des v.a. de carré intégrable.
(auto)covariance d’un processus
exemple : calculer RXX pour
ordre 2
covariance de deux v.a :
Rque : E(XY*) définit un produit scalaire dans l’espace de Hilbert des v.a. de carré intégrable.
(auto)covariance d’un processus
exemple : calculer RXX pour
Caractérisation
12Oct. 2006 ATIAM, TSA-aléatoire
ordre 2
propriétés de la covariance
avec égalité lorsque X(n) est p.s. déterministe Soit T une va positive, montrer (inégalité de Markov)
en déduire (Tchebyshev), pour Y v.a. de moyenne m et variance 2
conclure
symétrie hermitienne
Inégalité de Schwarz positivité
propriétés de la covariance
avec égalité lorsque X(n) est p.s. déterministe Soit T une va positive, montrer (inégalité de Markov)
en déduire (Tchebyshev), pour Y v.a. de moyenne m et variance 2
conclure
symétrie hermitienne
Inégalité de Schwarz positivité
Caractérisation > moments d’ordre 1 et 2
13Oct. 2006 ATIAM, TSA-aléatoire
Stationnarité
définitions
caractérise la permanence des propriétés statistiques du processus au cours du temps
stationnarité stricte : la loi temporelle est invariante par décalage
stationnarité au sens large (SSL) : v.a de carré intégrable stationnarité au premier ordre stationnarité au deuxième ordre
définitions
caractérise la permanence des propriétés statistiques du processus au cours du temps
stationnarité stricte : la loi temporelle est invariante par décalage
stationnarité au sens large (SSL) : v.a de carré intégrable stationnarité au premier ordre stationnarité au deuxième ordre
Caractérisation
14Oct. 2006 ATIAM, TSA-aléatoire
Stationnarité
ordre 1
la moyenne statistique est indépendante du temps
ordre 1
la moyenne statistique est indépendante du temps
Caractérisation
ordre 2
la covariance ne dépend que de l’écart temporel k = n1 – n2
ordre 2
la covariance ne dépend que de l’écart temporel k = n1 – n2
15Oct. 2006 ATIAM, TSA-aléatoire
Cas SSL
propriétés de la covariance dans le cas SSL
avec égalité si X(n) est p.s. une constante
symétrie hermitienne
atteint son maximum en k = 0
positivité
Rque : puissance d’un processus SSL = moment d’ordre 2 à l’origine.
propriétés de la covariance dans le cas SSL
avec égalité si X(n) est p.s. une constante
symétrie hermitienne
atteint son maximum en k = 0
positivité
Rque : puissance d’un processus SSL = moment d’ordre 2 à l’origine.
Caractérisation > stationnarité
16Oct. 2006 ATIAM, TSA-aléatoire
Cas SSL
matrice de covariance
définition
symétrie hermitienne
RX définie positive montrer que RX peut se mettre sous la forme E( xxH ) où x est un
vecteur d’échantillons à préciser, en déduire la propriété ci-dessus.
matrice de covariance
définition
symétrie hermitienne
RX définie positive montrer que RX peut se mettre sous la forme E( xxH ) où x est un
vecteur d’échantillons à préciser, en déduire la propriété ci-dessus.
Caractérisation > stationnarité
17Oct. 2006 ATIAM, TSA-aléatoire
densité spectrale de puissance d’un processus SSL
définition et propriétés
la dsp est la TFtd de la séquence d’autocovariance
c’est un réel positif 8 formule d’inversion : donner l’expression de RXX en fonction de SXX
en déduire la puissance du processus, PX en fonction de SXX
définition et propriétés
la dsp est la TFtd de la séquence d’autocovariance
c’est un réel positif 8 formule d’inversion : donner l’expression de RXX en fonction de SXX
en déduire la puissance du processus, PX en fonction de SXX
Caractérisation > stationnarité
18Oct. 2006 ATIAM, TSA-aléatoire
exemples
étudier la stationnarité des processus suivants, et calculer le cas échéant leur covariance et leur dsp.
le bruit blanc
la rampe bruitée
une combinaison linéaire finie du processus B(n).
les processus harmoniques suivants
étudier la stationnarité des processus suivants, et calculer le cas échéant leur covariance et leur dsp.
le bruit blanc
la rampe bruitée
une combinaison linéaire finie du processus B(n).
les processus harmoniques suivants
Caractérisation > stationnarité
19Oct. 2006 ATIAM, TSA-aléatoire
exemples
On étudie le processus AR1, solution de carré intégrable de
avec |a| < 1. Mettre sous la formeoù l’on précisera Rp(n).
On posemontrer que Xp(n) converge p.s. vers X(n) qd p ! 1.
On note cette limite. En déduire que X(n) est stationnaire à l’ordre 1 et préciser sa moyenne.
Calculer la covariance RXX(n+k,n) et en déduire que X(n) est stationnaire au 2e ordre.
Calculer sa dsp.
On étudie le processus AR1, solution de carré intégrable de
avec |a| < 1. Mettre sous la formeoù l’on précisera Rp(n).
On posemontrer que Xp(n) converge p.s. vers X(n) qd p ! 1.
On note cette limite. En déduire que X(n) est stationnaire à l’ordre 1 et préciser sa moyenne.
Calculer la covariance RXX(n+k,n) et en déduire que X(n) est stationnaire au 2e ordre.
Calculer sa dsp.
Caractérisation > stationnarité
20Oct. 2006 ATIAM, TSA-aléatoire
Filtrage des processus
Principaux résultats
Soit le processus X(n) supposé SSL, et h(n) une séquence absolument sommable (RI d’un filtre stable) alors le processus
existe et est SSL
sa moyenne
sa covariance
Principaux résultats
Soit le processus X(n) supposé SSL, et h(n) une séquence absolument sommable (RI d’un filtre stable) alors le processus
existe et est SSL
sa moyenne
sa covariance
Filtrage
21Oct. 2006 ATIAM, TSA-aléatoire
principaux résultats
relations entrée/sortie
covariance entrée/sortie application à l’identification cas d’un bruit blanc en entrée
dsp
interspectre
relations entrée/sortie
covariance entrée/sortie application à l’identification cas d’un bruit blanc en entrée
dsp
interspectre
Filtrage
22Oct. 2006 ATIAM, TSA-aléatoire
Estimation des propriétés statistiques
Généralités sur l’estimation
on cherche à estimer une grandeur scalaire q à partir des données on définit un estimateur
cet estimateur est une variable aléatoire en général obtenue à l’aide d’une règle de calcul en fonction des observations
Estimateur sans biais
Risque (quadratique) d’un estimateur :
Existence d’une borne inf. pour R dite de Cramer-Rao pour les estimateurs sans biais.
Généralités sur l’estimation
on cherche à estimer une grandeur scalaire q à partir des données on définit un estimateur
cet estimateur est une variable aléatoire en général obtenue à l’aide d’une règle de calcul en fonction des observations
Estimateur sans biais
Risque (quadratique) d’un estimateur :
Existence d’une borne inf. pour R dite de Cramer-Rao pour les estimateurs sans biais.
Estimation
23Oct. 2006 ATIAM, TSA-aléatoire
Estimation de la moyenne
on étudie un processus SSL X(n), observé pour n=0,...,N-1
on suppose RXX(k) absolument sommable
estimateur de la moyenne
montrer que cet estimateur est non-biaisé.
montrer que son risque quadratique vaut asymptotiquement N-1SXX(0)
on étudie un processus SSL X(n), observé pour n=0,...,N-1
on suppose RXX(k) absolument sommable
estimateur de la moyenne
montrer que cet estimateur est non-biaisé.
montrer que son risque quadratique vaut asymptotiquement N-1SXX(0)
Estimation
24Oct. 2006 ATIAM, TSA-aléatoire
Estimation de la covariance
on définit, pour un processus centré, les estimateurs
étudier le biais de chacun des estimateurs.
Montrer, pour X iid, gaussien, de variance 2 que
conclure sur la convergence de l’estimateur en moyenne quadratique
on définit, pour un processus centré, les estimateurs
étudier le biais de chacun des estimateurs.
Montrer, pour X iid, gaussien, de variance 2 que
conclure sur la convergence de l’estimateur en moyenne quadratique
Estimation
aide : formule des moments d’ordre 4 pour 4 variables gaussiennes E(ABCD) = E(AB)E(CD) + E(AC)E(BD) + E(AD)E(BC)
25Oct. 2006 ATIAM, TSA-aléatoire
Estimation de la dsp
on suppose X(n) centré, SSL
à partir de l’estimateur biaisé des covariances on est amené à définir le périodogramme :
montrer que le périodogramme peut s’écrire en fonction de la TF de la séquence X(n) sous la forme :
montrer que l’estimateur est asymptotiquement sans biais.
en revanche on montre que cet estimateur n’est pas convergent en moyenne quadratique.
idée de tronquer le périodogramme (en fait la séquence R) idée de moyenner le périodogramme (Welch)
on suppose X(n) centré, SSL
à partir de l’estimateur biaisé des covariances on est amené à définir le périodogramme :
montrer que le périodogramme peut s’écrire en fonction de la TF de la séquence X(n) sous la forme :
montrer que l’estimateur est asymptotiquement sans biais.
en revanche on montre que cet estimateur n’est pas convergent en moyenne quadratique.
idée de tronquer le périodogramme (en fait la séquence R) idée de moyenner le périodogramme (Welch)
Estimation
26Oct. 2006 ATIAM, TSA-aléatoire
dsp du bruit blanc
Estimation > estimation de la dsp
0 0.2 0.4 0.6 0.8 1-40
-30
-20
-10
0
10
I(
ej2
)
N = 256 N = 4096
0 0.2 0.4 0.6 0.8 1-40
-30
-20
-10
0
10
I(e
j2
)