rappels de probabilités et de statistiquesmaster-ivi.univ-lille1.fr/fichiers/cours/proba.pdfrappels...
TRANSCRIPT
![Page 1: Rappels de Probabilités et de Statistiquesmaster-ivi.univ-lille1.fr/fichiers/Cours/proba.pdfRappels de Probabilités et de Statistiques Reconnaissance des Formes (Semaine V) Université](https://reader033.vdocuments.net/reader033/viewer/2022060402/5f0e5ba17e708231d43edb49/html5/thumbnails/1.jpg)
Rappels de Probabilités et de Statistiques
Reconnaissance des Formes (Semaine V)
Université de Lille, France
13/02/2013
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 1
![Page 2: Rappels de Probabilités et de Statistiquesmaster-ivi.univ-lille1.fr/fichiers/Cours/proba.pdfRappels de Probabilités et de Statistiques Reconnaissance des Formes (Semaine V) Université](https://reader033.vdocuments.net/reader033/viewer/2022060402/5f0e5ba17e708231d43edb49/html5/thumbnails/2.jpg)
Les éléments d’un Modèle Probabiliste
L’univers Ω
est l’ensemble de tous les résultats possibles que l’on peut obtenir
Exemple
On lance une pièce (une fois)
→ Que peut on obtenir comme résultat ?
Ω := face,pile
On lance une pièce deux fois.
Ω := (face, face), (face,pile), (pile, face), (pile,pile)
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 2
![Page 3: Rappels de Probabilités et de Statistiquesmaster-ivi.univ-lille1.fr/fichiers/Cours/proba.pdfRappels de Probabilités et de Statistiques Reconnaissance des Formes (Semaine V) Université](https://reader033.vdocuments.net/reader033/viewer/2022060402/5f0e5ba17e708231d43edb49/html5/thumbnails/3.jpg)
Les éléments d’un Modèle Probabiliste
L’univers Ω
est l’ensemble de tous les résultats possibles que l’on peut obtenir
Exemple
On lance une pièce (une fois)
→ Que peut on obtenir comme résultat ?
Ω := face,pile
On lance une pièce deux fois.
Ω := (face, face), (face,pile), (pile, face), (pile,pile)
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 2
![Page 4: Rappels de Probabilités et de Statistiquesmaster-ivi.univ-lille1.fr/fichiers/Cours/proba.pdfRappels de Probabilités et de Statistiques Reconnaissance des Formes (Semaine V) Université](https://reader033.vdocuments.net/reader033/viewer/2022060402/5f0e5ba17e708231d43edb49/html5/thumbnails/4.jpg)
Les éléments d’un Modèle Probabiliste
L’univers Ω
est l’ensemble de tous les résultats possibles que l’on peut obtenir
Exemple
On lance une pièce (une fois)
→ Que peut on obtenir comme résultat ?
Ω := face,pile
On lance une pièce deux fois.
Ω := (face, face), (face,pile), (pile, face), (pile,pile)
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 2
![Page 5: Rappels de Probabilités et de Statistiquesmaster-ivi.univ-lille1.fr/fichiers/Cours/proba.pdfRappels de Probabilités et de Statistiques Reconnaissance des Formes (Semaine V) Université](https://reader033.vdocuments.net/reader033/viewer/2022060402/5f0e5ba17e708231d43edb49/html5/thumbnails/5.jpg)
Les éléments d’un Modèle Probabiliste
L’événement
Un événement A est un sous-ensemble des résultats possible A ⊂ Ω
Jeu des carte : On tire une seule carte
tirer un roi est un événement
tirer une carte de coeur est un événement
tirer un chiffre est un événement
On choisit une urne au hasard, et on
tire une boule de l’urne choisie.
Le fait que l’on tire une boule
verte est un événement
Le fait que l’on tire une boule
verte de l’urne bleu est un
événement
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 3
![Page 6: Rappels de Probabilités et de Statistiquesmaster-ivi.univ-lille1.fr/fichiers/Cours/proba.pdfRappels de Probabilités et de Statistiques Reconnaissance des Formes (Semaine V) Université](https://reader033.vdocuments.net/reader033/viewer/2022060402/5f0e5ba17e708231d43edb49/html5/thumbnails/6.jpg)
Les éléments d’un Modèle Probabiliste
L’événement
Un événement A est un sous-ensemble des résultats possible A ⊂ Ω
Jeu des carte : On tire une seule carte
tirer un roi est un événement
tirer une carte de coeur est un événement
tirer un chiffre est un événement
On choisit une urne au hasard, et on
tire une boule de l’urne choisie.
Le fait que l’on tire une boule
verte est un événement
Le fait que l’on tire une boule
verte de l’urne bleu est un
événement
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 3
![Page 7: Rappels de Probabilités et de Statistiquesmaster-ivi.univ-lille1.fr/fichiers/Cours/proba.pdfRappels de Probabilités et de Statistiques Reconnaissance des Formes (Semaine V) Université](https://reader033.vdocuments.net/reader033/viewer/2022060402/5f0e5ba17e708231d43edb49/html5/thumbnails/7.jpg)
Les éléments d’un Modèle Probabiliste
L’événement
Un événement A est un sous-ensemble des résultats possible A ⊂ Ω
Jeu des carte : On tire une seule carte
tirer un roi est un événement
tirer une carte de coeur est un événement
tirer un chiffre est un événement
On choisit une urne au hasard, et on
tire une boule de l’urne choisie.
Le fait que l’on tire une boule
verte est un événement
Le fait que l’on tire une boule
verte de l’urne bleu est un
événement
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 3
![Page 8: Rappels de Probabilités et de Statistiquesmaster-ivi.univ-lille1.fr/fichiers/Cours/proba.pdfRappels de Probabilités et de Statistiques Reconnaissance des Formes (Semaine V) Université](https://reader033.vdocuments.net/reader033/viewer/2022060402/5f0e5ba17e708231d43edb49/html5/thumbnails/8.jpg)
Les éléments d’un Modèle Probabiliste
La Loi de Probabilité
est une fonction sur l’ensemble des événements Ω qui donne une valeur
réelle et non-negative à chaque événement A ∈ Ω
Axiomes des Probabilités
P(A) ≥ 0
P(Ω) = 1
Pour des événements A1, . . . ,An tels que
∀i = j ∈ 1..n, P(Ai ∩ Aj) = 0 on a
P(A1 ∪ A2 ∪ · · · ∪ An) =n
i=1
P(Ai )
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 4
![Page 9: Rappels de Probabilités et de Statistiquesmaster-ivi.univ-lille1.fr/fichiers/Cours/proba.pdfRappels de Probabilités et de Statistiques Reconnaissance des Formes (Semaine V) Université](https://reader033.vdocuments.net/reader033/viewer/2022060402/5f0e5ba17e708231d43edb49/html5/thumbnails/9.jpg)
Comment Calculer la Probabilité ?
La Vision Fréquentiste
La probabilité d’un événement est
la limite de la proportion de fois que se produit cet événement
lorsque le nombre de fois qu’on répète l’expérience tend vers
l’infini.
Soit N le nombre de fois que l’on répète une expérience.
ex. L’expérience est "lancer une pièce"
Soit NE le nombre de fois que se produit l’événement E .
ex. E = On a "face"
On définit la probabilité de E comme
limN→∞
NE
N
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 5
![Page 10: Rappels de Probabilités et de Statistiquesmaster-ivi.univ-lille1.fr/fichiers/Cours/proba.pdfRappels de Probabilités et de Statistiques Reconnaissance des Formes (Semaine V) Université](https://reader033.vdocuments.net/reader033/viewer/2022060402/5f0e5ba17e708231d43edb49/html5/thumbnails/10.jpg)
La Notion d’Indépendance
Définition
Deux événements A et B sont indépendants si
P(A ∩ B) = P(A)P(B)
et en général les événements A1,A2, . . . ,An sont indépendants si
P(A1 ∩ A2 ∩ . . . ,An) = P(A1)P(A2) . . .P(An) =n
i=1
P(Ai )
Exemple : On lance un dé deux fois
Les événements
A := “6 sort au premier lancer” et
B := “6 sort au deuxième lancer” sont independents
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 6
![Page 11: Rappels de Probabilités et de Statistiquesmaster-ivi.univ-lille1.fr/fichiers/Cours/proba.pdfRappels de Probabilités et de Statistiques Reconnaissance des Formes (Semaine V) Université](https://reader033.vdocuments.net/reader033/viewer/2022060402/5f0e5ba17e708231d43edb49/html5/thumbnails/11.jpg)
La Notion d’Indépendance
Définition
Deux événements A et B sont indépendants si
P(A ∩ B) = P(A)P(B)
et en général les événements A1,A2, . . . ,An sont indépendants si
P(A1 ∩ A2 ∩ . . . ,An) = P(A1)P(A2) . . .P(An) =n
i=1
P(Ai )
Exemple : On lance un dé deux fois
Qu’est-ce que l’on peut dire par rapport des deux événements A et CA := “6 sort au premier lancer”
C := “la somme des chiffres est égale à 10” ?
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 6
![Page 12: Rappels de Probabilités et de Statistiquesmaster-ivi.univ-lille1.fr/fichiers/Cours/proba.pdfRappels de Probabilités et de Statistiques Reconnaissance des Formes (Semaine V) Université](https://reader033.vdocuments.net/reader033/viewer/2022060402/5f0e5ba17e708231d43edb49/html5/thumbnails/12.jpg)
Formule de Probabilité Conditionelle
Probabilité de A, sachant B
La probabilité conditionnelle d’un événement A sachant un autre
événement B (tel que P(B) = 0) est définie par
P(A|B) := P(A ∩ B)
P(B)
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 7
![Page 13: Rappels de Probabilités et de Statistiquesmaster-ivi.univ-lille1.fr/fichiers/Cours/proba.pdfRappels de Probabilités et de Statistiques Reconnaissance des Formes (Semaine V) Université](https://reader033.vdocuments.net/reader033/viewer/2022060402/5f0e5ba17e708231d43edb49/html5/thumbnails/13.jpg)
Formule de Probabilité Conditionelle
Probabilité de A, sachant B
La probabilité conditionnelle d’un événement A sachant un autre
événement B (tel que P(B) = 0) est définie par
P(A|B) := P(A ∩ B)
P(B)
Quelle est la probabilté que l’on sorts
une boule jaune sachant que l’on a
choisit l’urne bleue ?
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 7
![Page 14: Rappels de Probabilités et de Statistiquesmaster-ivi.univ-lille1.fr/fichiers/Cours/proba.pdfRappels de Probabilités et de Statistiques Reconnaissance des Formes (Semaine V) Université](https://reader033.vdocuments.net/reader033/viewer/2022060402/5f0e5ba17e708231d43edb49/html5/thumbnails/14.jpg)
Formule de Probabilité Conditionelle
Probabilité de A, sachant B
La probabilité conditionnelle d’un événement A sachant un autre
événement B (tel que P(B) = 0) est définie par
P(A|B) := P(A ∩ B)
P(B)
On choisit une urne au hasard, et on
tire une boule de l’urne choisie.
Quelle est la probabilité d’avoir une
boule jaune ?
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 7
![Page 15: Rappels de Probabilités et de Statistiquesmaster-ivi.univ-lille1.fr/fichiers/Cours/proba.pdfRappels de Probabilités et de Statistiques Reconnaissance des Formes (Semaine V) Université](https://reader033.vdocuments.net/reader033/viewer/2022060402/5f0e5ba17e708231d43edb49/html5/thumbnails/15.jpg)
Formule de Probabilité Conditionelle
Probabilité de A, sachant B
La probabilité conditionnelle d’un événement A sachant un autre
événement B (tel que P(B) = 0) est définie par
P(A|B) := P(A ∩ B)
P(B)
On choisit une urne au hasard, et on
tire une boule de l’urne choisie.
Quelle est la probabilité d’avoir une
boule jaune ? En fait a-priori on
préfère l’urne bleue !
ex. 60% bleu et 40% rouge
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 7
![Page 16: Rappels de Probabilités et de Statistiquesmaster-ivi.univ-lille1.fr/fichiers/Cours/proba.pdfRappels de Probabilités et de Statistiques Reconnaissance des Formes (Semaine V) Université](https://reader033.vdocuments.net/reader033/viewer/2022060402/5f0e5ba17e708231d43edb49/html5/thumbnails/16.jpg)
Théorème de Bayes
Exemple
Sachant qu’une boule jaune
est sortie, quelle est la
probabilité qu’elle vienne de
l’urne bleue ?
Théorème
Soient A1, . . . ,An des événements disjoints tels que P(Ai ) > 0, i = 1..n.Pour chaque événement B tel que P(B) > 0 on a,
P(Ai |B) =P(B |Ai )P(B)
P(B)=
P(B |Ai )P(B)ni=1 P(B |Ai )P(Ai )
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 8
![Page 17: Rappels de Probabilités et de Statistiquesmaster-ivi.univ-lille1.fr/fichiers/Cours/proba.pdfRappels de Probabilités et de Statistiques Reconnaissance des Formes (Semaine V) Université](https://reader033.vdocuments.net/reader033/viewer/2022060402/5f0e5ba17e708231d43edb49/html5/thumbnails/17.jpg)
Théorème de Bayes
Exemple
Sachant qu’une boule jaune
est sortie, quelle est la
probabilité qu’elle vienne de
l’urne bleue ?
Théorème
Soient A1, . . . ,An des événements disjoints tels que P(Ai ) > 0, i = 1..n.Pour chaque événement B tel que P(B) > 0 on a,
P(Ai |B) =P(B |Ai )P(B)
P(B)=
P(B |Ai )P(B)ni=1 P(B |Ai )P(Ai )
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 8
![Page 18: Rappels de Probabilités et de Statistiquesmaster-ivi.univ-lille1.fr/fichiers/Cours/proba.pdfRappels de Probabilités et de Statistiques Reconnaissance des Formes (Semaine V) Université](https://reader033.vdocuments.net/reader033/viewer/2022060402/5f0e5ba17e708231d43edb49/html5/thumbnails/18.jpg)
La Variable Aléatoire
Une variable aléatoire est une fonction définie sur l’ensemble des résultats
possibles d’une expérience aléatoire.
Intuition
Imaginons que l’on veuille quantifier deux événements par X :
1 Il va pleuvoir demain ⇒ X = 1
2 Il ne va pas pleuvoir demain ⇒ X = 0
→ X peut être 0 ou 1 donc X est une variable
→ On ne sait pas s’il va vraiment pleuvoir ou pas donc X est aléatoire
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 9
![Page 19: Rappels de Probabilités et de Statistiquesmaster-ivi.univ-lille1.fr/fichiers/Cours/proba.pdfRappels de Probabilités et de Statistiques Reconnaissance des Formes (Semaine V) Université](https://reader033.vdocuments.net/reader033/viewer/2022060402/5f0e5ba17e708231d43edb49/html5/thumbnails/19.jpg)
La Variable Aléatoire
Exemples
Lancer une pièce
Lancer une pièce est une expérience"face" ou "pile" sont ses résultatsOn peut dire X = 1 si on a "face" et X = 0 si on a "pile"
⇒ X est une variable aléatoire qui
quantifie les résultats de cette expérience
Le chiffre qui apparait lorsqu’on lance un dé.
On lance une pièce 5 fois, la somme des fois que "face" apparait
⇒ X ∈ 0, 1, 2, 3, 4, 5
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 10
![Page 20: Rappels de Probabilités et de Statistiquesmaster-ivi.univ-lille1.fr/fichiers/Cours/proba.pdfRappels de Probabilités et de Statistiques Reconnaissance des Formes (Semaine V) Université](https://reader033.vdocuments.net/reader033/viewer/2022060402/5f0e5ba17e708231d43edb49/html5/thumbnails/20.jpg)
La Variable Aléatoire
Exemples
Lancer une pièce
Lancer une pièce est une expérience"face" ou "pile" sont ses résultatsOn peut dire X = 1 si on a "face" et X = 0 si on a "pile"
⇒ X est une variable aléatoire qui
quantifie les résultats de cette expérienceLe chiffre qui apparait lorsqu’on lance un dé.
On lance une pièce 5 fois, la somme des fois que "face" apparait
⇒ X ∈ 0, 1, 2, 3, 4, 5
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 10
![Page 21: Rappels de Probabilités et de Statistiquesmaster-ivi.univ-lille1.fr/fichiers/Cours/proba.pdfRappels de Probabilités et de Statistiques Reconnaissance des Formes (Semaine V) Université](https://reader033.vdocuments.net/reader033/viewer/2022060402/5f0e5ba17e708231d43edb49/html5/thumbnails/21.jpg)
La Variable Aléatoire
Exemples
Lancer une pièce
Lancer une pièce est une expérience"face" ou "pile" sont ses résultatsOn peut dire X = 1 si on a "face" et X = 0 si on a "pile"
⇒ X est une variable aléatoire qui
quantifie les résultats de cette expérienceLe chiffre qui apparait lorsqu’on lance un dé.
On lance une pièce 5 fois, la somme des fois que "face" apparait
⇒ X ∈ 0, 1, 2, 3, 4, 5
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 10
![Page 22: Rappels de Probabilités et de Statistiquesmaster-ivi.univ-lille1.fr/fichiers/Cours/proba.pdfRappels de Probabilités et de Statistiques Reconnaissance des Formes (Semaine V) Université](https://reader033.vdocuments.net/reader033/viewer/2022060402/5f0e5ba17e708231d43edb49/html5/thumbnails/22.jpg)
Types des variables aléatoires
Discret
Les résultats sont dénombrables :
Le coté de la pièce qui sort lorsqu’on lance une pièce : X ∈ 0, 1Le chiffre qui apparait lorsqu’on lance un dé : X ∈ 1, 2, 3, 4, 5, 6Le nombre des arbres en France X ∈ 0, 1, 2, 3, . . . = Z
Continu
Les résultats sont indénombrables :
La quantité exacte de la pluie demain : X ∈ [0,∞)
La durée exacte d’un match de foot : X ∈ [0,∞)
Une valeur entre [0, 1]
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 11
![Page 23: Rappels de Probabilités et de Statistiquesmaster-ivi.univ-lille1.fr/fichiers/Cours/proba.pdfRappels de Probabilités et de Statistiques Reconnaissance des Formes (Semaine V) Université](https://reader033.vdocuments.net/reader033/viewer/2022060402/5f0e5ba17e708231d43edb49/html5/thumbnails/23.jpg)
Types des variables aléatoires
Discret
Les résultats sont dénombrables :
Le coté de la pièce qui sort lorsqu’on lance une pièce : X ∈ 0, 1Le chiffre qui apparait lorsqu’on lance un dé : X ∈ 1, 2, 3, 4, 5, 6Le nombre des arbres en France X ∈ 0, 1, 2, 3, . . . = Z
Continu
Les résultats sont indénombrables :
La quantité exacte de la pluie demain : X ∈ [0,∞)
La durée exacte d’un match de foot : X ∈ [0,∞)
Une valeur entre [0, 1]
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 11
![Page 24: Rappels de Probabilités et de Statistiquesmaster-ivi.univ-lille1.fr/fichiers/Cours/proba.pdfRappels de Probabilités et de Statistiques Reconnaissance des Formes (Semaine V) Université](https://reader033.vdocuments.net/reader033/viewer/2022060402/5f0e5ba17e708231d43edb49/html5/thumbnails/24.jpg)
La Notion de Distribution
La probabilité qu’il va pleuvoir
demain
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 12
![Page 25: Rappels de Probabilités et de Statistiquesmaster-ivi.univ-lille1.fr/fichiers/Cours/proba.pdfRappels de Probabilités et de Statistiques Reconnaissance des Formes (Semaine V) Université](https://reader033.vdocuments.net/reader033/viewer/2022060402/5f0e5ba17e708231d43edb49/html5/thumbnails/25.jpg)
La Notion de Distribution
La probabilité qu’il va pleuvoir
demain à Lille ! ! !
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 12
![Page 26: Rappels de Probabilités et de Statistiquesmaster-ivi.univ-lille1.fr/fichiers/Cours/proba.pdfRappels de Probabilités et de Statistiques Reconnaissance des Formes (Semaine V) Université](https://reader033.vdocuments.net/reader033/viewer/2022060402/5f0e5ba17e708231d43edb49/html5/thumbnails/26.jpg)
La Notion de Distribution
La probabilité qu’il va pleuvoir
demain
La quantité exacte de la pluie
égale 2cm
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 12
![Page 27: Rappels de Probabilités et de Statistiquesmaster-ivi.univ-lille1.fr/fichiers/Cours/proba.pdfRappels de Probabilités et de Statistiques Reconnaissance des Formes (Semaine V) Université](https://reader033.vdocuments.net/reader033/viewer/2022060402/5f0e5ba17e708231d43edb49/html5/thumbnails/27.jpg)
La Notion de Distribution
La probabilité qu’il va pleuvoir
demain
La quantité exacte de la pluie est
entre 1.9 et 2.1cm
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 12
![Page 28: Rappels de Probabilités et de Statistiquesmaster-ivi.univ-lille1.fr/fichiers/Cours/proba.pdfRappels de Probabilités et de Statistiques Reconnaissance des Formes (Semaine V) Université](https://reader033.vdocuments.net/reader033/viewer/2022060402/5f0e5ba17e708231d43edb49/html5/thumbnails/28.jpg)
La Notion de Distribution
Pour les variables continue
Il faut connaître la fonction densité fX (de probabilité) telle que
FX (x) := P(X ≤ x) =
x
−∞fX (x)dx
FX est la fonction de réparition.
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 13
![Page 29: Rappels de Probabilités et de Statistiquesmaster-ivi.univ-lille1.fr/fichiers/Cours/proba.pdfRappels de Probabilités et de Statistiques Reconnaissance des Formes (Semaine V) Université](https://reader033.vdocuments.net/reader033/viewer/2022060402/5f0e5ba17e708231d43edb49/html5/thumbnails/29.jpg)
Les Moments d’une Variable Aléatoire
Espérance
E[X ] :=
x
xpX (x) si X est discret
E[X ] :=
xxfX (x)dx si X est continu
L’espérance d’une fonction g(X ) d’une Variable Aléatoire est défini par
E[X ] :=
x
g(x)pX (x) si X est discret
E[X ] :=
xg(x)fX (x)dx si X est continu
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 14
![Page 30: Rappels de Probabilités et de Statistiquesmaster-ivi.univ-lille1.fr/fichiers/Cours/proba.pdfRappels de Probabilités et de Statistiques Reconnaissance des Formes (Semaine V) Université](https://reader033.vdocuments.net/reader033/viewer/2022060402/5f0e5ba17e708231d43edb49/html5/thumbnails/30.jpg)
Les Moments d’une Variable Aléatoire
Variance
VAR[X ] :=E[(X − E[X ])2]
=E[X 2]− (E[X ])2
La variance est une mesure de dispersion de la variable aléatoire
autour de sa moyenne.
En général le moment centré d’ordre n de X est défini par
µn := E[(X − E[X ])n]
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 15
![Page 31: Rappels de Probabilités et de Statistiquesmaster-ivi.univ-lille1.fr/fichiers/Cours/proba.pdfRappels de Probabilités et de Statistiques Reconnaissance des Formes (Semaine V) Université](https://reader033.vdocuments.net/reader033/viewer/2022060402/5f0e5ba17e708231d43edb49/html5/thumbnails/31.jpg)
Les Relations entre Plusieurs Variables Aléatoires
Soient X et Y deux variables aléatoires.
X et Y sont indpendants si ∀A, B
P(X ∈ A,Y ∈ B) := fXY (A,B) = fX (A)fY (B)
Illustration
Independence & Conditional Independence
• Two variables are independent iff their joint factors:
p(x, y) = p(x)p(y)p(x,y)
=x
p(y)
p(x)
• Two variables are conditionally independent given a third one if forall values of the conditioning variable, the resulting slice factors:
p(x, y|z) = p(x|z)p(y|z) ∀z
Be Careful!
•Watch the context:e.g. Simpson’s paradox
•Define random variables and sample spaces carefully:e.g. Prisoner’s paradox
Entropy
•Measures the amount of ambiguity or uncertainty in a distribution:
H(p) = −
x
p(x) log p(x)
• Expected value of − log p(x) (a function which depends on p(x)!).
•H(p) > 0 unless only one possible outcomein which case H(p) = 0.
•Maximal value when p is uniform.
• Tells you the expected ”cost” if each event costs − log p(event)
Cross Entropy (KL Divergence)
• An assymetric measure of the distancebetween two distributions:
KL[pq] =
x
p(x)[log p(x)− log q(x)]
•KL > 0 unless p = q then KL = 0
• Tells you the extra cost if events were generated by p(x) butinstead of charging under p(x) you charged under q(x).
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 16
![Page 32: Rappels de Probabilités et de Statistiquesmaster-ivi.univ-lille1.fr/fichiers/Cours/proba.pdfRappels de Probabilités et de Statistiques Reconnaissance des Formes (Semaine V) Université](https://reader033.vdocuments.net/reader033/viewer/2022060402/5f0e5ba17e708231d43edb49/html5/thumbnails/32.jpg)
Les Relations entre Plusieurs Variables Aléatoires
Soient X , Y deux variables aléatoires. La densité de la distribution
marginale de X est donnée par
fX (x) =
yfXY (x , y)dy (la marginale sur X )
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 17
![Page 33: Rappels de Probabilités et de Statistiquesmaster-ivi.univ-lille1.fr/fichiers/Cours/proba.pdfRappels de Probabilités et de Statistiques Reconnaissance des Formes (Semaine V) Université](https://reader033.vdocuments.net/reader033/viewer/2022060402/5f0e5ba17e708231d43edb49/html5/thumbnails/33.jpg)
Les Relations entre Plusieurs Variables Aléatoires
Pour les trois variables aléatoires X , Y , et Z on a
fXY (x , y) =
zfXYZ (x , y , z)dz (la marginale sur (X ,Y ))
Illustration
Joint Probability
• Key concept: two or more random variables may interact.Thus, the probability of one taking on a certain value depends onwhich value(s) the others are taking.
•We call this a joint ensemble and writep(x, y) = prob(X = x and Y = y)
x
y
z
p(x,y,z)
Marginal Probabilities
•We can ”sum out” part of a joint distribution to get the marginaldistribution of a subset of variables:
p(x) =
y
p(x, y)
• This is like adding slices of the table together.
x
y
z
x
y
z!p(x,y)
• Another equivalent definition: p(x) =
y p(x|y)p(y).
Conditional Probability
• If we know that some event has occurred, it changes our beliefabout the probability of other events.
• This is like taking a ”slice” through the joint table.
p(x|y) = p(x, y)/p(y)
x
y
z
p(x,y|z)
Bayes’ Rule
•Manipulating the basic definition of conditional probability givesone of the most important formulas in probability theory:
p(x|y) = p(y|x)p(x)p(y)
=p(y|x)p(x)x! p(y|x!)p(x!)
• This gives us a way of ”reversing”conditional probabilities.
• Thus, all joint probabilities can be factored by selecting an orderingfor the random variables and using the ”chain rule”:
p(x, y, z, . . .) = p(x)p(y|x)p(z|x, y)p(. . . |x, y, z)
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 18
![Page 34: Rappels de Probabilités et de Statistiquesmaster-ivi.univ-lille1.fr/fichiers/Cours/proba.pdfRappels de Probabilités et de Statistiques Reconnaissance des Formes (Semaine V) Université](https://reader033.vdocuments.net/reader033/viewer/2022060402/5f0e5ba17e708231d43edb49/html5/thumbnails/34.jpg)
Les Relations entre Plusieurs Variables Aléatoires
La Linéarité des Espérences
Soit X et Y deux variables aléatoires. ∀α,β ∈ R, on a
E[αX + βY ] = αE[X ] + βE[Y ]
E[n
i=1
aiXi ] =n
i=1
aiE[Xi ]
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 19
![Page 35: Rappels de Probabilités et de Statistiquesmaster-ivi.univ-lille1.fr/fichiers/Cours/proba.pdfRappels de Probabilités et de Statistiques Reconnaissance des Formes (Semaine V) Université](https://reader033.vdocuments.net/reader033/viewer/2022060402/5f0e5ba17e708231d43edb49/html5/thumbnails/35.jpg)
Les Relations entre Plusieurs Variables Aléatoires
Soient X , Y et Z des variables aléatoires. Les densité des distributions
conditionnelles sont données par
fXY |Z (x , y |z) =fXYZ (x , y , z)
fZ (z)si fZ (z) > 0
fX |YZ (x |y , z) =fXYZ (x , y , z)
fY ,Z(y ,z)si fYZ (y , z) > 0
Illustration
Statistics
• Probability: inferring probabilistic quantities for data given fixedmodels (e.g. prob. of events, marginals, conditionals, etc).
• Statistics: inferring a model given fixed data observations(e.g. clustering, classification, regression).
•Many approaches to statistics:frequentist, Bayesian, decision theory, ...
Some (Conditional) Probability Functions
• Probability density functions p(x) (for continuous variables) orprobability mass functions p(x = k) (for discrete variables) tell ushow likely it is to get a particular value for a random variable(possibly conditioned on the values of some other variables.)
•We can consider various types of variables: binary/discrete(categorical), continuous, interval, and integer counts.
• For each type we’ll see some basic probability models which areparametrized families of distributions.
(Conditional) Probability Tables
• For discrete (categorical) quantities, the most basic parametrizationis the probability table which lists p(xi = kth value).
• Since PTs must be nonnegative and sum to 1, for k-ary variablesthere are k − 1 free parameters.
• If a discrete variable is conditioned on the values of some otherdiscrete variables we make one table for each possible setting of theparents: these are called conditional probability tables or CPTs.
x
y
z
p(x,y,z)
x
y
z
p(x,y|z)
Exponential Family
• For (continuous or discrete) random variable x
p(x|η) = h(x) expη!T (x)− A(η)
=1
Z(η)h(x) expη!T (x)
is an exponential family distribution withnatural parameter η.
• Function T (x) is a sufficient statistic.
• Function A(η) = logZ(η) is the log normalizer.
• Key idea: all you need to know about the data is captured in thesummarizing function T (x).
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 20
![Page 36: Rappels de Probabilités et de Statistiquesmaster-ivi.univ-lille1.fr/fichiers/Cours/proba.pdfRappels de Probabilités et de Statistiques Reconnaissance des Formes (Semaine V) Université](https://reader033.vdocuments.net/reader033/viewer/2022060402/5f0e5ba17e708231d43edb49/html5/thumbnails/36.jpg)
Inégalité de Markov
Soit X une variable aléatoires telle que X > 0. ∀a > 0 on a
P[X ≥ a] ≤ E[X ]
a
la preuve ?
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 21
![Page 37: Rappels de Probabilités et de Statistiquesmaster-ivi.univ-lille1.fr/fichiers/Cours/proba.pdfRappels de Probabilités et de Statistiques Reconnaissance des Formes (Semaine V) Université](https://reader033.vdocuments.net/reader033/viewer/2022060402/5f0e5ba17e708231d43edb49/html5/thumbnails/37.jpg)
Inégalité de Markov
Soit X une variable aléatoires telle que X > 0. ∀a > 0 on a
P[X ≥ a] ≤ E[X ]
a
la preuve ?
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 21
![Page 38: Rappels de Probabilités et de Statistiquesmaster-ivi.univ-lille1.fr/fichiers/Cours/proba.pdfRappels de Probabilités et de Statistiques Reconnaissance des Formes (Semaine V) Université](https://reader033.vdocuments.net/reader033/viewer/2022060402/5f0e5ba17e708231d43edb49/html5/thumbnails/38.jpg)
Inégalité de Chebychev
Soit X une variable aléatoires. ∀a > 0 on a
P[|X − E[X ]| ≥ a] ≤ VAR(X )
a2
preuve ?
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 22
![Page 39: Rappels de Probabilités et de Statistiquesmaster-ivi.univ-lille1.fr/fichiers/Cours/proba.pdfRappels de Probabilités et de Statistiques Reconnaissance des Formes (Semaine V) Université](https://reader033.vdocuments.net/reader033/viewer/2022060402/5f0e5ba17e708231d43edb49/html5/thumbnails/39.jpg)
Loi des Grands Nombres
Soit X1,X2, . . . une séquence des variables i.i.d (indépendantes et
identiquement distribuées) avec une moyenne m et une variance finie σ2.
Supposons que l’on observe X1,X2, . . . ,Xn. On estime la moyenne
empirique comme Mn := 1n
ni=1 Xi . ∀ε > 0 on a
limn→∞
P(|Mn −m| ≥ ε) = 0
(la preuve est laissée comme devoir)
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 23
![Page 40: Rappels de Probabilités et de Statistiquesmaster-ivi.univ-lille1.fr/fichiers/Cours/proba.pdfRappels de Probabilités et de Statistiques Reconnaissance des Formes (Semaine V) Université](https://reader033.vdocuments.net/reader033/viewer/2022060402/5f0e5ba17e708231d43edb49/html5/thumbnails/40.jpg)
Quelque Distributions Utiles
Discret
Uniforme
Bernoulli avec le paramètre p
Géométrique avec le paramètre p
Binomiale avec les paramètres p et n
Poisson avec le paramètre λ
Continu
Uniforme sur [a, b]
Exponentiel avec le paramètre λ
Normale N (µ,σ2)
Azadeh Khaleghi, Université de Lille I Rappels de Probabilités et de Statistiques 13/02/2013 24