prediction of quantiles by statistical learning and application to gdp forecasting

Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes

Prévision de séries temporelles faiblementdépendantes

Avec M. Cornec (INSEE), O. Wintenberger (Dauphine), X. Li (Cergy)

Pierre Alquier

Groupe de travail “Prévision”, ENGREF, 13 avril 2012

Pierre Alquier Prévision de séries temporelles faiblement dépendantes

Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes

1 Résumé des épisodes précédents : prévision de la croissancedu PIB

Introduction et notationsApplication à la prévision de la croissance du PIB

2 Dépendance faible et inégalités PAC-BayésiennesEstimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples

Pierre Alquier Prévision de séries temporelles faiblement dépendantes

Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes

Introduction et notationsApplication à la prévision de la croissance du PIB

Contexte

Soit (Xt)t∈Z un processus stationnaire à valeurs dans Rm. Onobserve (X1, ...,Xn). But : apprendre à prédire le processus.

On se donne une famille de prédicteurs (experts) :

F ⊂{f : (Rm)k → Rm mesurables

}.

Définition

Pour tout f ∈ F , X̂ ft := f (Xt−1, . . . ,Xt−k).

Pierre Alquier Prévision de séries temporelles faiblement dépendantes

Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes

Introduction et notationsApplication à la prévision de la croissance du PIB

Contexte

Soit (Xt)t∈Z un processus stationnaire à valeurs dans Rm. Onobserve (X1, ...,Xn). But : apprendre à prédire le processus.

On se donne une famille de prédicteurs (experts) :

F ⊂{f : (Rm)k → Rm mesurables

}.

Définition

Pour tout f ∈ F , X̂ ft := f (Xt−1, . . . ,Xt−k).

Pierre Alquier Prévision de séries temporelles faiblement dépendantes

Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes

Introduction et notationsApplication à la prévision de la croissance du PIB

Familles classiques de prédicteurs

Définition

Pour tout f ∈ F , X̂ ft = f (Xt−1, . . . ,Xt−k).

Prédicteurs AR(k) :

X̂ ft = θ0 +

k∑i=1

θiXt−i .

Modèle additif non paramétrique, pour une base (ϕj)∞j=1,

X̂ ft =

k∑i=1

∞∑j=1

θi ,jϕj(Xt−i).

Pierre Alquier Prévision de séries temporelles faiblement dépendantes

Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes

Introduction et notationsApplication à la prévision de la croissance du PIB

Familles classiques de prédicteurs

Définition

Pour tout f ∈ F , X̂ ft = f (Xt−1, . . . ,Xt−k).

Prédicteurs AR(k) :

X̂ ft = θ0 +

k∑i=1

θiXt−i .

Modèle additif non paramétrique, pour une base (ϕj)∞j=1,

X̂ ft =

k∑i=1

∞∑j=1

θi ,jϕj(Xt−i).

Pierre Alquier Prévision de séries temporelles faiblement dépendantes

Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes

Introduction et notationsApplication à la prévision de la croissance du PIB

Fonction de perte & risque

Soit ` une fonction de perte : `(X̂ ft ,Xt) ≥ 0 mesure l’erreur

commise par le prédicteur f à la date t.

Définition - le risque R

Pour tout f ∈ F , R(f ) := E[`(X̂ f

t ,Xt

)].

On peut l’estimer par

Définition - le risque empirique rn

Pour tout f ∈ F , rn(f ) := 1n−k

∑nt=k+1 `

(X̂ f

t ,Xt

).

Pierre Alquier Prévision de séries temporelles faiblement dépendantes

Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes

Introduction et notationsApplication à la prévision de la croissance du PIB

Fonction de perte & risque

Soit ` une fonction de perte : `(X̂ ft ,Xt) ≥ 0 mesure l’erreur

commise par le prédicteur f à la date t.

Définition - le risque R

Pour tout f ∈ F , R(f ) := E[`(X̂ f

t ,Xt

)].

On peut l’estimer par

Définition - le risque empirique rn

Pour tout f ∈ F , rn(f ) := 1n−k

∑nt=k+1 `

(X̂ f

t ,Xt

).

Pierre Alquier Prévision de séries temporelles faiblement dépendantes

Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes

Introduction et notationsApplication à la prévision de la croissance du PIB

Le problème de la prévision de la croissance

But : lors du 3ème mois du trimestre t, annoncer quelle sera lacroissance ∆GDPt lors de ce trimestre.

Information disponible :

1 le passé : ∆GDPt−1, ..., ∆GDP1, date 1 : 1988-T1.2 les enquêtes de conjoncture, mensuelles, de l’INSEE.3 toute autre information quantitative ou qualitative.

Pierre Alquier Prévision de séries temporelles faiblement dépendantes

Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes

Introduction et notationsApplication à la prévision de la croissance du PIB

Le problème de la prévision de la croissance

But : lors du 3ème mois du trimestre t, annoncer quelle sera lacroissance ∆GDPt lors de ce trimestre.

Information disponible :1 le passé : ∆GDPt−1, ..., ∆GDP1, date 1 : 1988-T1.

2 les enquêtes de conjoncture, mensuelles, de l’INSEE.3 toute autre information quantitative ou qualitative.

Pierre Alquier Prévision de séries temporelles faiblement dépendantes

Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes

Introduction et notationsApplication à la prévision de la croissance du PIB

Le problème de la prévision de la croissance

But : lors du 3ème mois du trimestre t, annoncer quelle sera lacroissance ∆GDPt lors de ce trimestre.

Information disponible :1 le passé : ∆GDPt−1, ..., ∆GDP1, date 1 : 1988-T1.2 les enquêtes de conjoncture, mensuelles, de l’INSEE.

3 toute autre information quantitative ou qualitative.

Pierre Alquier Prévision de séries temporelles faiblement dépendantes

Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes

Introduction et notationsApplication à la prévision de la croissance du PIB

Le problème de la prévision de la croissance

But : lors du 3ème mois du trimestre t, annoncer quelle sera lacroissance ∆GDPt lors de ce trimestre.

Information disponible :1 le passé : ∆GDPt−1, ..., ∆GDP1, date 1 : 1988-T1.2 les enquêtes de conjoncture, mensuelles, de l’INSEE.3 toute autre information quantitative ou qualitative.

Pierre Alquier Prévision de séries temporelles faiblement dépendantes

Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes

Introduction et notationsApplication à la prévision de la croissance du PIB

Les enquêtes de conjoncture

Il s’agit de questionnaires mensuels envoyés aux plus grandesentreprises françaises, et à un échantillon d’entreprises pluspetites. Ces données :

1 proviennent directement des agents qui font vivrel’économie.

2 sont disponibles quasiment en temps réel (lors dutroisième mois du trimestre, on connaît les résultats pourles deux premiers mois).

→ les résultats sont synthétisés par l’INSEE dans l’indicateurde climat, disons It−1.

Pierre Alquier Prévision de séries temporelles faiblement dépendantes

Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes

Introduction et notationsApplication à la prévision de la croissance du PIB

Les enquêtes de conjoncture

Il s’agit de questionnaires mensuels envoyés aux plus grandesentreprises françaises, et à un échantillon d’entreprises pluspetites. Ces données :

1 proviennent directement des agents qui font vivrel’économie.

2 sont disponibles quasiment en temps réel (lors dutroisième mois du trimestre, on connaît les résultats pourles deux premiers mois).

→ les résultats sont synthétisés par l’INSEE dans l’indicateurde climat, disons It−1.

Pierre Alquier Prévision de séries temporelles faiblement dépendantes

Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes

Introduction et notationsApplication à la prévision de la croissance du PIB

Les enquêtes de conjoncture

Il s’agit de questionnaires mensuels envoyés aux plus grandesentreprises françaises, et à un échantillon d’entreprises pluspetites. Ces données :

1 proviennent directement des agents qui font vivrel’économie.

2 sont disponibles quasiment en temps réel (lors dutroisième mois du trimestre, on connaît les résultats pourles deux premiers mois).

→ les résultats sont synthétisés par l’INSEE dans l’indicateurde climat, disons It−1.

Pierre Alquier Prévision de séries temporelles faiblement dépendantes

Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes

Introduction et notationsApplication à la prévision de la croissance du PIB

Les enquêtes de conjoncture

Il s’agit de questionnaires mensuels envoyés aux plus grandesentreprises françaises, et à un échantillon d’entreprises pluspetites. Ces données :

1 proviennent directement des agents qui font vivrel’économie.

2 sont disponibles quasiment en temps réel (lors dutroisième mois du trimestre, on connaît les résultats pourles deux premiers mois).

→ les résultats sont synthétisés par l’INSEE dans l’indicateurde climat, disons It−1.

Pierre Alquier Prévision de séries temporelles faiblement dépendantes

Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes

Introduction et notationsApplication à la prévision de la croissance du PIB

Résultats connus

La famille de prédicteurs

∆̂GDPf

t = α+β∆GDPt−1 + γIt−1 + δ(It−1− It−2)|It−1− It−2|

a été utilisée par Cornec (CIRET conference, 2010). Onobtient :

1 des prévisions globalement aussi précises que celles del’INSEE.

2 des prévisions d’autant moins précises que la conjonctureest mauvaise.

→ nécessité de donner un intervalle de confiance ou uneindication de précision.

Pierre Alquier Prévision de séries temporelles faiblement dépendantes

Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes

Introduction et notationsApplication à la prévision de la croissance du PIB

Résultats connus

La famille de prédicteurs

∆̂GDPf

t = α+β∆GDPt−1 + γIt−1 + δ(It−1− It−2)|It−1− It−2|

a été utilisée par Cornec (CIRET conference, 2010). Onobtient :

1 des prévisions globalement aussi précises que celles del’INSEE.

2 des prévisions d’autant moins précises que la conjonctureest mauvaise.

→ nécessité de donner un intervalle de confiance ou uneindication de précision.

Pierre Alquier Prévision de séries temporelles faiblement dépendantes

Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes

Introduction et notationsApplication à la prévision de la croissance du PIB

Résultats connus

La famille de prédicteurs

∆̂GDPf

t = α+β∆GDPt−1 + γIt−1 + δ(It−1− It−2)|It−1− It−2|

a été utilisée par Cornec (CIRET conference, 2010). Onobtient :

1 des prévisions globalement aussi précises que celles del’INSEE.

2 des prévisions d’autant moins précises que la conjonctureest mauvaise.

→ nécessité de donner un intervalle de confiance ou uneindication de précision.

Pierre Alquier Prévision de séries temporelles faiblement dépendantes

Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes

Introduction et notationsApplication à la prévision de la croissance du PIB

Résultats : prévision

Prévisions en utilisant la fa-mille de prédicteurs de Cor-nec et la fonction de perte`(x , x ′) = |x − x ′|.Prédicteur :

f̂ ∈ argminf ∈F

rn(f ).

Les performances moyennessont voisines de celles obte-nues par l’INSEE.

Pierre Alquier Prévision de séries temporelles faiblement dépendantes

Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes

Introduction et notationsApplication à la prévision de la croissance du PIB

Résultats : intervalles de confiance

Intervalles de confiance enutilisant la fonction de pertequantile de Koenker :

`(x , x ′)= (x−x ′)(τ−1(x−x ′ < 0)).

Pierre Alquier Prévision de séries temporelles faiblement dépendantes

Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes

Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples

1 Résumé des épisodes précédents : prévision de la croissancedu PIB

Introduction et notationsApplication à la prévision de la croissance du PIB

2 Dépendance faible et inégalités PAC-BayésiennesEstimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples

Pierre Alquier Prévision de séries temporelles faiblement dépendantes

Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes

Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples

Et en théorie ?

On a utiliséf̂ = argmin

f ∈Frn(f )

mais il n’y a pas, a priori, de théorie pour justifier une telleméthode !

Justifié par la théorie des processus ARMA si on suppose quela croissance du PIB est un processus ARMA (�).Il reste deux possibilités :

1 � “Je n’ai pas besoin de théorie, ça marche en pratique !La théorie produit des choses optimales en théorie maisqui ne marchent pas en pratique.”

2 Y si ça marche en pratique, la théorie doit pouvoir direquelque chose dessus !

Pierre Alquier Prévision de séries temporelles faiblement dépendantes

Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes

Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples

Et en théorie ?

On a utiliséf̂ = argmin

f ∈Frn(f )

mais il n’y a pas, a priori, de théorie pour justifier une telleméthode !Justifié par la théorie des processus ARMA si on suppose quela croissance du PIB est un processus ARMA (�).Il reste deux possibilités :

1 � “Je n’ai pas besoin de théorie, ça marche en pratique !La théorie produit des choses optimales en théorie maisqui ne marchent pas en pratique.”

2 Y si ça marche en pratique, la théorie doit pouvoir direquelque chose dessus !

Pierre Alquier Prévision de séries temporelles faiblement dépendantes

Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes

Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples

Et en théorie ?

On a utiliséf̂ = argmin

f ∈Frn(f )

mais il n’y a pas, a priori, de théorie pour justifier une telleméthode !Justifié par la théorie des processus ARMA si on suppose quela croissance du PIB est un processus ARMA (�).Il reste deux possibilités :

1 � “Je n’ai pas besoin de théorie, ça marche en pratique !La théorie produit des choses optimales en théorie maisqui ne marchent pas en pratique.”

2 Y si ça marche en pratique, la théorie doit pouvoir direquelque chose dessus !

Pierre Alquier Prévision de séries temporelles faiblement dépendantes

Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes

Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples

Et en théorie ?

On a utiliséf̂ = argmin

f ∈Frn(f )

mais il n’y a pas, a priori, de théorie pour justifier une telleméthode !Justifié par la théorie des processus ARMA si on suppose quela croissance du PIB est un processus ARMA (�).Il reste deux possibilités :

1 � “Je n’ai pas besoin de théorie, ça marche en pratique !La théorie produit des choses optimales en théorie maisqui ne marchent pas en pratique.”

2 Y si ça marche en pratique, la théorie doit pouvoir direquelque chose dessus !

Pierre Alquier Prévision de séries temporelles faiblement dépendantes

Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes

Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples

Fonction de perte & risque (suite)

Rappel : `(X̂ ft ,Xt) ≥ 0 mesure l’erreur commise par le

prédicteur f à la date t.

Rappel - le risque de prévision R

Pour tout f ∈ F , R(f ) := E[`(X̂ f

t ,Xt

)].

Pour tout estimateur f̂ ,

R(f̂ ) = infF

R︸︷︷︸“biais”

+[R(f̂ )− infF

R︸ ︷︷ ︸“variance”

].

Pierre Alquier Prévision de séries temporelles faiblement dépendantes

Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes

Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples

Fonction de perte & risque (suite)

Rappel : `(X̂ ft ,Xt) ≥ 0 mesure l’erreur commise par le

prédicteur f à la date t.

Rappel - le risque de prévision R

Pour tout f ∈ F , R(f ) := E[`(X̂ f

t ,Xt

)].

Pour tout estimateur f̂ ,

R(f̂ ) = infF

R︸︷︷︸“biais”

+[R(f̂ )− infF

R︸ ︷︷ ︸“variance”

].

Pierre Alquier Prévision de séries temporelles faiblement dépendantes

Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes

Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples

Estimateur de Gibbs - minimisation de rn

Définition - min. du risque empiriqueOn pose

f̂ = argminf ∈F

rn(f ).

Soit π une loi a priori sur l’ensemble F .

Définition - l’estimateur de Gibbs f̂λOn pose

f̂λ =

∫fe−λrn(f )π(df )∫e−λrn(f )π(df )

=:

∫f π−λrn(df ).

Pierre Alquier Prévision de séries temporelles faiblement dépendantes

Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes

Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples

Estimateur de Gibbs - minimisation de rn

Définition - min. du risque empiriqueOn pose

f̂ = argminf ∈F

rn(f ).

Soit π une loi a priori sur l’ensemble F .

Définition - l’estimateur de Gibbs f̂λOn pose

f̂λ =

∫fe−λrn(f )π(df )∫e−λrn(f )π(df )

=:

∫f π−λrn(df ).

Pierre Alquier Prévision de séries temporelles faiblement dépendantes

Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes

Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples

Hypothèses

1 Le processus (Xt) est borné p.s.,

P(‖Xt‖ ≤ B) = 1.

2 `(x , x ′) = g(x − x ′) avec g convexe et L-Lipshitz.3 Pour tout f ∈ F ,

‖f (x1, . . . , xk)− f (x ′1, . . . , x′k)‖ ≤

k∑j=1

aj(f )‖xj − x ′j‖,

k∑j=1

aj(f ) ≤ K .

4 k ≤ n/2.

Pierre Alquier Prévision de séries temporelles faiblement dépendantes

Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes

Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples

Hypothèses

1 Le processus (Xt) est borné p.s.,

P(‖Xt‖ ≤ B) = 1.

2 `(x , x ′) = g(x − x ′) avec g convexe et L-Lipshitz.

3 Pour tout f ∈ F ,

‖f (x1, . . . , xk)− f (x ′1, . . . , x′k)‖ ≤

k∑j=1

aj(f )‖xj − x ′j‖,

k∑j=1

aj(f ) ≤ K .

4 k ≤ n/2.

Pierre Alquier Prévision de séries temporelles faiblement dépendantes

Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes

Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples

Hypothèses

1 Le processus (Xt) est borné p.s.,

P(‖Xt‖ ≤ B) = 1.

2 `(x , x ′) = g(x − x ′) avec g convexe et L-Lipshitz.3 Pour tout f ∈ F ,

‖f (x1, . . . , xk)− f (x ′1, . . . , x′k)‖ ≤

k∑j=1

aj(f )‖xj − x ′j‖,

k∑j=1

aj(f ) ≤ K .

4 k ≤ n/2.

Pierre Alquier Prévision de séries temporelles faiblement dépendantes

Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes

Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples

Hypothèses

1 Le processus (Xt) est borné p.s.,

P(‖Xt‖ ≤ B) = 1.

2 `(x , x ′) = g(x − x ′) avec g convexe et L-Lipshitz.3 Pour tout f ∈ F ,

‖f (x1, . . . , xk)− f (x ′1, . . . , x′k)‖ ≤

k∑j=1

aj(f )‖xj − x ′j‖,

k∑j=1

aj(f ) ≤ K .

4 k ≤ n/2.

Pierre Alquier Prévision de séries temporelles faiblement dépendantes

Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes

Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples

Inégalité PAC-Bayésienne pour la prédiction

ThéorèmeSous les hypothèses précédentes, pour tout ε ∈]0, 1[, pourtout λ > 0,

P

(R(f̂λ) ≤ inf

ρ

{∫Rdρ +

λκ2nn

+K(ρ, π) + log

(2ε

)λ

})≥ 1− ε.

κn =√2K (1 + L)(B + θ∞,n(1)).

Pierre Alquier Prévision de séries temporelles faiblement dépendantes

Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes

Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples

Coefficient de θ-dépendance faible

Introduits par Doukhan et Louhichi (SPA, 1999). SoitFi = σ(Xt , t ≤ i). Pour i < j1 < · · · < j` on pose

θp(Fi , (Xj1 , . . . ,Xjp))

:= supg 1-Lipshitz

‖E [g(Xj1 , . . . ,Xj`)|Fi ]− E [g(Xj1 , . . . ,Xj`)]‖p .

Enfin,

θp,r (k) := max`≤r

supi+k≤j1<j2<···<j`

θp(Fi , (Xj1 , . . . ,Xjp))).

Pierre Alquier Prévision de séries temporelles faiblement dépendantes

Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes

Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples

Exemples de calculs de coefficients θTout processus

Xt = F (ξt , ξt−1, ξt−2, . . . )

avec les ξi iid et bornés par b, et

‖F (x1, x2, . . . )− F (x ′1, x′2, . . . )‖ ≤

∞∑j=1

aj‖xj − x ′j‖

vérifie :

θ∞,n(1) ≤ 2b∞∑j=1

jaj .

Inclut par exemple :

Xt = G (ξt ,Xt−1) = G (ξt ,G (ξt−1,Xt−2)) = · · · = H(ξt , ξt−1, . . . ).

Pierre Alquier Prévision de séries temporelles faiblement dépendantes

Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes

Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples

Rappel

ThéorèmeSous les hypothèses précédentes, pour tout ε ∈]0, 1[, pourtout λ > 0,

P

(R(f̂λ) ≤ inf

ρ

{∫Rdρ +

2λκ2nn

+ 2K(ρ, π) + log

(2ε

)λ

})≥ 1− ε.

κn =√2K (1 + L)(B + θ∞,n(1)).

Pierre Alquier Prévision de séries temporelles faiblement dépendantes

Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes

Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples

Cas où card(F) = M <∞ (1/2)

Si π uniforme,

R(f̂λ) ≤ infρ

{∫Rdρ +

2λκ2nn

+ 2K(ρ, π) + log

(2ε

)λ

}

≤ inff ∈F

{R(f ) +

2λκ2nn

+ 2log(M) + log

(2ε

)λ

}

et λ =√

n log(M)/κn (�) conduit à

Théorème

R(f̂λ) ≤ infF

R + 2κn

√2 log(M)

n+

2κn log(2ε

)n log(M)

.

Pierre Alquier Prévision de séries temporelles faiblement dépendantes

Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes

Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples

Cas où card(F) = M <∞ (1/2)

Si π uniforme,

R(f̂λ) ≤ infρ

{∫Rdρ +

2λκ2nn

+ 2K(ρ, π) + log

(2ε

)λ

}

≤ inff ∈F

{R(f ) +

2λκ2nn

+ 2log(M) + log

(2ε

)λ

}

et λ =√

n log(M)/κn (�) conduit à

Théorème

R(f̂λ) ≤ infF

R + 2κn

√2 log(M)

n+

2κn log(2ε

)n log(M)

.

Pierre Alquier Prévision de séries temporelles faiblement dépendantes

Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes

Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples

Cas où card(F) = M <∞ (2/2)

Et pour le minimiseur du risque empirique f̂ ?

Un calcul similaire conduit à

ThéorèmePour un c > 0 connu,

R(f̂ ) ≤ infF

R + c .κn

√log(M)

n+

c .κn log(2ε

)√n log(M)

.

Gros avantage : ne nécessite pas la connaissance de κn.

Pierre Alquier Prévision de séries temporelles faiblement dépendantes

Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes

Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples

Cas où card(F) = M <∞ (2/2)

Et pour le minimiseur du risque empirique f̂ ?

Un calcul similaire conduit à

ThéorèmePour un c > 0 connu,

R(f̂ ) ≤ infF

R + c .κn

√log(M)

n+

c .κn log(2ε

)√n log(M)

.

Gros avantage : ne nécessite pas la connaissance de κn.

Pierre Alquier Prévision de séries temporelles faiblement dépendantes

Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes

Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples

Cas des prédicteurs AR (1/2)On se restreint à Xt ∈ R et, pour f ∈ F ,

f (Xt−1, ...,Xt−k) =k∑

j=1

θjXt−j

avec ‖θ‖1 ≤ L. Cette fois, on prend π uniforme.

Un calcul similaire quoique plus moche et le choixλ =√

kn/κn (�) conduisent à :

Théorème

R(f̂λ) ≤ infF

R + 2κn

√knlog(

e2LBκn

√nk

)+

2κn log(2ε

)√

nk.

Pierre Alquier Prévision de séries temporelles faiblement dépendantes

Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes

Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples

Cas des prédicteurs AR (1/2)On se restreint à Xt ∈ R et, pour f ∈ F ,

f (Xt−1, ...,Xt−k) =k∑

j=1

θjXt−j

avec ‖θ‖1 ≤ L. Cette fois, on prend π uniforme.

Un calcul similaire quoique plus moche et le choixλ =√

kn/κn (�) conduisent à :

Théorème

R(f̂λ) ≤ infF

R + 2κn

√knlog(

e2LBκn

√nk

)+

2κn log(2ε

)√

nk.

Pierre Alquier Prévision de séries temporelles faiblement dépendantes

Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes

Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples

Cas des prédicteurs AR (2/2)

Et pour le minimiseur du risque empirique f̂ ?

Un calcul similaire conduit à

ThéorèmePour un c > 0 connu,

R(f̂ ) ≤ infF

R + c .κn

√knlog(n) +

c .κn log(2ε

)√

nk.

Gros avantage : ne nécessite pas la connaissance de κn.

Pierre Alquier Prévision de séries temporelles faiblement dépendantes

Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes

Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples

Cas des prédicteurs AR (2/2)

Et pour le minimiseur du risque empirique f̂ ?

Un calcul similaire conduit à

ThéorèmePour un c > 0 connu,

R(f̂ ) ≤ infF

R + c .κn

√knlog(n) +

c .κn log(2ε

)√

nk.

Gros avantage : ne nécessite pas la connaissance de κn.

Pierre Alquier Prévision de séries temporelles faiblement dépendantes

Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes

Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples

Cas généralOn peut introduire une mesure de la complexité de l’ensemblede prédicteurs F , en fait :

C(F , π) := supλ>c

log(

1π{θ:R(θ)−infF R≤ 1

λ}

)log(λ)

.

Le résultat est alors :

Théorème

Pour une constante c > 0 connue et λ '√

C(F , π)n/κn,

R(f̂λ)

R(f̂ )

. infF

R + c .

√C(F , π)

nlog(n) + c .

log(1ε)

√n.

Pierre Alquier Prévision de séries temporelles faiblement dépendantes

Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes

Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples

Sélection de modèles (1/3)

Soient M familles de prédicteurs F1, ..., FM . Par exemple,

F1 : f (Xt−1, ...,Xt−k) = θ1Xt−1

C(F1, π1) ' 1

F2 : f (Xt−1, ...,Xt−k) = θ1Xt−1 + θ1Xt−2

C(F2, π2) ' 2

......

...

Fk : f (Xt−1, ...,Xt−k) =k∑

j=1

θjXt−j

C(Fk , πk) ' k

On fixe des lois a priori dans chaque famille de prédicteurs :

π1, . . . , πM .

Pierre Alquier Prévision de séries temporelles faiblement dépendantes

Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes

Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples

Sélection de modèles (1/3)

Soient M familles de prédicteurs F1, ..., FM . Par exemple,

F1 : f (Xt−1, ...,Xt−k) = θ1Xt−1 C(F1, π1) ' 1F2 : f (Xt−1, ...,Xt−k) = θ1Xt−1 + θ1Xt−2 C(F2, π2) ' 2...

......

Fk : f (Xt−1, ...,Xt−k) =k∑

j=1

θjXt−j C(Fk , πk) ' k

On fixe des lois a priori dans chaque famille de prédicteurs :

π1, . . . , πM .

Pierre Alquier Prévision de séries temporelles faiblement dépendantes

Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes

Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples

Sélection de modèles (2/3)

On choisit

p1, . . . , pM ≥ 0 avecM∑i=1

pi = 1.

On pose

π =M∑i=1

piπi .

Rappel

π−λrn(df ) =e−λrn(f )π(df )∫e−λrn(g)π(dg)

Pierre Alquier Prévision de séries temporelles faiblement dépendantes

Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes

Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples

Sélection de modèles (3/3)

Définition

λ̂ = argminλ∈Λ

{∫rndπ−λrn +

λκ2nn

+K(π−λrn , π) + log(|Λ|/ε)

λ

}sur une grille finie Λ bien choisie.

Théorème

R(f̂λ̂)

≤ inf1≤j≤M

infFj

R + c .

√C(Fj , πj)

nlog(n) + c .

log(2 log(n)εpj

)√

C(Fj , πj)n

.

Pierre Alquier Prévision de séries temporelles faiblement dépendantes

Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes

Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples

Sélection de modèles (3/3)

Définition

λ̂ = argminλ∈Λ

{∫rndπ−λrn +

λκ2nn

+K(π−λrn , π) + log(|Λ|/ε)

λ

}sur une grille finie Λ bien choisie.

Théorème

R(f̂λ̂)

≤ inf1≤j≤M

infFj

R + c .

√C(Fj , πj)

nlog(n) + c .

log(2 log(n)εpj

)√

C(Fj , πj)n

.Pierre Alquier Prévision de séries temporelles faiblement dépendantes

Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes

Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples

The end

Merci !

Pierre Alquier Prévision de séries temporelles faiblement dépendantes