6. sch¨atzung station¨arer arma-modelle · datentransformation zur erreichung der...
TRANSCRIPT
6. Schatzung stationarer ARMA-Modelle
Problemstellung:
• Statistische Anpassung eines stationaren ARMA(p, q)-Prozes-ses an eine Stichprobe von t = 1, . . . , T Prozessbeobachtun-gen
• Es bezeichne x1, . . . , xT die realisierte Stichprobe (Trajekto-rie, Zeitreihe) der zufalligen Stichprobe X1, . . . , XT (Prozess-variablen)(vgl. Kapitel 4)
181
6.1 Die Box-Jenkins Methodologie
Vorwissen:
• Jeder datenerzeugende stationare Prozess kann beliebig genaudurch einen ARMA(p, q)-Prozess approximiert werden(vgl. Kapitel 3, Folie 42)
Zu klarende Aspekte:
• Wahl der Prozessordnungen p und q
• Schatzung aller Prozessparameter
182
Box-Jenkins Methodologie:(vgl. Box & Jenkins, 1976)
1. Modellidentifikation
2. Parameterschatzung
3. Modelldiagnose
4. Prognose
183
1. Modellidentifikation: (I)
• Uberprufung der Zeitreihe x1, . . . , xT auf Stationaritat
Visuelle Inspektion der Daten
Anwendung statistischer Stationaritatstests(vgl. Kapitel 7)
Ggf. Datentransformation zur Erreichung der Stationaritat. 1. Differenzen:
xt → ∆xt = (1− L)xt = xt − xt−1
. 1. Differenzen der logarithmierten Daten:
xt → ∆log(xt) = log(xt)− log(xt−1) = log
(
xt
xt−1
)
184
1. Modellidentifikation: (II)
• Bestimmung der Ordnungen p und q
Berechnung der geschatzten ACF/PACF
Visueller Vergleich der geschatzten ACF/PACF mit poten-ziellen theoretischen ACF/PACF(vgl. Tabelle auf Folie 175; Abb. auf Folien 178-180)
Statistische Selektionsverfahren fur p und q(vgl. Abschnitt 6.3)
185
2. Parameterschatzung:
• KQ-Schatzung, Maximum-Likelihood Schatzung(vgl. Abschnitt 6.2)
3. Modelldiagnose:
• Uberprufung, ob Autokorrelation in den Residuen des geschatz-ten Modells vorliegt(Anwendung des Ljung-Box Tests, vgl. Folie 164-165)
Autokorrelationsfreie Residuen−→ Gut spezifiziertes Modell
(Analyse der Parametersignifikanzen)Autokorrelierte Residuen
−→ Respezifikation des Modells(iteratives Vorgehen)
186
4. Prognose:
• Benutzung der geschatzten Parameterwerte des gut spezi-fizierten Modells zur Prognose zukunftiger Prozesswerte(kein Gegenstand der VL)
187
6.2 Die Schatzung eines ARMA(p, q)-Modells
Jetzt:
• Schatzung der Parameter c, φ1, . . . , φp, θ1, . . . , θq und σ2 einesstationaren ARMA(p, q)-Prozesses
Xt = c + φ1Xt−1 + . . . + φpXt−p + εt + θ1εt−1 + . . . θqεt−q
Bemerkungen:
• Es gibt verschiedene Schatztechniken(KQ-, ML-Schatzung; vgl. VL FS)
• Fur einen AR(p)-Prozess gibt es den Yule-Walker-Schatzer(vgl. Neusser, 2006)
188
Zunachst: (I)
• Beispiel einer KQ-Schatzung des AR(p)-Modells
Xt = c + φ1Xt−1 + . . . + φpXt−p + εt
• Fasse dafur den Prozess als Regressionsmodell auf mit
Xt als abhangiger Variable
Xt−1, . . . , Xt−p als Regressoren
εt als Storterm
189
Zunachst: (II)
• Modell in Martixschreibweise:
Xp+1Xp+2
...XT
=
1 Xp Xp−1 · · · X11 Xp+1 Xp · · · X2... ... ... . . . ...1 XT−1 XT−2 · · · XT−p
cφ1φ2...
φp
+
εp+1εp+2
...εT
y = Xβ + u
• KQ-Schatzer βKQ fur β =[
c φ1 φ2 · · · φp]′
ist
βKQ = (X′X)−1Xy
190
Zunachst: (III)
• σ2 wird mittels der KQ-Residuen u = y − XβKQ geschatztdurch
σ2 =u′u
T − p
(vgl. VL Okonometrie I)
Probleme: (I)
• Die bekannten Optimalitatseigenschaften der KQ-Schatzungerfordern diverse Voraussetzungen an das lineare Regressions-modell(vgl. Vorlesungen Okonometrie I + II)
191
Probleme: (II)
• Einige dieser Voraussetzungen sind hier verletzt:
Die Regressoren sind mit dem Storterm korreliert
Abhangigkeit der KQ-Schatzung von den StartwertenX1, . . . , Xp
Dennoch:
• In AR(p)-Modellen sind die KQ-Schatzer fur die Modellpa-rameter konsistent und asymptotisch effizient(vgl. Neusser, 2006, S. 81-84)
192
Jetzt:
• Schatzung eines allgemeinen ARMA(p, q)-Modells
Xt = c + φ1Xt−1 + . . . + φpXt−p + εt + θ1εt−1 + . . . θqεt−q
• Sammle alle Modellparameter im ([p + q + 2]× 1) Vektor
β =[
c φ1 · · · φp θ1 · · · θq σ2]′
Problem:
• KQ-Methode nicht ohne weiteres anwendbar, da die ”Regres-soren” εt, εt−1, . . . , εt−q des MA(q)-Teils nicht direkt beobacht-bar sind
193
Ausweg:
• Schatze die Modellparameter mit der (bedingten) Maximum-Likelihood-Methode(vgl. VL Fortgeschrittene Statistik)
ML-Methode: (I)
• Benotigen Verteilungsannahme der StichprobenvariablenX1, . . . , XT
• Berechnung der gemeinsamen Dichtefunktion
fX1,...,XT (x1, . . . , xT )
194
ML-Methode: (II)
• Betrachte die gemeinsame Dichtefunktion als eine Funktionim unbekannten Parametervektor β
L(β) = fX1,...,XT (x1, . . . , xT )
bzw.
L∗(β) = log[fX1,...,XT (x1, . . . , xT )]
(Likelihood-Funktion bzw. Log-Likelihood-Funktion)
• Maximiere L∗(β) bzgl. β
−→ Maximum-Likelihood-Schatzer
195
ML-Methode: (III)
• ML-Schatzer haben gunstige statistische Eigenschaften:
Konsistenz
Asymptotische Normalitat
Asymptotische Effizienz
Robustheit gegenuber Abweichungen von der NV(Quasi-ML-Schatzungen)
196
Verteilungsannahme:
• Betrachte einen Gaußschen ARMA(p, q)-Prozess
Xt = c + φ1Xt−1 + . . . + φpXt−p + εt + θ1εt−1 + . . . θqεt−q
mit εt ∼ GWR(0, σ2)
Log-Likelihood-Funktion: (I)• Berechnung der exakten Log-Likelihood-Fkt. unmoglich
• Stattdessen Berechnung der Log-Likelihood-Funktion unterBerucksichtigung gegebener Startwerte
x0 ≡[
x0 x−1 · · · x−p+1]′
,
ε0 ≡[
ε0 ε−1 · · · ε−q+1]′
−→ Bedingte Log-Likelihood-Funktion
197
Log-Likelihood-Funktion: (II)
• Die bedingte Log-Likelihood-Funktion ist gegeben durch
L∗(β|x0, ε0) = −T2
log(2π)−T2
log(σ2)−T
∑
t=1
ε2t2σ2
Bemerkungen: (I)
• Die bedingte Log-Likelihood-Funktion L∗(β|x0, ε0) ist einekomplizierte nichtlineare Funktion im Parametervektor β
• Es existieren keine analytisch geschlossenen Formeln fur diebedingten ML-Schatzfunktionen
−→ Numerische Optimierung von L∗(β|x0, ε0)
198
Bemerkungen: (II)
• Exakte und bedingte ML-Schatzer haben qualitativ ahnlicheEigenschaften
• EViews verfugt uber derartige numerische Optimierungsver-fahren
199
6.3 Die Schatzung der Ordnungen p und q
Frage:
• Wie sollen die Ordnungen p und q des anzupassenden ARMA-Modells gewahlt werden?
2 Fehlermoglichkeiten:
• p und q werden zu groß gewahlt(Overfitting)
• p und/oder q werden zu klein gewahlt(Underfitting)
200
Konsequenzen:
• Sowohl beim Overfitting als auch beim Underfitting ist derML-Schatzer i.A. nicht mehr konsistent fur die Modellparam-eter
−→ Korrekte Bestimmung der Ordnungen p und q ist zentral
Bestimmungsmoglichkeiten:
• Visuelle Inspektion der empirischen ACF und PACF(Box-Jenkins-Ansatz, in praxi meist schwierig)
• Automatische Selektionsverfahren
201
Idee der Selektionsverfahren: (I)
• Minimierung eines Informationskriteriums
• Prinzipielle Konstruktion der Kriterien:
Mit steigenden Ordnungen p und q nimmt die Anpassungdes ARMA-Modells zu (bzw. nicht ab)
Die Anpassung des Modells wird gemessen durch die ge-schatzte Varianz der Residuen σ2
p,q
Um die Tendenz zum Overfitting zu korrigieren, wird dasAnpassungsmaß σ2
p,q um einen Term erganzt, der hohereWahlen von p und q bestraft
202
Idee der Selektionsverfahren: (I)
• Die bekanntesten Informationskriterien lauten:
AIC(p, q) = log(
σ2p,q
)
+ (p + q)2T(Akaike-Informationskriterium)
SIC(p, q) = log(
σ2p,q
)
+ (p + q)log(T )T
(Schwarz-Informationskriterium)
HQIC(p, q) = log(
σ2p,q
)
+ (p + q)2 log[log(T )]T
(Hannan-Quinn-Informationskriterium)
• In praxi werden die Ordnungen p und q so gewahlt, dass sieeines der 3 Informationskriterien minimieren
203
Bemerkungen:
• In praxi wird meistens das AIC-Kriterium verwendet, obwohles tendenziell zum Overfitting fuhrt
• SIC und HQIC liefern konsistente Schatzungen der Ordnun-gen p und q
204
6.4 Modellierung eines stochastischen Prozesses
Jetzt:
• Anpassung eines ARMA(p, q)-Prozesses an eine erhobene Zeit-reihe in 4 Schritten
1. Transformationen zur Erreichung der Stationaritat: (I)
• Okonomische Zeitreihen sind oft nicht stationar(vgl. Kapitel 7)
−→ Daten sind in stationare Zeitreihen zu transformieren
205
1. Transformationen zur Erreichung der Stationaritat: (II)
• Mogliche Datentransformation:
Ubergang zu Differenzen
Yt = (1− L)dXt fur d = 1,2, . . .
(Differenzenfilter der Ordnung d)
Bereinigung von {Xt} um einen deterministischen Trend(vgl. Kapitel 7)
Ubergang zu logarithmierten Werten bzw. zu Differenzender logarithmierten Werte
Yt = (1− L) log(Xt) = log(Xt)− log(Xt−1)
(Wachstumsrate)
206
2. Wahl der Ordnungen p und q:
• Inspektion von ACF und PACF
• Anwendung von Selektionskriterien(vgl. Abschnitt 6.3)
3. Schatzung des Modells:
• ML-Schatzung des spezifizierten ARMA(p, q)-Modells
207
4. Prufung auf Plausibilitat:
• Sind die Parameterschatungen plausibel?
• Folgen die Residuen einem Weißen Rauschen?
• Gibt es Strukturbruche
• Ggf. Respezifikation des Modells und erneute Anpassung
Beispiel:
• Deutsches BIP zwischen 1970:Q1 und 2007:Q4
208
40
50
60
70
80
90
100
110
120
1970.1 1980.1 1990.1 2000.1
Zeit
BIP (preisbereinigt, Quartalsdaten)
-.04
-.02
.00
.02
.04
.06
.08
1970.1 1980.1 1990.1 2000.1
BIP Wachstumsrate
Schritt 1:
• Daten weisen offensichtlich
einen steigenden Trend auf
ein Saisonmuster auf
−→ Ubergang zu saisonalen Differenzen in Logarithmen
Xt = (1− L4) log(BIPt)
= log(BIPt)− log(BIPt−4)
(Wachstumsrate gegenuber Vorjahresquartal)
210
Schritt 2:
• Visuelle Inspektion von ACF und PACF(vgl. Abbildung auf Folie 212)
ACF langsam monoton abklingend
−→ AR-Modell
PACF hat signifikante Werte bis h = 4
−→ AR(4)-Modell
211
-1.0
-0.5
0.0
0.5
1.0
0 5 10 15 20 25 30
h
Geschätzte ACF
-1.0
-0.5
0.0
0.5
1.0
0 5 10 15 20 25 30
h
Geschätzte PACF
Schritt 2 (Fortsetzung):
• Selektionskriterien:
AIC-Werte fur alternative ARMA(p, q)-Modelle
p / q q = 0 q = 1 q = 2 q = 3 q = 4 q = 5p = 0 −5.6068 −5.6530 −5.9066 −5.9046 −5.9043p = 1 −5.8274 −5.8157 −5.8125 −5.9476 −5.9378 −5.9412p = 2 −5.8322 −5.8813 −5.8806 −5.9394 −5.9290 −5.9504p = 3 −5.8117 −5.8900 −5.8825 −5.9107 −5.9157 −5.9702p = 4 −5.8518 −5.8922 −5.8960 –5.9988 −5.9520 −5.9869p = 5 −5.8988 −5.8861 −5.9203 −5.9775 −5.9922 −5.9810
−→ ARMA(4,3)-Modell
213
SIC-Werte fur alternative ARMA(p, q)-Modelle
p / q q = 0 q = 1 q = 2 q = 3 q = 4 q = 5p = 0 −5.5663 −5.5923 −5.8256 −5.8034 −5.7828p = 1 −5.7867 −5.7546 −5.7311 –5.8458 −5.8157 −5.7988p = 2 −5.7709 −5.7996 −5.7785 −5.8168 −5.7860 −5.7870p = 3 −5.7296 −5.7874 −5.7593 −5.7670 −5.7514 −5.7855p = 4 −5.7487 −5.7684 −5.7516 −5.8338 −5.7664 −5.7806p = 5 −5.7745 −5.7411 −5.7546 −5.7910 −5.7850 −5.7531
−→ ARMA(1,3)-Modell
214
Schritt 3: (I)
• Schatzung des AR(4)-Modells
215
Dependent Variable: BIP_WACHSTUM Method: Least Squares Date: 22/05/08 Time: 16:10 Sample (adjusted): 1972Q1 2007Q4 Included observations: 144 after adjustments Convergence achieved after 3 iterations
Variable Coefficient Std. Error t-Statistic Prob.
C 0.021617 0.003267 6.616613 0.0000AR(1) 0.671162 0.082343 8.150788 0.0000AR(2) 0.091627 0.099346 0.922303 0.3580AR(3) 0.146818 0.098621 1.488713 0.1388AR(4) -0.234958 0.080608 -2.914812 0.0041
R-squared 0.549943 Mean dependent var 0.021520Adjusted R-squared 0.536992 S.D. dependent var 0.018744S.E. of regression 0.012754 Akaike info criterion -5.851775Sum squared resid 0.022612 Schwarz criterion -5.748656Log likelihood 426.3278 F-statistic 42.46246Durbin-Watson stat 1.877438 Prob(F-statistic) 0.000000
Inverted AR Roots .71-.26i .71+.26i -.38+.52i -.38-.52i
Schritt 3: (II)
• Hauptergebnisse:
Parameter φ2 und φ3 nicht signifikant
Varianz der Residuen:
σ2 = (0.012754)2 = 0.000163
216
Schritt 3: (III)
• Schatzung des ARMA(1,3)-Modells
217
Dependent Variable: BIP_WACHSTUM Method: Least Squares Date: 21/05/08 Time: 23:14 Sample (adjusted): 1971Q2 2007Q4 Included observations: 147 after adjustments Convergence achieved after 10 iterations Backcast: 1970Q3 1971Q1
Variable Coefficient Std. Error t-Statistic Prob.
C 0.021610 0.002912 7.421498 0.0000AR(1) -0.101970 0.113792 -0.896108 0.3717MA(1) 0.887698 0.084314 10.52848 0.0000MA(2) 0.654474 0.084773 7.720300 0.0000MA(3) 0.656299 0.062123 10.56447 0.0000
R-squared 0.582336 Mean dependent var 0.021547Adjusted R-squared 0.570571 S.D. dependent var 0.018559S.E. of regression 0.012162 Akaike info criterion -5.947550Sum squared resid 0.021004 Schwarz criterion -5.845835Log likelihood 442.1449 F-statistic 49.49651Durbin-Watson stat 2.010427 Prob(F-statistic) 0.000000
Inverted AR Roots -.10 Inverted MA Roots .02+.84i .02-.84i -.94
Schritt 3: (IV)
• Hauptergebnisse:
Parameter φ1 nicht signifikant
Varianz der Residuen:
σ2 = (0.012162)2 = 0.000148
−→ Bessere Anpassung als AR(4)-Modell
218
Schritt 4: (ARMA(1,3)-Modell) (I)
• Parameterwerte plausibel
• Eigenschaften des geschatzten ARMA(1,3)-Modells (I)(vgl. Abbildung 18, Folie 221)
Kehrwert der Nullstelle des AR-Polynoms innerhalb desEinheitskreises
−→ AR-Nullstelle außerhalb des Einheitskreises
−→ Geschatztes ARMA(1,3)-Modell ist stationar
219
Schritt 4: (II)
• Eigenschaften des geschatzten ARMA(1,3)-Modells (II)(vgl. Abbildung 18, Folie 221)
Kehrwert der Nullstellen des MA-Polynoms innerhalb desEinheitskreises
−→ MA-Nullstellen außerhalb des Einheitskreises
−→ Geschatztes ARMA(1,3)-Modell ist invertierbar
220
-1.0
-0.5
0.0
0.5
1.0
-1.0 -0.5 0.0 0.5 1.0
AR-Nullstellen MA-Nullstellen
Kehrwerte der Nullstellen der AR/MA Polynome
Inverse Roots of AR/MA Polynomial(s) Specification: BIP_WACHSTUM C AR(1) MA(1) MA(2) MA(3) Date: 21/05/08 Time: 23:59 Sample: 1970Q1 2007Q4 Included observations: 147
AR Root(s) Modulus Cycle
-0.101970 0.101970
No root lies outside the unit circle. ARMA model is stationary.
MA Root(s) Modulus Cycle
-0.936859 0.936859 0.024581 ± 0.836616i 0.836977 4.076222
No root lies outside the unit circle. ARMA model is invertible.
Schritt 4: (II)
• Residualanalyse (I)
222
-1.0
-0.5
0.0
0.5
1.0
0 5 10 15 20 25 30
h
Geschätzte ACF der Residuen
Schritt 4: (III)
• Residualanalyse (II)
Keine signifikanten Autokorrelationen bis zum Lag h = 30
Ljung-Box-Test auf Autokorrelation in den Residuen:(vgl. Folien 164-165)
Lag Q-Statistik p-Wert10 7.6054 0.26820 15.348 0.49930 21.145 0.734
223