Zmiany strukturalne i/a zjawisko długiej pamięci w szeregach

czasowych

Robert Kozarski SGH

Zjawisko długiej pamięci (long memory) lub zależności długookresowej (long range dependance) oznacza, że funkcja autokorelacyjna szeregu czasowego

wygasa w tempie hiperbolicznym, a nie wykładniczo jak to jest w przypadku procesów mających

reprezentację w postaci procesu ARMA.

Tym samym pojawiające się zaburzenia są długo oddziałują na zachowanie się badanego zjawiska,

lub inaczej obserwacje odległe w czasie są nadal od siebie zależne

(skorelowane).

Zjawisko długiej pamięci zostało zaobserwowane po raz pierwszy przez

hydrologa i konstruktora tam na Nilu Harolda Hursta (Hurst [1951]),

który zauważył, że tradycyjne metody zawodzą w przypadku prognozowania

poziomu Nilu. Wprowadził wykładnik Hursta H (pierwotnie oznaczył to jako k) będący miarą

zmienności poziomu zmienności wody

Własność długiej pamięci można zdefiniować (por. Baillie [1996]):

n

njjn

lim

1) Jeśli proces dyskretny proces ma funkcje autokorelacyjną dla opóźnień j. tx j

,)(lim0

f

2) Funkcja gęstości spektralnej jest nieograniczona dla częstotliwości

,2

n

j

3) Bardziej ogólna definicja (Heyde, Yang [1997]):

22

1

2

1 )(lim

n

n

n xx

xx

.,,2,1 nj

Jedną klase dla procesów długiej pamięci -procesy samopodobne (self similar processes) z paramerem d

wprowadził Madelbrot i Ness (Mandelbrot, Ness [1968]).Są one uogólnieniem

ułamkowego ruchu Browna (fractional brownian motion), gdzie:

)5,0;5,0(d lub )1;0(d

Drugą klasą modeli są modele ARFIMA jako pewna generalizacja modeli ARIMA wprowadzone przez Grangera i Joeux

(Granger, Joeux [1981]).

,)()1)(( ttd LxLL );0(~ 2 IIDt

1 1)(

)()1(

j

kd

jd

LdjL

Wprowadzając pojęcie współczynnika Hursta H i współczynnika integracji ułamkowej d

mamy do czynienia ze zjawiskiem długiej pamięci, gdy:

1lim)1(2 H

j

j cj

Czyli, funkcja autokorelacyjna zbiega wraz ze wzrostem opóźnienia zbiega do funkcji autokorelacyjnej ułamkowego procesu Gaussowskiego (pierwsze przyrosty ułamkowego ruchu Browna).

5,0Hd

1lim)5,0(2 d

j

j cj

Analogicznie używając funkcji gęstości spektralnej możemy stwierdzić, że:

1)(

lim 210 H

c

f

Własności procesu w zależności od parametrów H, d

0<d<0,5 0,5<H<1 Długa pamięć, stacjonarność, persystencja**

-0,5<d<0 0<H<0,5 Krótka pamięć, stacjonarność, antypersystentny

d=0 H=0,5 Niezależność, brak pamięci*, biały szum

0,5<=d<1 . Proces niestacjonarny, I(1), persystentny,

** persistency – trwałość, trwałe utrzymywanie kierunków zmian*-standard short memory

Tak więc wartość współczynnika d lub H może świadczyć o występowaniu lub braku w szeregu czasowym długiej pamięci.

Wśród ekonometryków jest duże zainteresowanie estymacją parametrów d i H (Baillie [1996]) wskazujących na istnienie lub nie zjawiska długiej pamięci w szeregu. Pomija się jednak często dwie ważne kwestie:

1) Testowanie zajścia zmian strukturalnych w szeregach z długą pamięcią (Hidalgo, Robinson [1996] (Lobato, Savin [1997], Engle, Smith [1999], Granger, Hyung [1999], Diebold, Inoue [1999]).

1) Estymacja d lub H bez zwracania uwagi na pojawianie się zmian strukturalnych(Teverovsky, Taqqu [1997], Kramer, Sibbertsen [2000], Wright [1998]).

Zmiany strukturalne vs długa pamięć

1. Zjawisko pozornej długiej pamięci (spurious long memory) procesu może często być generowane przez zachodzące zmiany strukturalne lub trendy występujące w badanych danych

Typowe dla procesów z długa pamięcią hiperboliczne zanikanie funkcji autokorelacyjnej, może być również generowane dla szeregów z krótka pamięcią, w których występują zmiany strukturalne.

2. Własność długiej pamięci może powodować występowanie pozornych zmian strukturalnych (Kramer, Siebbertsen [2000], Siebbertsen [2003]).

Niektóre testy na występowanie zmian strukturalnych, mogą dawać mylne wynikiwskazując na występowanie zmian strukturalnych tam gdzie ich nie ma.

Testy CUSUM na występowanie zmian strukturalnych w szeregach z długą pamięcią

Rozważamy równanie regresji (estymowane MNK):

gdzie:

Weryfikujemy hipotezę alternatywną, że zaszła nieoczekiwana zmiana strukturalna parametru regresji. Statystyka testująca ma postać:

,ttt xy

nt ,,2,1

Test MNK–CUSUM zaproponowany przez Ploberger, Kramer [1992].

)(sup10

nCTS

gdzie

n

ttn n

C

1ˆ

1)(

);0(~ 2 IIDt

)(nCW przypadku, gdy odchylenia resztowe są białym szumem rozkładStatystyki zbiega do standardowego ruchu Browna. Natomiast

)()(

dn Bn

C czyli ułamkowego ruchu Browna z parametrem d.

Test standardowy CUSUM zaproponowany przez Brown, Durbin, Evans [1975].

Wykorzystuje rekursywne reszty z modelu regresji: ,ttt xy Statystyka testowa ma postać:

nkt

xXXxf

f

xy

nW

WS

t

tt

tt

t

t

ttt

n

kttn

nn

,,1

))(1

ˆ

ˆ

1)(

21

)(sup)(

1)1()1(''

)1('

1

10

Podobnie jak w przypadku MNK-CUSUM rozkład statystyki

czyli ułamkowego ruchu Browna.

)()(

dd

n Bn

W

Aby to zbadać wygenerowano proces mający reprezentacje ARFIMA (0,d,0) (algorytm Davies-Harte’a (Davis, Harte [1987]))

dla d = 0; 0,1; 0,2; 0,3; 0,4, czyli w przypadkach kiedy reszty wykazują własność długiej pamięci.

Sibbertsen [2000] udowodnił, że dla dużych prób w przypadku ułamkowego zintegrowania reszt modelu,rozkład statystyk testowych w przypadku braku zmian

strukturalnych zbiega do nieskończoności. Czyli w efekcie odrzucamy hipotezę o braku

zmian strukturalnych w procesie.Tym samym testy nie są odporne na zjawisko długiej pamięci.

Dla testu MNK-CUSUM

Dla testu standardowego CUSUM

Wybrane estymatory parametru d mające znaczenie w wykrywaniu zmian strukturalnych

Metoda wariancyjna

Metoda GPH

Metoda TGPH

Metoda falkowa

O istnieniu zmian strukturalnych może również świadczyć zachowanie się estymatora parametru d.

Metoda wariancyjna

Zaproponowana przez Teverowsky, Taqqu [1997] i Giraitis [2000].

2/

1

)()(

/

1

)()(

1)1(

)(

/

1/

1

/,,2,1

,1

mn

k

m

k

m

k

mn

k

m

k

m

k

km

mktt

m

k

xxmn

V

xmn

x

mnk

xm

x

Estymator d jest uzyskiwany graficzne poprzez wykres ln(V) w zależności od różnych wartości i ln(m). Jeśli szereg wykazuje długą pamięć wykres powinien być linia prostą ze współczynnikiem b = 2d-1

Wyniki estymacji metodą wariancyjną w przypadku zachodzących zmian strukturalnych

Teverovsky i Taqqu [1997] pokazali, że w przypadku pozornej długiej pamięci wykres ln (V) w zależności od ln(m) nie jest linią prostą tylko ma przebieg wykładniczy z ujemnym współczynnikiem kierunkowym. Takie zachowanie może wskazywać na zachodzące zmiany strukturalne, które generują pozorne zjawisko długiej pamięci.

Metoda GPH – log periodogramu

Zaproponowana przez Geweke, Porter-Hudak [1983]

2

1

)2(

2

1)(

n

t

it

tjxjex

nI

Niech

txbędzie periodogramem procesu

Estymator parametru d wyznaczany jest MNK z równania regresji postaci:

,ln)ln(2ln)(ln jjjx dcI

Gdzie: n

jj

2 oznacza j-ta częstotliwość Fouriera,,,2,1 5

4

nj

Jednak GPH jest wrażliwy na zmiany strukturalne występujące w badanym procesie

Metoda tapered GPH – zawężonego periodogramu

Zaproponowany przez Velsaco [1999] oraz Hurvitch,Ray [1995]

21

0

1

2,

2

1)(

n

t

ti

ttn

tt

jxnjexw

wI

Gdzie:

n

tw j

)5,0(2cos1

2

1

Rozważamy periodogram procesu: tt xw

Oznacza tzw. taper-zawężacz, czyli czynnik, który redukuje w pewnym stopniu wpływ niskich i niestacjonarnych częstotliwości, jak również zmian strukturalnych i występujących trendów.

Wykrywanie istnienia zmian strukturalnych z wykorzystaniem Estymatorów GPH i TGPH

Sibbertsen [2002] wykazał, że różnica powstała z porównania wartości estymatorów GPH i TGPH jest wyznacznikiem tegoczy w badanym szeregu występuje długa pamięć lub zmiany strukturalne.

GPH<<TGPHZmiany strukturalne

lub trend

GPH TGPH Długa pamięć

Estymator falkowy (wavelet) (Jensen [1999]), są odporne na zaburzenia ze strony zmian strukturalnych, jednak odporność zależy od wyboru rodzaju falki.

Sibbertsen [2002] i Abry, Vietch [1998], proponują falkę Daubechies rzędu czwartego gdyż estymator d zbudowany na jej podstawie chrakteryzuje największą odpornością na występujące zmiany strukturalne.

Estymatory falkowe w estymacji d

Bootstrapowe wersje testów Bartlett’a i Cramera von Misses’aZarys metody

Rozważamy równanie regresji: ttt xy Interesuje nas, czy parametr regresji pozostaje stały w czasie. Testem, którybędzie weryfikować hipotezę o stałości parametru będzie:

- test Bartlett’a (test supremum);- Cramera von Misses’a (test odległości).

Powyższe dwa testy maja zastosowanie w przypadku szeregów z krótką pamięcią. Rozszerzenie ich na modele z długą pamięcią powoduje, że ich postać zależy odnieznanych wartości estymatorów, których rozkład jest określony w sposób przybliżony. Wykorzystując metody boostrapowe możemy wyznaczyć rozkład empiryczny i na jego podstawie zweryfikować hipotezę o zmianie wartości parametru modelu regresji.

Hidalgo i Lazarova [2003] proponują, aby równanie regresji rozszerzyć do postaci:

wpp

ntnxz

zxy

t

t

tttt

0

1

gdzie )0( nn okres zajścia (ewentualnej) zmiany strukturalnej.

Wyznaczamy estymatory MNK parametrów regresji . i Przekształcając równanie regresji na dziedzinę częstościową otrzymujemy:

1,,2,1

)()()()(

nj

wwww jujzjxjy

gdzie:

n

t

it

td edn

w12

1)(

Estymatory w dziedzinie częstościowej wyznacza się z:

1

1

1

1

1

1

1

1

1

1

1

1

1

)(

)(

)()(

)()(

)(ˆ)(ˆ

n

jjzy

n

jjxy

n

jjzz

n

jjzx

n

jjxz

n

jjxx

I

I

II

II

Dyskretna transformata Fouriera

Dziedzina częstościowa jest stosowana, gdyż bootstrapowanie nie wymaga wyznaczania różnych parametrów (tuning parameters) np. długości okna

w metodzie blokowej, należącej do metod bootstrapowych dla szeregów czasowych

W wyniku dalszych analiz okazuje się, że rozkład statystyki:̂ zależy od

nieznanych parametrów . i Których zgodne estymatory mają postać:

n

ttt

n

jjuujxx

xxn

IIn

1

'

1

1ˆˆ

2

1ˆ

)()(4ˆ

)1(

)1()(~~

ˆ)(ˆ

)(

BB

W szczególnych przypadkach funkcjonały ruchu Browna są znane i kwantyle Rozkładu można łatwo wyznaczyć. W innych przypadkach należy te funkcjonały wyznaczać symulacyjnie. Alternatywną metodą obliczenia wartości krytycznych Rozkładu statystyki jest metoda bootstrap. Zasadniczym celem tej metody jest zastąpienie nieznanego rozkładu rozkładem empirycznym wyznaczonym na podstawie badanej próby (szeregu czasowego).

1. Obliczamy wartości estymatorów parametrów modelu regresji

tttt zxy 2. Obliczamy wartość dyskretnej transformaty Fouriera:

oraz wyznaczamy reszty teoretyczne tttt zxyu ˆˆˆ

n

t

it

tjujeu

nw

1ˆ ˆ

2

1)(

3. Wyznaczamy jej postać znormalizowaną

1,,2,1,

)(1

1)(

11

)(1

1)(

)(1

1

21

1ˆˆ

1

1ˆˆ

ˆ

nj

wn

wn

wn

ww

n

j

n

jjuju

n

jjuju

ju

i spośród otrzymanych elementów dla kolejnych j, losujemy niezależnie n-1 elementów .

4. Generujemy próbę boostrapową składającą się z następujących elementów

*ˆ0

* )()(ˆ)( jjujxjy www

*

1

*

2

*

1 ,,, n

5. Wyznaczamy wartości bootstrapowe szukanych estymatorów parametrów

6. Wyznaczamy poziomy bootstrapowe statystyk testujących

,ˆsup *

)1(

*

n

jnKS

njn

n

nj jnj

n

n

jn

nCvM

)1(2

**

)()(ˆ1

7. Porównujemy poziomy statystyk testowych otrzymanych z metody Bootstrapowej z poziomem nominalnym dla określonego α (z dystrybuanty rozkładu normalnego). Wyznaczamy frakcję pprzypadków kiedy hipoteza o braku zmian strukturalnych została odrzucona.

1

1

1

1

1

1

1

1

1

1

1

1

1

*

*

)(

)(

)()(

)()(

)(ˆ)(ˆ

*

*

n

jjzy

n

jjxy

n

jjzz

n

jjzx

n

jjxz

n

jjxx

I

I

II

II

KS KS CvM CvMdx du 5% 10% 5% 10%n=320 0 4,7 9,7 6,6 13,20 0,2 5,8 11,3 7 12,30,2 0 4,9 9,5 6,3 11,90,2 0,2 6,3 11,6 6,8 12,7n=640 0 4,9 11,3 6,3 12,60 0,2 6,8 13 6,5 12,70,2 0 5,5 10,9 6 12,30,2 0,2 6,5 11,9 6,6 12,6n=1280 0 4,7 10,8 5 10,50 0,2 5,8 11,9 5,7 10,20,2 0 4,8 10,4 5,4 11,10,2 0,2 5,7 10,7 5,5 10,9n=2560 0 5,3 10,4 5,1 10,60 0,2 5,8 10,7 5 10,80,2 0 5,1 10,2 4,9 100,2 0,2 5,4 10,7 4,3 10,4

Wyniki testów bootstrapowych

Hipoteza o braku zmian strukturalnych była w większości

przypadków przyjmowana tak więc rozkład empiryczny wyznaczony zapomocą procedury bootstrapowej

dobrze „imituje” rozkład asymptotyczny.