procesos estacionarios univariados1 1. … distribuyen (la letra "d") independiente...

1

Notas de Clase 2012-2 Prof. Erick Lahura

PROCESOS ESTACIONARIOS UNIVARIADOS1 1. Series de Tiempo

Un proceso estocástico es una secuencia de variables aleatorias , donde la variable de indexación puede ser

discreta o continua. Por ejemplo, puede denotar el tiempo (discreto).

Una serie de tiempo es un proceso estocástico indexado por el tiempo:

Ejemplo. Sea la variable aleatoria tal que y . Una muestra aleatoria de tamaño obtenida de es la secuencia

tal que cada término tiene la misma distribución, pero son independientes entre sí.

En este caso, la muestra aleatoria se denota como y se

lee "los términos se distribuyen (la letra "d") independiente (primera "i") e idénticamente (segunda "i") con media cero y varianza .

Considere una muestra de tamaño proveniente de una variable aleatoria , que usualmente se denota como .

La muestra observada representa números, una posible

“realización” del proceso estocástico subyacente que generó los datos: Si se observara el proceso por un número infinito de períodos, la

secuencia sigue siendo una sola realización.

En el mundo real, solo observamos una posible realización del proceso

estocástico.

2. Momentos de una series de tiempo

Para ilustrar la el concepto de una serie de tiempo, considere I computadoras que pueden generar una muestras de tamaño que intentan replicar I posibles realizaciones provenientes de un proceso estocástico (el cual puede tener infinitas realizaciones).

1 Estas notas de clase se basan en diferentes fuentes, especialmente Hamilton (1994) y Enders (2010).

2


La Figura 1 muestra el resultado de que cada una de las computadoras generen una muestra de tamaño , donde es muy grande:

Figura 1: Proceso Estocástico Serie de Tiempo

)(

2

)(

1

)(

)(

2

)(

1

)(

0

)(

1

)2(

2

)2(

1

)2(

)2(

2

)2(

1

)2(

0

)2(

1

)3(

2

)3(

1

)3(

)3(

2

)3(

1

)3(

0

)3(

1

)2(

2

)2(

1

)2(

)2(

2

)2(

1

)2(

0

)2(

1

)1(

2

)1(

1

)1(

)1(

2

)1(

1

)1(

0

)1(

1

I

t

I

t

I

t

I

I

I

I

I

t

I

t

I

t

I

I

I

I

t

t

t

t

t

t

t

t

t

y

y

y

y

y

y

y

y

y

y

y

y

y

y

y

y

y

y

y

y

y

y

y

y

y

y

y

y

y

y

y

y

y

y

y

La observación asociada al período de cada secuencia puede

considerarse como parte de una muestra de realizaciones de la variable aleatoria .

Se asume que la variable aleatoria , que es uno de los componentes de

la secuencia de variables aleatorias , tiene una función de densidad incondicional, ; por ejemplo, una función de

densidad Normal o Gausiana, dada por la fórmula

.

2.1. Valor esperado de

El valor esperado de la observación t de una serie de tiempo hace referencia

a la media de la distribución,

.

Bajo el supuesto de que las observaciones son "independientes e idénticamente distribuidas", la “Ley de los Grandes Números” establece que la probabilidad límite del promedio muestral en la observación (ensemble

average), que se obtiene al promediar los valores de cada realización

disponible, es igual al valor esperado de :

3


En algunas ocasiones se denomina "media incondicional de y se denota como .

2.2. Varianza y Autocovarianzas de

La varianza de , denotada por , se define como:

Si se define el vector columna

Cada realización i genera un valor particular del vector.

Nuestro interés es calcular la distribución de probabilidades de

a

través de las realizaciones . La distribución se llama distribución conjunta de y a

partir de ella se calculan las autocovarianzas.

La autocovarianza de orden o autocovarianza, se define

como:

Se llama autocovarianza porque es la covarianza de consigo misma, pero evaluada en períodos de tiempo diferente.

La autocovarianza puede verse como el elemento de la matriz

de varianzas y covarianzas del vector . Por ello, las autocovarianzas representan los segundos momentos de .

Nuevamente, bajo el supuesto de que las observaciones son " ", la autocovarianza puede verse como la probabilidad límite de un promedio

“ensemble”:

4


3. Procesos Univariados de Series de Tiempo

3.1. Ruido Blanco (White Noise)

Un proceso ruido blanco es una secuencia de variables aleatorias

cuyos elementos tienen media cero, varianza y no están correlacionados entre sí:

Si se asume que y son independientes para todo , es decir,

, entonces el proceso se denomina ruido blanco independiente.

Si se asume además que cada término tiene distribución normal o Gausiana, entonces el proceso de denomina ruido blanco Gausiano, y se escribe

.

Si , o para todo , entonces se dice que es un proceso ruido blanco.

3.2. Procesos Autoregresivos

Sea un proceso ruido blanco. Se dice que es un proceso autoregresivo de orden “p” o si está descrito por:

En particular: es un proceso .

es un proceso .

5


3.3. Procesos de Promedios (Medias) Móviles

Sea un proceso ruido blanco. Se dice que es un proceso de promedios (medias) móviles de orden “q” o si está descrito por:


es un proceso .

3.4. Procesos Mixtos Autoregresivos y de Promedios (Medias) Móviles

Sea un proceso ruido blanco. Se dice que es un proceso mixto autoregresivo de orden “p” y de promedios (medias) móviles de orden “q” o si está descrito por:


es un proceso .

es un proceso .

6


4. Estacionariedad y Ergodicidad 4.1. Estacionariedad

El proceso de series de tiempo es estacionario en covarianzas o débilmente estacionario cuando la media y las autocovarianzas existen (i.e. son finitas) y no dependen de la fecha :

Para cualquier proceso estacionario en covarianzas,

Ejemplos:

es un proceso estacionario en covarianzas por definición.

Si es la suma de una constante y un proceso ruido blanco

Gausiano, , , entonces es un proceso estacionario en

covarianzas: , , .

es la suma de una tendencia temporal y un ruido blanco Gausiano: . Entonces: y por lo tanto no es un proceso estacionario en covarianzas.

El proceso tY es estrictamente estacionario (ES) o fuertemente estacionario

(FE) cuando para cualquier valor de la distribución conjunta de depende solo de los intervalos que separan las

fechas y no de la fecha . Por ejemplo, la distribución de es igual a la

distribución de , para todo . La estacionariedad estricta o fuerte requiere que la distribución conjunta

de probabilidades sea la misma sin importar el punto inicial o final de la serie de tiempo; es decir, el proceso generador de datos (PGD) es constante en el tiempo.

Un proceso se denomina Gausiano si la densidad conjunta es Gausiana para cualquier .

7


4.2. Nota adicional: relación entre estacionariedad débil (ED) y fuerte (EF).

ED no siempre implica EF: ED no implica EF: la mayoría de distribuciones están caracterizadas por

más momentos además de la media y covarianzas, los cuales pueden depender del tiempo.

ED sí implica EF: cuando el proceso es Gausiano o Normal, pues sólo dependen de dos momentos, la media y varianza.

EF no siempre implica ED: EF no implica ED: un proceso Cauchy no tiene momentos. Un proceso

estocástico EF puede obtenerse de una distribución Cauchy i.i.d.

EF sí implica ED: es el caso más común, asumiendo que todos los momentos - incluidos la media y covarianzas - existen.

La palabra "estacionariedad" hará referencia a estacionariedad débil.

La estacionariedad es importante para la estimación de parámetros: Sugiere que algo es fijo a través de la secuencia de variables aleatorias.

Si pudiéramos observar el proceso por un período de tiempo

“suficientemente largo”, aprenderíamos sobre el PGD subyacente. 4.3. Ergodicidad

Un proceso de series de tiempo es ergódico si para cualquier par de

funciones acotadas :

La intuición de la ergodicidad es que si los eventos están "suficientemente separados" en el tiempo, entonces son asintóticamente independientes a pesar de que provienen de observaciones dependientes.

Un proceso de series de tiempo es estacionario en covarianzas y ergódico si los momentos muestrales "temporales" convergen en probabilidad hacia los

8


momentos "emsemble" (que no cambian con el tiempo por el supuesto de estacionariedad). La ergodicidad de un proceso estacionario implica que la Ley de los

Grandes Números también se puede aplicar a las series de tiempo.

En particular, un proceso estacionario en covarianzas es ergódico para la media si el promedio muestral "temporal" converge en probabilidad al promedio “ensemble” o )( tYE cuando T :

Una condición suficiente para que se cumpla la ergodicidad para la media

es que la autocovarianza j se acerque a cero suficientemente rápido a

medida que j aumenta. Formalmente:

Un proceso estacionario en covarianzas es ergódico para los segundos momentos si para todo j :

Cuando es un proceso Gausiano y estacionario,

es

una condición suficiente para asegurar la ergodicidad para todos los momentos.

La estacionariedad es importante para la estimación de parámetros. Sin embargo, no es suficiente y requiere de la condición de ergodicidad: Si el proceso generador de datos (PGD) subyacente es estacionario y

pudiéramos observar el proceso por un período de tiempo “suficientemente largo”, entonces podríamos aprender sobre el PGD.

Sin embargo, para asegurar que este período “suficientemente largo” es útil, necesitamos la condición de ergodicidad.

9


Ejemplo: Ruido Blanco

Un proceso ruido blanco es una secuencia cuyos elementos tienen

media cero, varianza y no están correlacionados entre sí.

Un ruido blanco es estacionario y ergódico. Ejemplo: Proceso Estacionario y No Ergódico

Sea , donde:

La media de la realización

es generada a partir

de una distribución normal, .

es un proceso ruido blanco Gausiano.

Este proceso es estacionario:

Sin embargo, no es ergódico para la media:

01

)(11 )(

1

)(

1

)(

1

)(

iT

t

t

iT

t

t

iT

t

i

tTT

YT

10


5. Coeficientes de autocorrelación y correlación parcial.

5.1. Coeficientes de autocorrelación poblacional

El coeficiente de autocorrelación de un proceso estacionario en covarianzas, se define como:

La función de autocorrelación (ACF) describe la correlación entre e

como función de .

El gráfico de la función de autocorrelación se denomina “correlograma”.

Observaciones: para todo .2

Para cualquier proceso estacionario en covarianzas, .

Para un proceso ruido blanco, para .

5.2. Estimadores de los coeficientes de autocorrelación

El estimador de un coeficiente de autocorrelación está dado por la correlación muestral correspondiente:

Si se asume que es estacionaria y tiene errores normalmente distribuidos, y que los datos fueron generados por un proceso Gausiano , es decir para , entonces la varianza de puede

aproximarse usando:

2 Este resultado se demuestra con la desigualdad Cauchy-Schwarz.

11


De esta forma, en particular, si se sospecha que los datos fueron generados por un ruido blanco Gausiano, entonces para cualquier el estimado

debe pertenecer al intervalo

aproximadamente 95% de

veces, pues .

En general, si el proceso que generó los datos originales de tiene autocorrelación, entonces para ; por ello, los patrones

de podrían representar errores de muestreo y no patrones del verdadero

.

5.3. Coeficientes de autocorrelación parcial poblacionales

El coeficiente de correlación parcial mide la correlación entre e luego de “limpiar” el efecto de la posible relación de cada una de estas

variables con rezagos intermedios .

El coeficiente de autocorrelación parcial poblacional,

, se

define como el último coeficiente en una proyección lineal de sobre sus valores más recientes:

El primer coeficiente de autocorrelación parcial poblacional,

, se define como el último coeficiente en una proyección lineal de sobre su valor más reciente, ,

El segundo coeficiente de autocorrelación parcial poblacional,

, se define como el último coeficiente en una proyección lineal de sobre sus valores más recientes,

La función de autocorrelación parcial (PACF) describe a estos coeficientes como función de .

Sea el componente de no correlacionado con las variables

, y sea el componente de no correlacionado

12


con las variables . Entonces, el coeficiente de

autocorrelación parcial entre e también se puede definir como:

5.4. Estimadores de los coeficientes de autocorrelación parcial

El estimador del “j-ésimo” coeficiente de autocorrelación parcial está dado

por el estimador MCO,

,de la regresión:

Si se asume que es estacionaria y tiene errores normalmente distribuidos, y que los datos fueron generados por un proceso , es decir

para todo , entonces la varianza de

alrededor del

verdadero valor (cero) puede ser aproximada con:

Si los datos fueran generados por un proceso , entonces

y

serían asintóticamente independientes para .

En general, se recomienda analizar hasta un máximo de coeficientes de autocorrelación y correlación parcial.

5.5. Aplicación

Dadas las características de un proceso ruido blanco, el correlograma (ACF) y la función de los coeficientes de correlación parcial (PACF) poblacionales son tales que todos sus coeficientes son cero.

Si se estiman las funciones ACF y PACF para un proceso ruido blanco, sus gráficos serían muy similares a los siguientes:

13


Los valores del estadístico Q y la probabilidad presentados en las dos últimas columnas corresponden a una prueba de hipótesis que evalúa la existencia de los coeficientes de autocorrelación.

En particular, el estadístico Q asociado al rezago "j" corresponde a la siguiente prueba de hipótesis: Hipótesis nula: los coeficientes de autocorrelación son

cero, es decir, no existe autocorrelación hasta el orden "j".

Hipótesis alternativa: al menos uno de los coeficientes de autocorrelación es diferente de cero.

Estadístico de prueba: Estadístico Ljung-Box o estadístico Q,

Regla de Rechazo: Se rechaza la hipótesis nula al 5% de significancia

cuando o cuando " " es menor a 0.05.

Los resultados muestran que no es posible rechazar la hipótesis nula en ningún caso; es decir, todos los coeficientes de autocorrelación son cero.

14


6. Procesos de Medias Móviles 6.1. Proceso

Sea un proceso ruido blanco. Un proceso de media móvil de primer orden o está descrito por:

La media, autocovarianzas, coeficientes de autocorrelación simple y coeficientes de autocorrelación parcial del proceso son:

Dadas la media y autocovarianzas se tiene que un proceso es estacionario cuando .

Además, el proceso MA(1) es ergódico para la media pues satisface la condición suficiente de ergodicidad para la media:

Si es un proceso ruido blanco Gausiano, entonces el proceso es ergódico para todos los momentos.

Ejemplos de función de autocorrelación poblacional.

15


Ejemplos de función de autocorrelación simple y parcial estimadas.

16


Notas sobre el proceso MA(1)

El valor máximo del coeficiente de autocorrelación para un proceso es y el mínimo es , y se dan cuando ó , respectivamente, como se ilustra en el siguiente gráfico:

Siempre hay dos valores de theta que producen el mismo coeficiente de

autocorrelación. Si , entonces:

Ejemplo: los procesos e tienen la

misma función de autocorrelación:

-.6

-.4

-.2

.0

.2

.4

.6

-5 -4 -3 -2 -1 0 1 2 3 4 5

THETA

RH

O

Correlograma de un proceso MA(1)

17


6.2. Proceso

Sea un proceso ruido blanco. Un proceso de promedios (medias) móviles de orden o está definido como:

y son números reales finitos.

La media, autocovarianzas, coeficientes de autocorrelación simple y coeficientes de autocorrelación parcial del proceso son:

Dadas la media y autocovarianzas se tiene que un proceso es estacionario para valores finitos de .

Además, un proceso satisface la condición suficiente de ergodicidad para la media:


Ejemplo. Para un proceso MA(2), la media, autocovariancias y coeficientes de autocorrelación simple y parcial son:

18


Si , entonces el correlograma poblacional consta de

dos coeficientes diferentes de cero (el de orden 1 y el de orden 2).

Las funciones de autocorrelación simple y parcial estimadas serían:

19


6.3. Proceso

Sea un proceso ruido blanco. Un proceso de medias móviles de orden infinito o puede ser escrito como: ó, alternativamente,

La media, autocovarianzas y coeficientes de autocorrelación simple y parcial de una proceso son:

Puede demostrarse que el proceso es estacionario si los coeficientes satisfacen la condición de aditividad cuadrática (square-summability):

20


Otra condición usualmente conveniente y ligeramente más fuerte se denomina aditividad absoluta (absolute summability):

La aditividad absoluta implica aditividad cuadrática, pero no viceversa.

Bajo el supuesto de que los coeficientes son “absolutamente sumables”, se demuestra que

con lo cual un proceso es :

Estacionario en covarianzas.

Ergódico para la media.


Para un proceso los coeficientes de autocorrelación son infinitos.

21


7. Procesos Autorregresivos 7.1. Proceso

Sea un proceso ruido blanco. Un proceso autorregresivo de primer orden o está descrito por:

El proceso AR(1) puede verse como una ecuación en diferencias de orden 1:

donde .

Si la raíz de la EeD(1) asociada es estable, es decir , entonces la media, autocovarianzas y coeficientes de autocorrelación simple y parcial del proceso AR(1) son:

A partir de los momentos, se deduce que el proceso AR(1) es estacionario en covarianzas. Además, se puede demostrar que es ergódico para la media.

La estacionariedad en covarianzas y la ergodicidad para la media del proceso AR(1) resulta del hecho que este proceso es equivalente a un proceso sólo cuando la raíz de la EeD(1) asociada es estable, es decir . El proceso AR(1) puede escribirse en términos del operador de rezagos:

22


La ecuación en diferencia asociada al proceso AR(1) tiene solución

estable si: la raíz del polinomio característico está fuera del círculo

unitario, es decir, .

equivalentemente, si la raíz de está dentro del círculo unitario, es decir, .

Si la EeD(1) tiene solución estable, es decir , entonces

existe:

y es posible calcular:

Si se define y entonces la condición

asegura que el proceso es equivalente a un proceso :

Además,

23


Entonces, la condición asegura que la representación

existe y que es estacionaria y ergódica para la media.

Por lo tanto, esta misma condición asegura que el proceso es estacionario y ergódico para la media.

En otras palabras, cuando , existe un proceso estacionario en

covarianzas y ergódico que satisface la EeD . Este proceso estacionario es la solución estable de .

Del análisis de ecuaciones en diferencias se sabe que si los efectos de sobre no desaparecen sino que se acumulan a lo largo del tiempo.

Por ello, no es sorprendente que cuando no exista un proceso

estacionario en covarianzas para con varianza finita que satisfaga .

La función de autocorrelación es exactamente igual al multipicador

dinámico o impulso respuesta de una , lo cual implica que: El efecto de un incremento unitario de sobre es igual a

la correlación entre e .

El efecto de un incremento unitario de sobre es igual a la

correlación entre e .

Ejemplo: Proceso Ruido Blanco

24


Ejemplo: Procesos Autoregresivos de Orden 1

Ejemplos de funciones de autocorrelación simple y parcial estimadas

25


Cálculo de los momentos de un proceso

Pueden calcularse a partir de dos enfoques alternativos: Usando la representación del proceso :

Asumiendo que el proceso es estacionario en covarianzas y

usando .

Enfoque 2:

Media de :

Esta expresión sólo es razonable cuando .

Esto se puede demostrar intuitivamente, por ejemplo, si se asume

y : En este caso, la ecuación establece que en

promedio será positivo. Sin embargo, la fórmula de la media indica que el promedio es

negativo, , lo cual sería una contradicción.

Varianza de :

de donde:

26


Nótese que el término es cero porque no depende de :

.

Autocovarianzas de :

La ecuación toma la forma:

La solución general es

.

En este caso, donde para todo y el punto inicial es , la

solución es o .

Este resultado evidencia por qué la función impulso respuesta y la función de autocorrelación coinciden: ambos representan la solución de una con parámetro , valor inicial y sin choques,

es la solución de donde

27


7.2. Proceso

Sea un proceso ruido blanco. Un proceso autorregresivo de segundo orden o está descrito por:

El proceso AR(2) puede verse como una ecuación en diferencias de orden 2:

donde .

Si las raíces de la EeD(2) asociada son estables, entonces la media, autocovarianzas y coeficientes de autocorrelación simple y parcial del proceso AR(2) son:

de donde y , y los coeficientes de correlación parcial son:

28


A partir de los momentos, se deduce que el proceso AR(2) es estacionario en covarianzas. Además, se puede demostrar que es ergódico para la media.

La estacionariedad en covarianzas y la ergodicidad para la media del proceso AR(2) resulta del hecho que este proceso es equivalente a un proceso sólo cuando las raíces de la EeD(2) asociada son estables. El proceso AR(2) puede escribirse en términos del operador de rezagos:

La ecuación en diferencia asociada al proceso AR(2) tiene solución

estable si las raíces del polinomio característico

están fuera del círculo unitario o si las raíces de están dentro del círculo unitario.

Si la EeD(2) tiene solución estable, entonces

existe:

por lo cual el proceso AR(2) es equivalente a un proceso :

y, por lo tanto, el proceso es estacionario en covarianzas y ergódico para la media.

El valor de cada coeficiente está dado por:

. Además, cuando las

raíces de son diferentes:

donde y

.

29


Cálculo de los momentos de un proceso Media

Bajo el enfoque 1, el proceso AR(2) puede re-escribirse usando el operador :

Dado que es un proceso absolutamente aditivo:

Bajo el enfoque 2, si se asume que el proceso es , se obtiene el mismo resultado.

Varianzas y Autocovarianzas

Usando la expresión de la media :

Entonces, para :

30


Las autocovarianzas están descritas por la misma que el proceso . Por ello, se comportan como las soluciones de una :

Un proceso es cuando los coeficientes están dentro del “triángulo

referencial”.

La función de autocovarianzas es la suma de dos funciones de que decaen exponencialmente si está dentro del triángulo y encima de la parábola.

La función de autocovarianzas es una función seno-coseno de y decreciente

si está dentro del triángulo y debajo de la parábola.

Las autocorrelaciones se obtienen dividiendo las autocovarianzas por :

de donde y .

La varianza puede obtenerse de la siguiente forma:

Reemplazando y :

31


Ejemplo: correlograma simple y parcial estimado para un proceso AR(2)

32


7.3. Proceso

Sea un proceso ruido blanco. Un proceso autoregresivo de orden o está descrito por:

El proceso AR(p) puede verse como una ecuación en diferencias de orden p:

donde .

Si las raíces de la EeD(p) asociada son estables, entonces la media, autocovarianzas y coeficientes de autocorrelación simple y parcial del proceso AR(2) son:

A partir de los momentos, se deduce que el proceso AR(p) es estacionario en covarianzas. Además, se puede demostrar que es ergódico para la media.

La estacionariedad en covarianzas y la ergodicidad para la media del proceso AR(p) resulta del hecho que este proceso es equivalente a un proceso cuando las raíces de la EeD(p) asociada son estables.

El proceso AR(p) puede escribirse en términos del operador de rezagos:

La ecuación en diferencia asociada al proceso AR(p) tiene solución


33


están fuera del círculo unitario o si las raíces de

están dentro del círculo unitario.

Si la EeD(p) tiene solución estable, entonces

1 existe:

por lo cual el proceso AR(p) es equivalente a un proceso :

y, por lo tanto, el proceso es estacionario en covarianzas y ergódico para la media.

Cálculo de los momentos de un proceso

La media puede encontrarse asumiendo estacionariedad y tomando valor esperado a ambos lados del proceso :

La varianza y autocovarianzas se pueden obtener multiplicando por

la expresión:

y tomando expectativas:

34


Usando , este sistema de ecuaciones puede resolverse para

obteniendo como funciones de .

Puede demostrarse que el vector dado por está

dado por los primeros elementos de la primera columna de la matriz

de orden .

Dividiendo la función de autocovarianzas por se obtienen las ecuaciones Yule-Waker:

Así, las autocovarianzas y autocorrelaciones están descritas por la misma del proceso . Si las raíces son distintas, sus respectivas soluciones toman la forma:

donde los valores propios son soluciones de:

35


8. Procesos ARMA(p,q)

Sea un proceso ruido blanco. Un proceso está descrito por:

El proceso ARMA(p,q) puede verse como una ecuación en diferencias de orden p:

donde .

La media, autocovarianzas y coeficientes de correlación simple y parcial de proceso ARMA(p,q) son:

Para las autocovarianzas son más complicadas que las correspondientes a un proceso .

Si las raíces de la EeD(p) asociada son estables, entonces la media y autocovarianzas del proceso ARMA(p,q) son tales que el proceso es estacionario en covarianzas y ergódico para la media.

La estacionariedad en covarianzas y la ergodicidad para la media del proceso ARMA(p,q) resulta del hecho que este proceso es equivalente a un proceso cuando las raíces de la EeD(p) asociada son estables.

El proceso ARMA(p,q) puede escribirse en términos del operador de

rezagos:

36


La ecuación en diferencia asociada al proceso ARMA(p,q) tiene solución


=0 están fuera del círculo unitario o si las raíces de

están dentro del círculo

unitario.

Si la EeD(p) tiene solución estable, entonces

1 existe, por lo cual el proceso AR(p) es equivalente a un proceso :

Así, dado que el proceso es equivalente a un proceso , la estacionariedad de un proceso está determinado completamente por los parámetros de la parte autoregresiva

y no por los parámetros de la parte de medias móviles,

.

Autocovarianzas y Autocorrelaciones

La varianza y autocovarianzas se pueden obtener multiplicando por

y tomando expectativas a la expresión:

Luego de rezagos, la función de autocovarianzas (y la de autocorrelación) está descrita por la siguiente :

37


Para las autocovarianzas son más complicadas que las correspondientes a un proceso .

Para y raíces distintas, las autocovarianzas están dadas por:

donde las condiciones iniciales son diferentes a las del proceso

, y .

Ejemplo: correlograma simple y parcial estimado para un proceso ARMA(1,1)

38


9. Parametrización Redundante en modelos ARMA

Si , entonces las siguientes son dos representaciones equivalentes de un proceso :

Para verificar esto,

Esto sugiere que si tenemos un modelo tal que (el negativo de la raíz del término MA) es muy parecido a (la raíz del término AR), entonces los datos podrían ser modelados de forma más parsimoniosa como un proceso ruido blanco.

Esta idea se generaliza a procesos de mayor orden y con raíces similares:

39


10. La función generadora de autocovarianzas (AGF)

Sea

la secuencia de autocovarianzas de un proceso estacionario en

covarianzas . Si

es absolutamente sumable, es posible resumirla

en una función denominada función generadora de autocovarianzas o AGF:

El escalar es un número complejo que está sobre el círculo unitario:

Donde y es el ángulo radián que hace con el eje real. SI la

función generadora de autocovarianzas se evalúa en y se divide por , la función resultante se denomina espectro poblacional (population spectrum) de :

Para un proceso con autocovarianzas absolutamente sumables, la función existe y es posible usarla para calcular todas las autocovarianzas.

Si dos procesos diferentes comparten la misma función generadora de autocovarianzas, entonces tienen la misma secuencia de autocovarianzas.

9.1. AGF para procesos MA

Para el caso de un proceso MA(1),

la AGF puede obtenerse reemplazando en su definición las autocovarianzas del proceso:

de donde se obtiene:

40


La AGF de un proceso MA(2) es:

La AGF de un proceso MA(q) es:

Para el caso de un proceso MA( ), definido como:

donde

, y , la AGF es:

9.2. AGF para procesos AR

Un proceso estacionario AR(1), , puede escribirse como un MA( ):

Entonces, la AGF de un proceso AR(1) es:

La AGF de un proceso AR(p) es:

9.2. AGF para procesos ARMA

La AGF de un proceso ARMA(p,q) es:

41


11. Invertibilidad

Algunos resultados del análisis previo: Un polinomio en el operador de rezagos tiene inversa si

existe.

Un proceso AR(p) es invertible si las raíces características asociadas a

son menores a uno en valor absoluto.

Se dice que un proceso MA(q) es invertible si las raíces características

asociadas al polinomio

son menores a

uno en valor absoluto.

En particular, se dice que un proceso MA(1):

es invertible si , lo cual implica que un proceso MA(1) puede ser escrito como un proceso :

Sin embargo, dado un proceso MA(q) invertible es posible encontrar un proceso MA(q) no invertible, i.e. con , cuyos primer y segundo momentos sean iguales.

11.1. Procesos MA(1) diferentes y momentos iguales

Asuma que . Entonces, el siguiente proceso MA(1) es invertible:

42


Asuma que y Entonces, el siguiente proceso MA(1):

donde

, es un proceso no es invertible

Sin embargo, es posible demostrar que estos dos procesos son tales que, el

primer y segundo momento de son iguales a los de :

La AGF del proceso es:

Reemplazando y :

11.2. Doble representación de un procesos MA(1)

Una serie descrita por un proceso MA(1) puede ser representada tanto por un proceso MA(1) invertible como por uno “no invertible”.

En particular, asuma que está descrita por el siguiente proceso MA(1) no invertible:

donde .

también puede ser descrita por un MA(1) invertible:

donde y :

43


El error asociado a la representación invertible se denomina error

fundamental, y es un ruido blanco con varianza .3

De la misma manera, si el proceso original que describe a es invertible:

donde , entonces también puede ser descrita por un MA(1) no-invertible:

donde y :

Si entonces no existe. En este caso a también se le denomina innovación fundamental de tY .

En la práctica se priorizan procesos invertibles porque son consistentes con la metodología Box-Jenkins basada en el uso de ACF y PACF: Un proceso "no invertible" no tiene una representación autoregresiva

finita o convergente.

ACF y PACF requieren que el proceso tenga una representación AR finita o convergente.

Ejemplo: Considere la siguiente representación invertible para con

:

En términos de sus raíces: Su representación invertible es: , donde

3 Ver Hamilton(1994), p.66.

44


12. Metodología Box-Jenkins

El enfoque Box-Jenkins para la modelación de series de tiempo fue desarrollada por Box y Jenkins (1970) en el contexto de predicción.

En general, los modelos complicados pueden ajustar bien los datos

históricos usados en la muestra de estimación. Sin embargo, usualmente su desempeño es muy pobre cuando se usan para predecir fuera de la muestra.

Nelson (1972) encuentra que modelos ARMA(p,q) con valores pequeños

para y , usualmente producen mejores predicciones que modelos grandes.

El enfoque BJ se basa en las siguientes etapas:

(1) TRANSFORMACIÓN. Transformar los datos, de ser necesario, para que el supuesto de

estacionariedad en covarianzas sea razonable, y de esta forma poder estimar un modelo .

El gráfico de la serie y la función de autocorrelación (ACF) puede ayudar a identificar si la serie posiblemente presenta componentes no estacionarios, como observaciones atípicas (outliers).

(2) IDENTIFICACIÓN. Hacer un "guess" inicial de valores pequeños para " " y " ". Para esto, se puede utilizar la función de autocorrelación (ACF) y la

función de autocorrelación parcial (PACF). Box and Jenkins denominan a este paso "identificación".

(3) ESTIMACIÓN. Estimar los parámetros de la parte autorregresiva, , y de la parte

de medias móviles, . Para ello, utilizar Máxima Verosimilitud (o MCO).

(4) DIAGNÓSTICO. Analizar cada modelo estimado utilizando estadísticos de bondad de

ajuste/selección de modelos ( , AIC, SIC); pruebas sobre los errores ("outliers", heteroscedasticidad, autocorrelación, normalidad); y pruebas de capacidad predictiva (Error Cuadrático Medio, Coeficiente de desigualdad de Theil, Prueba Diebold y Mariano).

45


Aplicación 1: Modelos ARMA con datos simulados wfcreate(wf="ARIMA",page="original") m 1990m1 2010m12 smpl @all series wn=nrnd series y1=0 series y2=0 series x1=0 series x2=0 series y1x1=0 series y2x1=0 series y1x2=0 series y2x2=0 smpl 1991m1 2010m12 series y1=0.5*y1(-1)+0.5*nrnd series y2=0.7*y2(-1)-0.5*y2(-2)+0.5*nrnd series x1=0.9*wn(-1)+wn series x2=0.5*wn(-1)+0.4*wn(-2)+wn series y1x1=0.3*y1x1(-1)+0.8*wn(-1)+wn series y2x1=0.3* y2x1(-1)+0.6* y2x1(-2)+0.5*wn(-1)+wn series y1x2=0.3* y1x2 (-1)+0.6*wn(-1)+0.5*wn(-2)+wn series y2x2=0.3* y2x2 (-1)+0.5* y2x2(-2)+0.6*wn(-1)+0.5*wn(-2)+wn

46


Aplicación 2: Tasa de interés

La pregunta es si la tasa de interés revierte a la media o no. Apliaremos la metodología Box-Jenkins para modelar este ratio.

Paso 1: Transformaciones

Gráficamente, la serie es estacionaria en niveles y en primeras diferencias.

Niveles

Primera diferencia

-2

-1

0

1

2

3

4

80 90 00 10 20 30 40 50 60 70 80 90 00

TASA

-1.5

-1.0

-0.5

0.0

0.5

1.0

1.5

80 90 00 10 20 30 40 50 60 70 80 90 00

Differenced TASA

47


El correlograma parece sugerir que la serie es estacionaria en niveles, pues decrece rápidamente:

La elección del orden del rezago para la prueba puede ser un problema: Si se elige un número de rezagos muy pequeño, la prueba podría no

detectar autocorrelación en rezagos grandes. Sin embargo, si se elige un número de rezagos muy grande, la prueba

podría tener poco poder pues la correlación significativa en rezagos cortos puede diluirse por correlaciones no significativas con otro número de rezagos. Se sugiere T/4.

Dado el ACF en niveles, se procede a analizar el ACF de la serie en niveles: El ACF decrece rápidamente, lo que sugiere que el nivel de la serie es

estacionario o integrado de orden cero. Más adelante confirmaremos esto con pruebas estadísticas de raíz

unitaria. Paso 2: Identificación

Las funciones ACF y PACF sugieren que la serie puede estar descrita por un proceso AR(1) o por un proceso ARMA(1,1). Asumiremos, además, que otros candidatos posibles son los que se presentan en la siguiente tabla.

48


Pasos 3 y 4: Estimación y Diagnóstico

A partir del análisis podemos observar que los modelos AR(1) y MA(4) son los mejores. Usando la prueba Diebold-Mariano, analizamos su capacidad predictiva para diferentes horizontes de predicción:

El modelo 1 es AR(1) y el modelo 2 es MA(4). Se rechaza la hipótesis nula de la prueba DM y se concluye que el modelo AR(1) predice mejor hasta 6 períodos adelante.

49


Anexo 1: Nota sobre criterios de selección / bondad de ajuste

Los más utilizados son el Criterio de Información de Akaike (AIC) y el de Schwarz (SIC) también denominado criterio Bayesiano (BIC).

Al añadir más rezagos pueden generarse dos problemas: (i) pérdida de grados de libertad, (ii) pérdida de capacidad predictiva del modelo estimado si se añaden coeficientes extraños.

Los criterios AIC y BIC ponderan la suma de los cuadrados de los residuos (RSS) y el uso de un modelo parsimonioso.

Al comparar modelos ARMA se debe usar el mismo número de observaciones. Si y se comparan dos modelos AR(1) y AR(2), se debe usar para comparar.

El criterio SIC siempre seleccionará un modelo más parsimonioso que AIC porque .

Estos criterios son útiles para comparar modelos "no anidados". Usualmente, la alternativa de usar una prueba F no es recomendable:

Si tenemos AR(2) y MA(1), la prueba F se calcula a partir de la estimación

de un modelo ARMA(2,1).

Entre otras cosas, puede suceder que ambos modelos se acepten o que se rechacen.

SIC tiene mejores propiedades asintóticas. Sin embargo AIC se comporta mejor en muestras pequeñas.

Si los resultados son diferentes,

y se elige usar SIC, se debe verificar si los residuos son ruido blanco. y se elige usar AIC, los coeficientes deben ser todos significativos a

niveles convencionales.

Los resultados son confiables si ambos estadísticos proporcionan el mismo resultado.

procesos estacionarios univariados1 1. … distribuyen (la letra "d") independiente...

Documents