Algo ası como una auto-introduccion a los

modelos mixtos

Claudio Bustos

26 de agosto de 2014

1. Modelo Lineal General

Sea el clasico modelo lineal

Y = Xβ + ε

Con β vector p-dimensional de parametros de efectos fijos, X matriz de ordenn × p, posiblemente de diseno, ε vector n-dimensional de variables aleatoriasindependientes distribuidas N(0, σ2), es decir, ε ∼ Nn(0n, Inσ

2).Se puede deducir que

E(Y ) = E(Xβ + ε)

= Xβ

V (Y ) = V (Xβ + ε)

= Inσ2

Es muy conocido que el estimador de β es la proyeccion de Y en el subespaciodefinido por X, de la forma

β = (XTX)−1XTY (1)

La esperanza y varianza de este estimador es

E(β) = E((XTX)−1XTY )

= (XTX)−1XTXβ

= β

V (β) = V ((XTX)−1XTY )

= (XTX)−1XT Inσ2X(XTX)−1

= Inσ2(XTX)−1XTX(XTX)−1

= σ2(XTX)−1

1

2. Modelo Lineal Mixto

Agreguemos ahora el componente aleatorio a esta formula. Tradicionalmente,se representa como

Y = Xβ + Z1b1 + Z2b2 + ...+ ZMbM + ε

bi corresponde a un vector ki-dimensional de efectos aleatorios para el com-ponente de varianza i ∈ 1, ..,M , con 1 ≤ ki ≤ n. Zi, por su parte, correspondea una matriz de orden n× k, que puede ser de diseno. Se tiene que

bi ∼ Nki(0ki , ψi)Cov(bij, bkl) = 0,para ∀i ∈ {1, ...,M}, j ∈ {1, ..., ki}, i 6= k, l ∈ {1, ..., kl}Cov(bij, εk) = 0, para ∀i ∈ {1, ...,M}, j ∈ {1, ..., ki}, k ∈ {1, .., n}

ε ∼ Nn(0, σ2)

Se sigue que la esperanza y varianza de Y seran

E(Y ) = E [Xβ + Z1b1 + Z2b2 + ...+ ZMbM + ε]

= Xβ

V (Y ) = V [Xβ + Z1b1 + Z2b2 + ...+ ZMbM + ε]

= Z1V (b1)ZT1 + ...+ ZMV (bM )ZTM + Inσ2

= Z1ψ1ZT1 + ...+ ZMψMZ

TM + Inσ

2

Si asumimos un solo componente de varianza, M = 1, podemos reparame-trizar ψ = σ2

bΣ, tal como lo hace Crainiceanu y Ruppert (2003),quedando lavarianza de Y como

V (Y ) = Zσ2bΣZT + Inσ

2

Si definimos λ =σ2b

σ2 , y dividimos y multiplicamos todo por σ2, obtenemosuna nueva version de la varianza

V (Y ) =σ2

σ2(Zσ2

bΣZT + Inσ2)

= σ2(λZΣZT + In)

Donde se puede ver que la relacion entre la varianza del efecto aleatorio y laresidual nos permite saber hasta que punto conocer el efecto aleatorio especıficob modifica la esperanza E(Y |b,X, β) con respecto a la esperanza E(Y |X,β)

3. Error al estimar β sin considerar efecto alea-torio

Si se estima β sin considerar los efectos aleatorios, tendremos un estimadorinsesgado, pero que subestima la varianza.

2

Si en (1) reemplazamos Y con M = 1 con un solo componente de varianza

Y = Xβ + Zb + ε

Tenemos que

β∗ = (XTX)−1XT (Xβ + Zb + ε)

La esperanza sera

E(β∗) = E[(XTX)−1XT (Xβ + Zb + ε)]

= E[(XTX)−1XTXβ] + E[(XTX)−1XTZb] + E[(XTX)−1XT ε]

= β + 0 + 0

= β

Sin embargo, la medicion de la varianza del estimador es mas pequena de ladebida

V (β∗) = V [(XTX)−1XT (Xβ + Zb + ε)]

= V [(XTX)−1XTXβ] + V [(XTX)−1XTZb] + V [(XTX)−1XT ε]

= 0 + (XTX)−1XTZψZTX(XTX)−1 + (XTX)−1XTσ2InX(XTX)−1

= ZψZT (XTX)−1 + σ2In(XTX)−1

= (ZψZT + σ2In)(XTX)−1

4. Prueba del efecto aleatorio

Para un componente de varianza b ∼ Nk(0, σbΣ), Crainiceanu y Ruppert(2003) proponen una prueba de hipotesis para

H0 : βp+1−q = β0p+1−q, ..., βp = β0

p , σ2b = 0 (2)

H1 : βp+1−q 6= β0p+1−q, ..., βp 6= β0

p , σ2b > 0 (3)

para q > 0. Esto, en otros terminos, es contrastar la hipotesis que el modelosolo considera efectos fijos, versus un modelo con efecto aleatorio. Si q = 0, seprueba que

H0 : σ2b = 0

H1 : σ2b > 0

Bajo la condicion de i.i.d., la distribucion del test de verosimilitud entre (2)y (3) asintoticamente se distribuirıa 1

2 (χ2q + χ2

q+1).

3

5. Probando efectos fijos

Primero, verificar que el modelo que incluye efectos fijos sea distinto al merocon efecto aleatorio. Equivale a la prueba ANOVA tıpica del modelo OLS tıpico,ya que lo compara con el supuesto basico. En el caso del modelo mixto, partimosde la idea de que existen diferencias entre los grupos / entes, ası que no podemosobviar eso. El problema radica en que debo usar MV para tener resultadoscomparables.

Referencias

Crainiceanu, C. M., y Ruppert, D. (2003). Likelihood ratio tests in linear mixedmodels with one variance component.

4