clase7 analisisdevarianza

UNI-EPIES

Lic. Luis Huamanchumo de la CubaEscuela Profesional de Ingeniera Estadstica

MODELOS LINEALES

MODELO DE REGRESIN

UNI-EPIES


MODELOS LINEALES

Sea el vector aleatorio:

yx1...xp

Con matriz varianza-covarianza:2 u

u donde es pxp

El objetivo es encontrar la combinacin lineal:

x = 1x1+ 2x2 + + pxp ; 0

que tenga la mxima correlacin con y.

UNI-EPIES


MODELOS LINEALES

La correlacin mxima se llama:

Coeficiente de Correlacin Mltiple ry(x1,,xp)

Operacionalizando:

ry(x1,,xp)2

= max (correlacin(y, x) ) 2

0

= max (cov (y, x)) 2

0 var(y)var(x)

= max (u) 2

0 2

= u-1u 2

UNI-EPIES


MODELOS LINEALES

Suponiendo que el vector

yx1...xp

tiene distribucin normal multivariada

E(y) = o + 1 x1 + + p xp

UNI-EPIES


MODELOS LINEALES

ANLISIS DE VARIANZA

Se pretende estimar el modelo: Y = X1 1 + X2 2 +

Ecuaciones normales: (X1X1) 1 + (X1X2) 2 = X1Y

(X2X1) 1 + (X2X2) 2 = X2Y^

^ ^

^(i)

(ii)

Resolviendo (i) y (ii): 2 = ( X2X2 )-1X2( Y- X11 )^^

1 = ( X1M2X1 )-1( X1M2Y )^

UNI-EPIES


MODELOS LINEALES

El Modelo Particionado

UNI-EPIES


MODELOS LINEALES

Ortogonalidad

Si X1 y X2 son ortogonales, entonces, X1X2=0

1 = (X1X1) -1X1Y

2 = (X2X2) -1X2Y^

^

Reemplazando X1X2=0 en (i) y (ii) se tiene:

UNI-EPIES


MODELOS LINEALES

Componentes de inters:

Y(I-X(XX)-1X)Y

Y(X(XX)-1X-X2(X2X2)-1X2)Y

YY - XY^ equivalentemente

reduccin debido a = SCE()

equivalentemente XY-2X2Y^ ^

SCE(2) = reduccin debido a 2 del modelo reducido(Ho: 1 = 0)

SCR =

XY - 2X2Y^ ^

= SCE (1 | 2) = SCE() - SCE(2)

y;

SCR = YY SCE()

UNI-EPIES


MODELOS LINEALES

UNI-EPIES MODELOS LINEALES


Tabla de ANVA para H0: 1=0

Debido a

Debido a 2 (no ajustado)

Debido a 1 (ajustado)

Residual

Total

FUENTE DE VARIACIN G.L. SUMA DE CUADRADOS CUADRADOS MEDIOSF

p

p - r

r

n - p

n

XY

2X2Y

XY - 2X2Y^ ^

YY - XY^

YY

^

^

SCE (1 | 2)r

SCRn - p

SCE (1 | 2)

SCR

n - pr

Si entre las variables explicativas hay un trmino constante, entonces, se tiene:

SCT = SCE + SCR

SCT = (Yi Y)2

SCE = (Yi Y)2^

SCR = (Yi Yi)2^

Y

Yi

Total = Yi - YYi^

Yi Yi^

Yi Y

Residual

Regresin



UNI-EPIES


MODELOS LINEALES

SCT = YY n y 2

SCE = XY n y 2^

SCR

Representacin matricial:

= Y( I - J )Y1n

= Y( H - J )Y1n

= Y( I - H )Y

donde H=X(XX)-1X

APLICACIN

Construccin de Modelos

UNI-EPIES


MODELOS LINEALES

Mtodos Stepwise

a) Seleccin Forwardb) Seleccin Backward

UNI-EPIES


MODELOS LINEALES

CASO: Produccin de cemento

y = Temperatura (caloras x gramo de cemento)

X1 = tricalcio de aluminio

X2 = tricalcio de silicato

X3 = tetracalcio de aluminio ferroso

X4 = dicalcio de silicato

UNI-EPIES


MODELOS LINEALES

FORWARD

SUPUESTOS

1. No hay regresores en el modelo mas que el intercepto2. Se insertan los regresores uno a uno3. El primero en ingresar es el regresor con correlacin

simple con y ms alta4. El siguiente regresor que ingresa es aquel con mayor

correlacin con y despus de ajustar con el regresor que ya haba ingresado (correlacin parcial)

5. El proceso termina cuando ingresan todos los regresores o cuando el Fcalc no excede al Ftab.

UNI-EPIES


MODELOS LINEALES

INICIO

No hayregresores

CalcularCorrelacin

Simple

ryxi mayor?

si

no

ryxj.ximayor?

si

no

Ingresa almodelo

Fcal

Modelo Suma de Cuadrado

Cuadrados gl Medio Fcal p-valor

I Regression 1831,896 1 1831,896 22,799 ,001

Residual 883,867 11 80,352

Total 2715,763 12

II Regression 2641,001 2 1320,500 176,627 ,000

Residual 74,762 10 7,476

Total 2715,763 12

III Regression 2667,790 3 889,263 166,832 ,000

Residual 47,973 9 5,330

Total 2715,763 12

Fcal=CME(4)

CMR

Fcal ms altoIngresa al Modelo

Fcal=CME(1/ 4)

CMR

ANVA

=SCE(1 4) SCE(4)

CMR

I

IIFcal=

CME(2/ 1 4)CMR

III



UNI-EPIES


MODELOS LINEALES

Modelo B ES(B) t p-valor

I (Constant) 117,568 5,262 22,342 ,000

X4 dicalcio de silicato -,738 ,155 -4,775 ,001

II (Constant) 103,097 2,124 48,540 ,000

X4 dicalcio de silicato -,614 ,049 12,621 ,000

X1 tricalcio de aluminio 1,440 ,138 10,403 ,000

III (Constant) 71,648 14,142 5,066 ,001

X4 dicalcio de silicato -,237 ,173 -1,365 ,205

X1 tricalcio de aluminio 1,452 ,117 12,410 ,000

X2 tricalcio de silicato ,416 ,186 2,242 ,052

y = 71.648 +1.452 X1 + 0.416 X2 0.237 X4 R2 =99.1%

UNI-EPIES


MODELOS LINEALES

X3 excluido

Fcal=CME(3 / 1 2 4)

CMR=

SCE(1 2 3 4) SCE(1 2 4)IV < Ftab(1,8)10%

Fcal no ms alto que FtabNO Ingresa al Modelo

UNI-EPIES


MODELOS LINEALES

CMR

SUPUESTOS

1. Se inicia con un modelo que incluye a todos los regresores

2. Se eliminan los regresores uno a uno3. El primero en salir es el regresor con Fcal del modelo

ms bajo (t-student)24. As sucesivamente5. El proceso termina cuando el Fcalc no es menor al Ftab.

BACKWARD

UNI-EPIES


MODELOS LINEALES

INICIO

Todos losregresores

CalcularF

Fcal msbajo?

si

no

Fcal Ftab?no

Sale delmodelo

siFIN

BACKWARD

ryxi menor menor FparcialCMECMR

ryx1 = 0.593ryx2 = 0.242ryx3 = 0.048ryx4 = -0.720

Menor coeficiente de correlacin parcial

Se elimina del modelo

UNI-EPIES


MODELOS LINEALES

Modelo Suma de Cuadrados

Cuadrados gl Medios Fcal p-valor

I Regresion 2667,899 4 666,975 111,479 ,000

Residual 47,864 8 5,983

Total 2715,763 12

II Regresion 2667,790 3 889,263 166,832 ,000

Residual 47,973 9 5,330

Total 2715,763 12

III Regresion 2657,859 2 1328,929 229,504 ,000

Residual 57,904 10 5,790

Total 2715,763 12

A partir de las variables X1, X2 y X4 se obtienen los F parciales

Fp(X4) =SCE(1 2 4) SCE(1 2)

CMR

Fp(X1) =SCE(1 2 4) SCE(2 4)

CMR

Fp(X2) =SCE(1 2 4) SCE(1 4)

CMR

= 154.016

= 5.02

= 1.86 Se elimina del modelo

UNI-EPIES


MODELOS LINEALES

A partir de las variables X1y X2 se obtienen los F parciales

Fp(X1) =SCE(1 2) SCE(2)

CMR

Fp(X2) =SCE(1 2) SCE(1)

CMR

= 146.53

= 208.59

NO Se eliminan del

modelo

> F10%(1,10)=3.29

> F10%(1,10)=3.29

SCE(1 / 2)

CMR

SCE(2 / 1)

CMR

=

=

UNI-EPIES


MODELOS LINEALES

ANLISIS DE VARIANZA PARA LA ESTACIONALIDADDE UNA SERIE

LOS DATOS

Consumo Trimestral de Materias Primasde la empresa XYZ

Ao 1 2 3 41987 10.8 7.8 10.2 17.51988 13.7 10.1 11.0 20.21989 18.8 17.1 17.5 26.21990 22.7 16.9 19.3 29.11991 24.8 23.4 24.7 32.41992 28.0 26.5 28.0 34.1

Trimestre

UNI-EPIES


MODELOS LINEALES

EL MODELO

Y = o + 1 t + 1X1 + 2 X2 + 3 X3 +

Componente Tendencial

Componente Estacional

UNI-EPIES


MODELOS LINEALES

Ct = 1X1 + 2 X2 + 3 X3

Componente Estacional

X1 =

1

0

-1

Si t = trimestre 1

Si t = trimestre 2, 3

Si t = trimestre 4

X2 =

1

0

-1

Si t = trimestre 2


Si t = trimestre 4

X3 =

1

0

-1

Si t = trimestre 3


Si t = trimestre 4

Ct =

1 Si t = trimestre 1



- 1 - 2 -3 = 4Si t = trimestre 4

UNI-EPIES


MODELOS LINEALES

Tratamiento de los DatosAO TEND TRIM CONSM X1 X2 X3

1987 1 1 10.8 1 0 01987 2 2 7.8 0 1 01987 3 3 10.2 0 0 11987 4 4 17.5 -1 -1 -11988 5 1 13.7 1 0 01988 6 2 10.1 0 1 01988 7 3 11.0 0 0 11988 8 4 20.2 -1 -1 -11989 9 1 18.8 1 0 01989 10 2 17.1 0 1 01989 11 3 17.5 0 0 11989 12 4 26.2 -1 -1 -11990 13 1 22.7 1 0 01990 14 2 16.9 0 1 01990 15 3 19.3 0 0 11990 16 4 29.1 -1 -1 -11991 17 1 24.8 1 0 01991 18 2 23.4 0 1 01991 19 3 24.7 0 0 11991 20 4 32.4 -1 -1 -11992 21 1 28.0 1 0 01992 22 2 26.5 0 1 01992 23 3 28.0 0 0 11992 24 4 34.1 -1 -1 -1

UNI-EPIES


MODELOS LINEALES

ESTIMACIN

Coefficientsa

9.048 .508 17.829 .000.912 .036 .863 25.602 .000.718 .425 .069 1.690 .107

-3.027 .422 -.293 -7.175 .000-2.456 .422 -.237 -5.821 .000

(Constant)TENDX1X2X3

Model1

B Std. Error

UnstandardizedCoefficients

Beta

StandardizedCoefficients

t Sig.

Dependent Variable: Consumo MPa.

Y = 9.048 + 0.912 t + 0.718 X1 - 3.027 X2 2.456 X3(25.6) (1.71) (-7.3) (-5.8)

UNI-EPIES


MODELOS LINEALES

Estacionalidad del Cuarto Trimestre es:

4 = - 0.718 + 3.027 + 2.456

Coeficiente de Determinacin:

R2 = 0.979

UNI-EPIES


MODELOS LINEALES

ANOVAb

1256.888 4 314.222 221.025 .000a

27.012 19 1.4221283.900 23

RegressionResidualTotal

Model1

Sum ofSquares df Mean Square F Sig.

Predictors: (Constant), X3, TEND, X2, X1a.

Dependent Variable: Consumo MPb.

PRUEBA DE SIGNIFICACIN GLOBAL

ANLISIS DE VARIANZA

UNI-EPIES


MODELOS LINEALES

Anlisis de Significacin de la Estacionalidad

ANOVA

Fcalc = 59.53

1.42= 42.1 > F0.05 (3, 19) = 8.69

Fuente de Variacin Suma CuadradosGrados Libertad

Cuadrados Medios

Tendencia 1076.05 1 1076.05Estacionalidad 178.59 3 59.53Residual 26.88 19 1.42Total 1281.52 23

UNI-EPIES


MODELOS LINEALES



El modelo original:

y = X + donde X es (nxp)

El modelo centrado slo en las variables explicativas:

Donde X = 1n Xc , tal que:

x11-x1 x12-x2 x1p-1 - xp-1

x21-x1 x22-x2 x2p-1 - xp-1

xn1-x1 xn2-x2 xnp-1 - xp-1

......

...Xc =

1nXc = 01x(p-1)y;

(i)



Tabla de ANVAPara el Modelo Centrado en las Variables Explicativas

Media Global

Debido a

Residual

Total

FUENTE DE VARIACIN G.L. SUMA DE CUADRADOS

1

p - 1

n - p

n

Y JnY

YY

SUMA DE CUADRADOS CENTRADO

1

nY JnY1

n

Y(X(XX)-1X - Jn)Y1

nY(Xc(XcXc)-1Xc)Y

Y(In - X(XX)-1X)Y Y(In - Jn - Xc(XcXc)-1Xc)Y1

n

Cumple el modelo (i)



CM(media global) = 2 + n*o2

CM(regresin) = 2 + XcXc ; = ( 1 p-1)

; o = 0* - x1- x2 - - p-1 xp-1)

CM(residual) = 2

MODELOS LINEALESUNI-EPIES

Lic. Luis Huamanchumo de la Cuba

Teorema:

Dado A una matriz mxm con valores caractersticos 1, , m y dado B una matriz nxn con valores caractersticos 1, ,n. Los valores caractersticos de A B (o B A) son los mn valores caractersticos ij para i=1, ,m y j=1, ,n.

UNI-EPIES


Calcular:

1a

1n

(Ia Ja) (In Jn)1.

2. Los valores caractersticos de: ( In Jn )1n

3. Los valores caractersticos de:1a

1n

(Ia Ja) (In Jn)

MODELOS LINEALES

UNI-EPIES


Teorema:

Dado A una matriz mxn de rango r y B una matriz pxq de rango sA B tiene rango rs.

Calcular:1aRango (Ia Ja) In1.

MODELOS LINEALES

UNI-EPIES


Calcular:

1aTr (Ia Ja) In1.

Teorema:

Dado A una matriz simtrica e idempotente mxm de rango r y B una matriz nxn simtrica e idempotente de rango s. Entonces, A B es una matriz simtrica e idempotente de rango rs.

MODELOS LINEALES

UNI-EPIES


MODELOS LINEALES

SCE(1 2) = SCR(2) SCR(1 2)

SCE(1 2) = SCE(12) SCE(2)

equivalentemente

Modelo original (Modelo reducido) Y = 0 + 2x2 +

Y = 0 + 1x1 + 2x2 +Modelo aumentado

SCR(2)

SCR(1 2)

ESTUDIO DE LA SUMA DE CUADRADOS RESIDUAL (SCR)

UNI-EPIES


MODELOS LINEALES

SCE(2 1) = SCR(1) SCR(1 2)

SCE(2 1) = SCE(12) SCE(1)

equivalentemente


Y = 0 + 1x1 + 2x2 +Modelo aumentado

SCR(1)

SCR(1 2)

Si aadimos la variable x2:

UNI-EPIES


MODELOS LINEALES

SCE(3 1 2) = SCR(1 2) - SCR(1 2 3)

SCE(3 1 2) = SCE(12 3) SCE(1 2)

equivalentemente

Modelo original (Modelo reducido) Y = 0 + 1x1 + 2x2 +

Modelo aumentado SCR(1 1 1)

SCR(1 2)

Si aadimos la variable x3:

Y = 0 + 1x1 + 2x2 + 3x3 +

UNI-EPIES


MODELOS LINEALES

SCE(2 3 1) = SCR(1) - SCR(1 2 3)

SCE(2 3 1) = SCE(12 3) SCE(1)

equivalentemente


Modelo aumentado SCR(1 1 1)

SCR(1)

Si aadimos la variable x2 y x3 al modelo original:

Y = 0 + 1x1 + 2x2 + 3x3 +

UNI-EPIES


MODELOS LINEALES

ESTUDIO DE LA SUMA DE CUADRADOS EXPLICADA (SCE)

SCE(1 2) = SCE(1) + SCE(2 1)

SCE(1 2) = SCE(2) + SCE(1 2)

SCE(1 2 3) = SCE(1) + SCE(2 1) + SCE(3 1 2)

SCE(1 2 3) = SCE(2) + SCE(3 2) + SCE(1 2 3)

SCE(1 2 3) = SCE(1) + SCE(2 3 1)

UNI-EPIES


MODELOS LINEALES

ANALISIS DE VARIANZA

Las variables explicativas x1, x2 y x3 ingresan (una a una) al modelo:

Debido a (3x1)

Debido a x1

Debido a x2 x1

Residual

Total

FUENTE DE VARIACIN G.L. SUMA DE CUADRADOSCUADRADOS

MEDIOS

3

1

1

n - 4

n - 1

Debido a x3 x1 x2 1

SCE(1 2 3)

SCE(1)

SCE(2 1)

SCE(3 1 2)

SCR(1 2 3)

SCT

CME(1 2 3)

CME(1)

CME(2 1)

CME(3 1 2)

CMR(1 2 3)

UNI-EPIES


MODELOS LINEALES

Ho : 3 = 0

Prueba de Significacin Individual

F =CME(3 12)

CMR(12 3)

Modelo Completo y = 0 + 1x1 + 2x2 + 3x3 +

UNI-EPIES


MODELOS LINEALES

Ho : 2 = 3 = 0

Prueba de Significacin de un Sub-vector de Parmetros

F =CME(2 3 1)

CMR(12 3)

Modelo Reducido y = 0 + 1x1 +

UNI-EPIES


MODELOS LINEALES

COEFICIENTE DE DETERMINACIN PARCIAL

Y = 0 + 1x1 + 2x2 +

R21.2

=SCE(2 1)

SCR(1)

R22.1

=SCE(1 2)

SCR(2)

UNI-EPIES


MODELOS LINEALES

COEFICIENTE DE DETERMINACIN PARCIAL

y = 0 + 1x1 + 2x2 + 3x3 +

R21.23

=

R22.13

=

R23.12

=

( r1.23 )2

( r2.13 )2

( r3.12 )2

UNI-EPIES


MODELOS LINEALES

COEFICIENTE DE CORRELACIN PARCIAL (rij)

y = 0 + 1x1 + 2x2 + 3x3 +

R21.23

=SCR(1)

SCE(1 2 3)

R22.13

=SCR(1 3)

SCE(2 1 3)

R23.12

=SCR(1 2)

SCE(3 1 2)

UNI-EPIES


MODELOS LINEALES

Particionando la Suma de Cuadrados de la Regresin

Sea X = X1 X2 Xm

donde Xj es una matriz nxpj y p1 + p2 + + pj = p y X1= 1n

(nxp)

Adems: R1 = X1 = 1n

R2 = X1 X2

Rm-1 = X1 X2 Xm-1

Rm = X

UNI-EPIES


MODELOS LINEALES

Tabla ANVASuma de Cuadrados Tipo I

Media Global X1

Debido a X2 X1

Debido a X3 X2, X1

Residual

Total

FUENTE DE VARIACIN G.L. SUMA DE CUADRADOS TIPO I

p1=1

p2p3

n - p

n

Debido a Xm X1 X2Xm-1 pm

.

.

.

.

.

.

YR1(R1R1)-1R1Y Y JnY1

n=

Y(R2(R2R2)-1R2 - R1(R1R1)-1R1)Y

Y(R3(R3R3)-1R3 - R2(R2R2)-1R2)Y

Y(X(XX)-1X - Rm-1(Rm-1Rm-1)-1Rm-1)Y

.

.

.

Y(In - X(XX)-1X)YYY

Nmero de diapositiva 1Nmero de diapositiva 2Nmero de diapositiva 3Nmero de diapositiva 4Nmero de diapositiva 5Nmero de diapositiva 6Nmero de diapositiva 7Nmero de diapositiva 8Nmero de diapositiva 9Nmero de diapositiva 10Nmero de diapositiva 11Nmero de diapositiva 12Nmero de diapositiva 13Nmero de diapositiva 14Nmero de diapositiva 15Nmero de diapositiva 16Nmero de diapositiva 17Nmero de diapositiva 18Nmero de diapositiva 19Nmero de diapositiva 20Nmero de diapositiva 21Nmero de diapositiva 22Nmero de diapositiva 23Nmero de diapositiva 24Nmero de diapositiva 25Nmero de diapositiva 26Nmero de diapositiva 27Nmero de diapositiva 28Nmero de diapositiva 29Nmero de diapositiva 30Nmero de diapositiva 31Nmero de diapositiva 32Nmero de diapositiva 33Nmero de diapositiva 34Nmero de diapositiva 35Nmero de diapositiva 36Nmero de diapositiva 37Nmero de diapositiva 38Nmero de diapositiva 39Nmero de diapositiva 40Nmero de diapositiva 41Nmero de diapositiva 42Nmero de diapositiva 43Nmero de diapositiva 44Nmero de diapositiva 45Nmero de diapositiva 46Nmero de diapositiva 47Nmero de diapositiva 48Nmero de diapositiva 49Nmero de diapositiva 50Nmero de diapositiva 51Nmero de diapositiva 52

clase7 analisisdevarianza

Documents