Analiza wariancji i kowariancji

2

Historia

� Analiza wariancji jest metodą zaproponowaną przez Ronalda A.

Fishera.

� Po zakończeniu pierwszej wojny światowej był on pracownikiem

laboratorium statystycznego w Doświadczalnej Stacji Rolniczej w

Rothamsted w Anglii, gdzie stworzył podstawy teoretyczne analizy

wariancji.

� Analiza ta zyskała szybko dużo popularność, a jej autor sławę.

� Początkowo była to technika stosowana w naukach rolniczych,

jednak stosunkowo szybko zyskała uznanie w pozostałych

dziedzinach nauk biologicznych, socjologii, psychologii,

medycynie.

3

Analiza wariancji – kiedy stosujemy?

� Analiza wariancji (ANalysis Of VAriance – ANOVA) to metoda

statystyczna służąca do porównywania kilku populacji.

� Badamy wyniki, które zależą od jednego lub kilku czynników

działających równocześnie. Każdy czynnik przyjmuje kilka

poziomów.

� Analiza wariancji pozwala sprawdzić, czy analizowane czynniki

wywierają wpływ na obserwowane wyniki. Czynniki nazywamy

zmiennymi grupującymi lub klasyfikacyjnymi, natomiast zmienna,

która jest poddana obserwacji nosi nazwę zmiennej zależnej lub

objaśnianej.

4

Idea modelu

� Podstawowym pojęciem jest zmienność – suma kwadratów odchyleń wartości poszczególnych obserwacji od ich wartości średniej:

� Całkowita zmienność dzieli się na zmienności pochodzące od poszczególnych czynników biorących udział w badaniu. Rozpatruje się też zmienność związaną z czynnikiem losowym (błędem). Poszczególne zmienności przyjęło oznaczać się symbolem SS – suma kwadratów (Sum of Squares).

� Sumy kwadratów są dzielone przez odpowiadające im stopnie swobody. Otrzymane ilorazy noszą nazwę średnich kwadratów i są zwykle oznaczane jako MS (Mean Square).

� Otrzymane średnie kwadraty dla poszczególnych czynników porównujemy ze średnim kwadratem błędu. W ten sposób badamy, czy wpływ danego czynnika na wynik zmiennej zależnej jest istotny.

2

1( )

n

iiX X

=−∑

5

Założenia modelu jednoczynnikowej analizy wariancji (1)

1. Analizowana zmienna zależna jest mierzalna.

2. Dysponujemy k próbkami, wyodrębnionymi za

pomocą zmiennej dyskretnej (k > 1);

3. Próby zostały pobrane losowo, niezależnie od siebie

z każdej z k populacji.

4. Każda z k niezależnych populacji ma rozkłady

normalne

5. Rozkłady te mają jednakową wariancję:

2( , ).

i iN µ σ

2 2 2

1...

kσ σ σ= = =

6

Założenia modelu jednoczynnikowej analizy wariancji (2)

� Wymienione założenia są niezbędne do wyznaczenia rozkładu statystyki testowej. Przy spełnieniu tych założeń statystyka testowa ma rozkład Fishera-Snedecora.

� Gdy próbki są równoliczne, test F jest odporny na odchylenia od normalności i jednorodności wariancji.

� W przypadku gdy rozkłady mocno odbiegają od normalnego, albo wariancje znacznie się różnią, powinniśmy posłużyć się metodą nieparametryczną nazywaną testem Kruskala-Wallisa.

� Niezależność pomiarów oznacza, że znajomość dowolnego pomiaru nie daje żadnej wskazówki na temat wartości pozostałych. Skutki naruszenia tego założenia są bardzo poważne – nie wiemy w jakim kierunku nastąpi zniekształcenie statystyki F.

7

Zapis modelu jednoczynnikowego

, 1,..., , 1,..., ;ij i ij iy u i k j nµ α= + + = =

gdzie: są parametrami podlegającymi

szacowaniu, natomiast są niezależnymi

zmiennymi losowymi o rozkładzie

, iµ α

iju

2(0, ).N σ

8

Cel analizy

Weryfikacja hipotezy:

gdzie oznacza średnią wartość zmiennej Y

w i – tej populacji,

wobec hipotezy alternatywnej:

co najmniej dwie średnie populacyjne różnią się między sobą

0 1 2: ...

kH µ µ µ= = =

iµ

1:H

9

Rodzaje zmienności

� całkowita zmienność zmiennej Y

� zmienność międzygrupowa – opisuje zróżnicowanie cechy Y między grupami (ta część zmienności wynika ze zróżnicowania prób)

� zmienność wewnątrzgrupowa (zmienność resztowa – tą część zmienności przypisujemy błędowi, jest to zmienność, która nie wynika z różnic między grupami)

� dekompozycja całkowitej zmienności

2

1 1( )

ik n

iji jQ y y

= == −∑ ∑

2

1( )

k

M i iiQ n y y

== −∑

2

1 1( )

ik n

R ij ii jQ y y

= == −∑ ∑

M RQ Q Q= +

10

Kiedy czynnik nie ma wpływu na zmienną Y?

� jeśli średnie próbkowe zmiennej Y są zbliżone

w grupach wyróżnionych za pomocą czynnika, to

czynnik nie ma wpływu na poziom cechy Y;

� wówczas zmienność międzygrupowa powinna

być zdecydowanie mniejsza niż zmienność wewnątrzgrupowa;

� porównanie zmienności wewnątrzgrupowej i

międzygrupowej jest rozstrzygające w ocenie

wpływu czynnika na zmienną Y;

11

Tablica analizy wariancji

12

Idea testu

� Dzieląc zmienność międzygrupową i wewnątrzgrupową przez odpowiadające im stopnie swobody otrzymujemy dwa estymatory wariancji w całej populacji.

� - nieobciążony estymator

� - nieobciążony estymator jeżeli prawdziwa jest hipoteza zerowa o równości średnich populacyjnych.

� Przy prawdziwości hipotezy zerowej wartość statystyki testowej powinna więc być bliska jedności. W przeciwnym razie (gdy średnie w populacjach nie będą sobie równe), to wartość statystyki testowej będzie się odchylać od jedynki w górę.

� Na ile odchylenie od jedynki jest duże sprawdzamy za pomocą formalnego testu. Przy prawdziwości hipotezy zerowej statystyka testowa ma rozkład F-Snedecora o stopniach swobody k-1 i n-k.

/( )R

Q n k−

/( 1)MQ k −

2σ2,σ

13

Procedury porównań wielokrotnych - wprowadzenie

� Metody te są niezwykle przydatne w celu uściślenia charakteru

różnic wykrytych przez analizę wariancji.

� Nazywane są testami post-hoc (po fakcie, a posteriori), gdyż przeprowadza się je tylko po stwierdzeniu faktu istotności

ogólnego testu F.

� Testowanie polega na porównywaniu wszystkich par średnich w

celu wykrycia występowania istotnych różnic i przydzielenia

średnich do grup. Średnie należące do dwóch różnych grup różnią

się w sposób istotny, a należące do jednej grupy z punktu

widzenia statystyki są jednakowe (grupy takie nazywamy grupami

jednorodnymi).

14

Poziom istotności w porównaniach wielokrotnych

� Pojawia się problem przypadkowych wyników otrzymanych podczas przeprowadzania procedur porównań wielokrotnych.

� Jeżeli będziemy porównywać osobno każdą parę średnich za pomocą testu statystycznego, to prawdopodobieństwo odrzucenia choć raz prawdziwej hipotezy zerowej o równości średnich rośnie bardzo szybko wraz z liczbą dokonywanych porównań (obliczenia dokonane przy założeniu niezależności statystyk testowych).

� Należy zatem poszukiwać takiej procedury porównywania par, które korygują szybko rosnący poziom błędu.

liczba

średnich

liczba

porównańwielkość błędu

2 1 0,0500

3 3 0,1426

4 6 0,2649

5 10 0,4013

6 15 0,5367

7 21 0,6594

8 28 0,7622

9 36 0,8422

10 45 0,9006

... ... ...

1 (1 0,05)n− −

2

kn

=

k

15

Ogólna idea porównywania post-hoc

Opierają się one na porównywaniu różnic między parami średnich z próby z wielkością noszącą nazwę najmniejszej istotnej różnicy (NIR):

gdzie: - wartość odpowiedniego kwantyla w rozkładzie statystyki wykorzystanej w danej procedurze,

- średni kwadrat dla błędu z analizy wariancji,

Jeżeli nierówność jest spełniona, to uznajemy obie średnie za równe, natomiast jeżeli zachodzi nierówność przeciwna to średnie różnią się istotnie.

W wyniku zastosowania tej procedury dla wszystkich par średnich możemy pogrupować je w jednorodne grupy. Uzyskane grupy rzadko okazują się być rozłączne.

( )1 11

| |i ji j bląd n n

NIR

X X K MSα−− ≤ +���������

1K α−

blądMS

16

Procedura Bonferroniego (1)

� Metoda ta bazuje na następującej nierówności:

� Niech oznacza zdarzenie polegające na nie

odrzuceniu i-tej prawdziwej hipotezy zerowej.

Zakładamy ponadto, że dla pojedynczej hipotezy

przyjmujemy poziom istotności

� Wówczas prawdopodobieństwo nie odrzucenia

prawdziwej hipotezy zerowej przyjmuje wartość:

( )1 2 1... 1 ( )

p

p iiP A A A P A

=′∩ ∩ ∩ ≥ −∑

iA

/ .pα

( ) ( )1 1 /i iP A P A pα′= − = −

17

Procedura Bonferroniego (2)

� Przy powyższych założeniach wyjściowa nierówność przyjmuje postać:

� Jeżeli dla każdego porównania w zbiorze p porównań przyjmiemy poziom istotności to poziom istotności dla całego zbioru porównań jest równy

� W metodzie tej najmniejsza istotna różnica wyraża się wzorem:

gdzie: jest kwantylem rzędu dla rozkładu t-Studenta

( ) ( )1 2 1 21... 1 1 1 ...

p

p ppiP A A A P A A Aα α α

=∩ ∩ ∩ ≥ − = − ⇒ − ∩ ∩ ∩ ≤∑

/ ,pα.α

( )1 1

12

i jbląd n np

NIR t MSα−= +

12 p

t α− 12 p

α−

18

Analiza kowariancji - wprowadzenie

Chcemy porównać znajomość podstaw mikroekonomii wśród studentów I roku, których w sposób losowy przydzielono do jednego z dwóch alternatywnych podręczników (zmienna grupująca). Ponadto dysponujemy również danymi dotyczącymi ilorazu inteligencji (IQ – zmienna ilościowa) każdego ze studentów uczestniczących w badaniu. Spodziewamy się, że iloraz inteligencji oddziałuje na efektywność uczenia się studentów. Powinniśmy zatem wykorzystać tę informację do uczynienia naszego testu bardziej precyzyjnym.

19

Istota analizy kowariancji

� Zaprezentowany przykład mówi o konieczności uwzględnienia w analizie wariancji dodatkowych czynników (zmiennych ciągłych) zwiększających statystyczną moc naszego układu.

� Jeżeli wiemy, że zmienne towarzyszące w sposób istotny wpływają na badaną zmienną, to wówczas niektóre istotne różnice między średnimi porównywanych grup możemy częściowo wyjaśnić wpływem zmiennej towarzyszącej. Koniczne byłoby usunięcie tego wpływu tak dalece, jak to tylko możliwe.

20

Efektywność dwóch metod nauczania ekonomii – przykład (1)

IQ Wynik testu IQ Wynik testu

1 89 69 91 61

2 99 86 101 88

3 100 91 111 92

4 111 97 121 98

5 103 93 110 90

6 100 90 108 93

7 95 81 105 82

8 86 65 95 68

średnie 97,875 84 105,25 84

korelacja

nr obs.Podręcznik A Podręcznik B

0,9612 0,9158

� Obserwujemy wysoką (dla każdego

podręcznika) korelację pomiędzy IQ

a wynikiem z testu oraz takie same

średnie wyniki z testu dla obu

podręczników.

� Czy równość średnich dla wyników

testu dla obu podręczników

sugeruje, iż obie metody nauczania

są równoważne?

• Ale również łatwo zauważyć, że studenci uczący się z podręcznika B mają wyższy poziom inteligencji. Jeżeli nie byłoby żadnej różnicy pomiędzy metodami, to mielibyśmy prawo oczekiwać, że grupa ta osiągnie lepsze wyniki w nauce. A skoro tak nie jest mamy podstawy wnioskować, że jednak podręcznik A jest lepszy. Studenci bowiem o niższej wartości IQ uczeni tą metodą dorównali swoimi wynikami studentom z wyższą wartością IQ

21

Efektywność dwóch metod nauczania ekonomii – przykład (2)

� Analiza kowariancji (ANCOVA) pozwala przeprowadzić wnioskowanie statystyczne mające na celu stwierdzenie, czy między podręcznikami zachodzą istotne różnice.

� Nie wiemy w jakim zakresie wyniki w nauce wynikają z różnych metod nauczania, a w jakim z różnic w poziomie inteligencji.

� Za pomocą analizy kowariancji możemy porównać osiągnięcia w nauce związane z różnymi metodami nauczania poprzez oddzielenie (kontrolowanie) wpływu inteligencji. Interesuje nas bowiem odpowiedź na pytanie: jakie będą różnice w wynikach nauczania za pomocą różnych podręczników, gdy obie grupy studentów będą miały taki sam średni poziom inteligencji?

� Analiza kowariancji odpowie na postawione pytanie poprzez obliczenie średnich skorygowanych. Pokazują one, jaka część zmienności pozostaje w średnich z wyników z testu po oddzieleniu tej części zmienności, za którą odpowiedzialny jest poziom inteligencji (zmienna towarzysząca).

� Wpływ zmiennej towarzyszącej oddzielamy, wykorzystując metody regresji liniowej. Następnie stosujemy analizę wariancji dla zmiennych skorygowanych –czyli wobec tej części zmienności wyników z testu, która nie jest wyjaśniona przez poziom inteligencji.

22

Etapy analizy kowariancji

1) Przeprowadzamy regresję liniową zmiennej zależnej (Y – wynik

testu) na zmienną towarzyszącą (X – IQ).

2) Wyznaczamy skorygowaną zmienną zależną:

3) Przeprowadzamy analizę wariancji dla zmiennej skorygowanej

Zmienna OszacowanieBłąd

standardowy

statystyka

tp-value

stała -26,76508 18,24757 -1,47 0,17

IQ (X) 1,09061 0,1789692 6,09 0,00

( )1,09061ij ij ij

Y Y X X= − ⋅ −�

Rodzaj

zmienności

suma

kwadratów

stopnie

swobody

średni suma

kwadratów

statystyka

testowap-value

wyjaśniona (ESS) 258,775426 k - 1 = 1E = ESS/(k - 1) =

258,775426

resztowa (RSS) 320,554931 n - k - 1 = 13R = RSS/(n - k - 1)

= 24,658072

całkowita 579,330358

F = E/R

=10,490,0064658

PodręcznikŚrednie

skorygowane

A 88,02

B 79,98