statistik-team - ruhr-universität bochum · 3. das allgemeine lineare modell 3.6 kovarianzanalyse...
Post on 12-Sep-2019
1 Views
Preview:
TRANSCRIPT
3. Das allgemeinelineare Modell
3.6 Kovarianzanalyse
3.7 Modelle mitMeßwiederholungen
Statistik-Team
I Tobias Kley: tobikley@uni-muenster.de
I Ubung: Freitag, 9.00 - 10.00 Uhr, HGA 10
I Tutorium (SPSS) - ab 26.10.2009
Koordination: Dr. Helge ThiemannHelge.Thiemann-i5m@ruhr-uni-bochum.de0234/ 322-2479Gafo 04-621
I Montag 12 - 14 (GAFO 04/271)Linda EngelbrechtLinda.Engelbrecht@web.de
I Montag 10 -12 (GAFO 03/901); Montag 12 - 14 (GAFO 03/901);Freitag 12-14 (GAFO 03/974 )Max Willenbergmax.willenberg@gmx.de
1 / 51
3. Das allgemeinelineare Modell
3.6 Kovarianzanalyse
3.7 Modelle mitMeßwiederholungen
3. Das allgemeine lineare Modell
3.1 Matrizen und Vektoren, Kodierung
3.2 Addition und Multiplikation von Matrizen
3.3 Das allgemeine lineare Modell (ALM), Methode der kleinstenQuadrate
3.4 Der F -test im ALM
3.5 Zweifaktorielle Varianzanalyse
3.6 Kovarianzanalyse
3.7 Modelle mit Messwiederholungen
2 / 51
3. Das allgemeinelineare Modell
3.6 Kovarianzanalyse
3.7 Modelle mitMeßwiederholungen
3.6 Kovarianzanalyse
3 / 51
3. Das allgemeinelineare Modell
3.6 Kovarianzanalyse
3.7 Modelle mitMeßwiederholungen
Beispiel 3.19: Therapieerfolg bei Verhaltens-storungen
I Wie wirkt sich eine psychotherapeutische Behandlung aufverschiedene Verhaltensstorungen aus
I Es werden 3 Gruppen untersucht
I Konzentrationsstorung (5 Patienten)I Schlafstorung (5 Patienten)I Hysterische Verhaltungsstorung (5 Patienten)
I Gemessen wird der Therapieerfolg y (durch Expertenteameingestuft)
4 / 51
3. Das allgemeinelineare Modell
3.6 Kovarianzanalyse
3.7 Modelle mitMeßwiederholungen
DatenI K: Konzentrationsstorung (i = 1)
I S: Schlafstorung (i = 2)
I H: Hysterische Verhaltsstorung (i = 3)
j K S H1 5 5 22 6 4 13 6 2 14 4 1 15 5 3 2
Beachte: Es liegt hier das Modell der einfaktoriellen Varianzanalysevor (vgl. Methodenlehre II, Beispiel 3.8(a)). Es gibt zwei Darstellungendes Modells
Yij = µi + εij
= µ+ αi + εij i = 1, 2, 3; j = 1, 2, . . . , 5
5 / 51
3. Das allgemeinelineare Modell
3.6 Kovarianzanalyse
3.7 Modelle mitMeßwiederholungen
SPSS-Output (einfaktorielle Varianzanalysefur Beispiel 3.19 ohne Berucksichtigung vonKovariablen)
Sig.FMittel der Quadratedf
Quadratsummevom Typ III
Korrigiertes Modell
Konstanter Term
GRUPPE
Fehler
Gesamt
KorrigierteGesamtvariation
1450,400
15204,000
1,1671214,000
,00015,60018,200236,400
,000131,657153,6001153,600
,00015,60018,200236,400a
QuelleQuelle
Tests der Zwischensubjekteffekte
Abhängige Variable:Therapieerfolg
a. R-Quadrat = ,722 (korrigiertes R-Quadrat = ,676)
Man beachte:I Die drei behandelten Gruppen unterscheiden sich signifikantI Die Ergebnisse lassen vermuten, dass die Therapie bei
Konzentrationsstorungen zum großten Erfolg fuhrt(y 1· = 5.2; y 2· = 3; y 3· = 1.4)
6 / 51
3. Das allgemeinelineare Modell
3.6 Kovarianzanalyse
3.7 Modelle mitMeßwiederholungen
Vermutung: Therapieerfolg hangt auch von der Verbalisationsfahig-keit (verbale Intelligenz x) der Patienten ab. Diese Eigenschaft wirdaus diesem Grund mit gemessen
K S Hj x y x y x y1 7 5 11 5 12 22 9 6 12 4 10 13 8 6 8 2 9 14 5 4 7 1 10 14 5 5 9 3 13 2
Frage: Andert sich das Ergebnis der Varianzanalyse, falls die verbaleIntelligenz in die Untersuchungen mit einbezogen wird?
7 / 51
3. Das allgemeinelineare Modell
3.6 Kovarianzanalyse
3.7 Modelle mitMeßwiederholungen
Streudiagramm und lineare Regressionsgeraden
Verbale Intelligenz
14,0012,0010,008,006,004,00
Th
erap
ieer
folg
6,00
5,00
4,00
3,00
2,00
1,00
Anpassungslinie für Gesamtsumme
Hysterische VerhaltsstörungSchlafstörungKonzentrationsstörung
Verhaltensstörung
R2 Linear = 0,078
Konzentrationsstörung: R 2 Linear = 0,754
Schlafstörung: R 2 Linear = 0,837Hysterische Verhaltsstörung: R 2
Linear = 0,892
Beachte: Die Korrelation in der Gesamtgruppe ist negativ, aber in deneinzelnen Gruppen positiv!
8 / 51
3. Das allgemeinelineare Modell
3.6 Kovarianzanalyse
3.7 Modelle mitMeßwiederholungen
3.20 Das Modell der einfaktoriellen Kovarianz-analyse
I Wie bei der einfaktoriellen Varianzanalyse gibt es zweiDarstellungen:
Yij = µ+ αi + γxij + εij
= µi + γxij + εij i = 1, . . . , k ; j = 1, . . . , ni
(µi = µ+ αi , α1 + . . .+ αk = 0)
I yij : Testergebnis des j-ten Patienten in der i-ten Gruppe (imBeispiel ist k = 3; n1 = n2 = n3 = 5)
I µi : Einfluss der Verhaltensstorung auf Therapieerfolg
I xij : Kovariable (Verbalisationsfahigkeit) des j-ten Patienten derGruppe i . γxij ist dann der Einfluss der Kovariablen (Verbali-sationsfahigkeit) des Patienten j in Gruppe i auf den Therapie-erfolg
9 / 51
3. Das allgemeinelineare Modell
3.6 Kovarianzanalyse
3.7 Modelle mitMeßwiederholungen
3.20 Das Modell der einfaktoriellen Kovarianz-analyse
I Zwei Darstellungen:
Yij = µ+ αi + γxij + εij
= µi + γxij + εij i = 1, . . . , k ; j = 1, . . . , ni
(µi = µ+ αi , α1 + . . .+ αk = 0)
I Der Parameter γ bemisst den Einfluss der Kovariablen(Verbalisationsfahigkeit) auf den Therapieerfolg.
I γ = 0 bedeutet: die Kovariable (Verbalisationsfahigkeit) hatkeinen Einfluss auf den Therapieerfolg.
I Beachte: der Faktor γ ist fur jede Gruppe derselbe - d.h. erhangt nicht von dem Index ”i” ab (Homogenitat derRegressionskoeffizienten)
10 / 51
3. Das allgemeinelineare Modell
3.6 Kovarianzanalyse
3.7 Modelle mitMeßwiederholungen
Beachte: Dieses Modell ist ein Spezialfall des ALM
Y = Xb + ε
Wobei
b =
(µ1
µ2
µ3
γ
)ε =
ε11
.
.
.
.
.
.ε35
X =
1 0 0 71 0 0 91 0 0 81 0 0 51 0 0 50 1 0 110 1 0 120 1 0 80 1 0 70 1 0 90 0 1 120 0 1 100 0 1 90 0 1 100 0 1 13
Y =
566455421321112
11 / 51
3. Das allgemeinelineare Modell
3.6 Kovarianzanalyse
3.7 Modelle mitMeßwiederholungen
3.21 Das Modell der einfaktoriellen Kovarianz-analyse im ALM Y = XB + ε
I Daten- und Fehlervektor
Y =
y11
.
.
.y1n1
.
.
.yk1
.
.
.yknk
; ε =
ε11
.
.
.ε1n1
.
.
.εk1
.
.
.εknk
I Parametervektor und Designmatrix
b =
µ1
.
.
.µkγ
X =
1 0 0 · · · 0 x11
.
.
.
.
.
.
.
.
.
...
.
.
.
.
.
.1 0 0 · · · 0 x1n10 1 0 · · · 0 x21
.
.
.
.
.
.
.
.
.
...
.
.
.
.
.
.0 1 0 · · · 0 x2n2
.
.
.
.
.
.
.
.
.
...
.
.
.
.
.
.0 0 0 · · · 1 xk1
.
.
.
.
.
.
.
.
.
...
.
.
.
.
.
.0 0 0 · · · 1 xknk
12 / 51
3. Das allgemeinelineare Modell
3.6 Kovarianzanalyse
3.7 Modelle mitMeßwiederholungen
3.22(A) Schatzer fur γ (Methode der kleinstenQuadrate)
I
γ =
∑ki=1
∑ni
j=1(yij − y i·)(xij − x i·)∑ki=1
∑ni
j=1(xij − x i·)2
I Beachte: γ ist ein gewichtetes Mittel der Schatzer fur dieSteigungen der Regressionsgeraden in den einzelen Gruppen.D.h.
I Schatzer fur die Steigung in Gruppe i (vgl. Methodenlehre II,2.11):
γi =
∑nij=1(yij − y i·)(xij − x i·)∑ni
j=1(xij − x i·)2
I Anteil der Varianz der Kovariablen in Gruppe i an derGesamtvarianz
αi =
∑nij=1(xij − x i·)
2∑ki=1
∑nij=1(xij − x i·)2
I Es gilt (α1 + . . .+ αk = 1):
γ =k∑
i=1
αi γi
13 / 51
3. Das allgemeinelineare Modell
3.6 Kovarianzanalyse
3.7 Modelle mitMeßwiederholungen
Schatzung von γ fur die Daten aus Beispiel 3.19
I Schatzung der Steigung der Regressionsgeraden in den einzelnenGruppen
γ1 = 0.4063; γ2 = 0.6977; γ3 = 0.3148
I Varianz der Kovariablen in den einzelnen Gruppen
Gruppe 1:∑n1
j=1(x1j−x1·)2=2.56
Gruppe 2:∑n2
j=1(x2j−x2·)2=3.44
Gruppe 3:∑n3
j=1(x3j−x3·)2=2.16
I Gewichte:
α1 =2.56
2.56 + 3.44 + 2.16= 0.3137; α2 = 0.4216; α3 = 0.2647
I Schatzer fur γ
γ = 0.3137 · 0.4063 + 0.4216 · 0.6977 + 0.2647 · 0.3148 = 0.5049
14 / 51
3. Das allgemeinelineare Modell
3.6 Kovarianzanalyse
3.7 Modelle mitMeßwiederholungen
3.22(B) Schatzer fur µi (Methode der kleinstenQuadrate)
I Beachte: als Schatzer fur die Parameter µi verwendet man dieGruppenmittelwerte, wobei die Daten vorher um den Einfluss derKovariablen korrigiert werden
µi = 1ni
∑nj=1 (yij − γxij) = y i· − γx i·
I Schatzer fur die Varianz der zufalligen Fehler (Residualvarianz)
s2y |x =
1
n − k − 1
k∑i=1
ni∑j=1
(yij − µi − γxij)2
(dabei bezeichnet n = n1 + · · ·+ nk den Gesamtstichproben-umfang)
15 / 51
3. Das allgemeinelineare Modell
3.6 Kovarianzanalyse
3.7 Modelle mitMeßwiederholungen
Schatzung von µ1, µ2, µ3 fur die Daten ausBeispiel 3.19
I Schatzung der Mittelwerte (y) einzelnen Gruppen
y 1· = 5.2; y 2· = 3; y 3· = 1.4
I Schatzung der Mittelwerte (x) einzelnen Gruppen
x1· = 6.8; x2· = 9.4; x3· = 10.8
I Schatzung der korrigierten Mittelwerte einzelnen Gruppen
µ1 = 5.2− 0.5049 · 6.8 = 1.767;
µ2 = −1.746; µ3 = −4.053
16 / 51
3. Das allgemeinelineare Modell
3.6 Kovarianzanalyse
3.7 Modelle mitMeßwiederholungen
Mathematische Formulierung der Hypothesen(im Beispiel 3.19): kein Einfluss der Kovariable
I Die Kovariable hat keinen Einfluss auf den Therapieerfolg:
H0 : γ = 0
Mit der Matrix K = (0, 0, 0, 1) und dem Parametervektorb = (µ1, µ2, µ3, γ)T kann man diese Nullhypothese schrei-ben als
H0 : Kb = (0, 0, 0, 1) ·
µ1
µ2
µ3
γ
= γ = 0
17 / 51
3. Das allgemeinelineare Modell
3.6 Kovarianzanalyse
3.7 Modelle mitMeßwiederholungen
Mathematische Formulierung der Hypothesen(im Beispiel 3.19): kein Unterschied zwischenden Gruppen
I Zwischen den verschiedenen Verhaltensstorungen besteht keinUnterschied hinsichtlich des Therapieerfolgs:
H0 : µ1 = µ2 = µ3
Mit der Matrix
K =
(1 −1 0 00 1 −1 0
)und dem Parametervektor b = (µ1, µ2, µ3, γ)T kann man dieseHypothese schreiben als
H0 : Kb =
(1 −1 0 00 1 −1 0
)µ1
µ2
µ3
γ
=
(µ1 − µ2
µ2 − µ3
)=
(00
)
18 / 51
3. Das allgemeinelineare Modell
3.6 Kovarianzanalyse
3.7 Modelle mitMeßwiederholungen
3.23(A) F -Test auf Signifikanz des Regressions-koeffizienten
Man beachte: Alle Hypothesen konnen mit dem F -Test im ALM(vgl. Methodenlehre II; 3.12) getestet werden. Die Anwendung derallgemeinen Theorie liefert:
I Die Hypothese H0 : γ = 0 (Kovariable hat keinen Einfluss) wirdzum Niveau α abgelehnt, falls
Fγ =11 γ
2 ns2xx
s2y |x
> F1,n−k−1,1−α
gilt (oder der p-Wert < α ist). Dabei ist F1,n−k−1,1−α das (1−α)Quantil der F -Verteilung und
s2xx =
1
n
k∑i=1
ni∑j=1
(xij − x ··)2
die Summe der quadrierten Abweichungen der Kovariablen vonihrem Mittelwert
19 / 51
3. Das allgemeinelineare Modell
3.6 Kovarianzanalyse
3.7 Modelle mitMeßwiederholungen
Alternative Interpretation der Teststatistik aus3.23(A): Differenz von Summen aus quadriertenResiduen (vgl. Methodenlehre II, Kapitel 3.4)
I Trifft die Hypothese H0 : γ = 0 (die Kovariable hat keinenEinfluss auf den Therapieerfolg) zu, so liegt das Modell dereinfaktoriellen Varianzanalyse vor:
yij = µi + εij ; i = 1, . . . , k ; j = 1, . . . , ni
Bezeichnet
y i· =1
n
ni∑j=1
yij i = 1, . . . , k
den Mittelwert in Gruppe i (nicht bzgl. der Kovariablenkorrigiert), dann ist
s2H0
=1
n − k
k∑i=1
(yij − y i·)2
die Residualvarianz der einfaktoriellen Varianzanalyse (Varianzunter der Nullhypothese)
20 / 51
3. Das allgemeinelineare Modell
3.6 Kovarianzanalyse
3.7 Modelle mitMeßwiederholungen
Allgemeines Prinzip: Differenz von Summenaus quadrierten Residuen
I Nach 3.22(B) ist
s2y |x =
1
n − k − 1
k∑i=1
ni∑j=1
(yij − µi − γxij)2
die Residualvarianz im Modell der einfaktoriellen Kovarianzanalyse(Varianz unter der Alternative)
I Die Statistik des F -Tests hat die Darstellung
Fγ =(n − k) s2
H0− (n − k − 1) s2
y |x
s2y |x
=11 (RSSγH0
− RSS)1
n−k−1 RSS
Man vergleicht also die Summen der quadrierten Residuen in demModell der einfaktoriellen Varianzanalyse [RSSγH0
= (n − k)s2H0
]und unter der Einbeziehung der Kovariablen[RSS = (n − k − 1)s2
y |x ]I Kurz: Differenz der Summe der quadrierten Residuen unter
Nullhypothese und Alternative dividiert durch die Summe derquadrierten Residuen unter Alternative
21 / 51
3. Das allgemeinelineare Modell
3.6 Kovarianzanalyse
3.7 Modelle mitMeßwiederholungenBeispiel: Test auf Einfluss der Kovariablen fur die Daten aus Beispiel
3.19
I RSSγH0= (n − k) s2
H0= 14.0
I RSS = (n − k − 1) s2y |x = 3.6
I Fγ = 14.0−3.61
11 3.6= 10.4
0.327 = 31.78
Fur α = 5% ist F1,11,0.95 = 4.844, also wird die Nullhypothese
H0 : γ = 0
(kein Einfluss der Kovariablen) zum Niveau 5% verworfen (P-Wert:0.0001)
22 / 51
3. Das allgemeinelineare Modell
3.6 Kovarianzanalyse
3.7 Modelle mitMeßwiederholungen
3.23(B) F -Test auf Unterschiede zwischen denGruppen
I Die HypotheseH0 : µ1 = · · · = µk
wird zum Niveau α abgelehnt, falls
Fµ =1
k−1
∑ki=1 ni (y∗i· − y∗··)
2
1n−k−1
∑ki=1
∑ni
j=1 (y∗ij − y∗i·)2> Fk−1,n−k−1,1−α
gilt. Dabei istI Fk−1,n−k−1,1−α das (1− α)-Quantil der F -Verteilung mit
(k − 1, n − k − 1) FreiheitsgradenI y∗ij = yij − γxij (die um den Einfluss der Kovariablen bereinigten
Daten)I y∗i· = 1
ni
∑nij=1 y∗ij der Gruppemmittelwert in Gruppe i
I y∗·· = 1n
∑ki=1
∑n1j=1 y∗ij der Gesamtmittelwert
I Beachte: es wird eine einfaktorielle Varianzanalyse mit den“korrigierten” Daten y∗ij = yij − γxij durchgefuhrt
23 / 51
3. Das allgemeinelineare Modell
3.6 Kovarianzanalyse
3.7 Modelle mitMeßwiederholungen
Alternative Interpretation der Teststatistik aus3.23(A): Differenz von Summen aus quadriertenResiduen
Fµ =1
k−1 (RSSµH0− RSS)
1n−k−1 RSS
I Residuensumme unter der Nullhypothese H0 : µ1 = · · · = µk
RSSµH0=
k∑i=1
ni∑j=1
(y∗ij − y∗··)2
I Residensumme im Modell der Kovarianzanalyse(µi = 1
ni
∑ni
j=1(yij − γxij) = y∗i· beachten!)
RSS =k∑
i=1
ni∑j=1
(yij − µi−γxij)2 =
k∑i=1
ni∑j=1
(y∗ij − y∗i·)2
24 / 51
3. Das allgemeinelineare Modell
3.6 Kovarianzanalyse
3.7 Modelle mitMeßwiederholungenBeispiel: Test auf Gruppenunterschiede fur die Daten aus Beispiel
3.19
I RSSµH0= 46.45
I RSS = 3.6
I Fµ =12 (46.45−3.6)
111 3.6
=12 42.85
111 3.6
= 65.48
Fur α = 5% ist F2,11,0.95 = 3.982, also wird die Nullhypothese (keineGruppenunterschiede)
H0 : µ1 = µ2 = µ3
zum Niveau 5% verworfen (P-Wert: 0.000001)
25 / 51
3. Das allgemeinelineare Modell
3.6 Kovarianzanalyse
3.7 Modelle mitMeßwiederholungen
SPSS-Output: einfaktorielle Kovarianzanalyse
Sig.FMittel der Quadratedf
Quadratsummevom Typ III
Korrigiertes Modell
Konstanter Term
GRUPPE
VERBALE_INTELLIGENZ
Fehler
Gesamt
KorrigierteGesamtvariation
1450,400
15204,000
,327113,599
,00031,78910,401110,401
,00065,48321,425242,850
,1292,691,8801,880
,00047,68115,600346,801a
QuelleQuelle
Tests der Zwischensubjekteffekte
Abhängige Variable:Therapieerfolg
a. R-Quadrat = ,929 (korrigiertes R-Quadrat = ,909)
Man Beachte: Durch Einbeziehung der Kovarariablen verkleinert sichdie Summe der quadrierten Residuen von 14.00 (im Modell der ein-faktoriellen Varianzanalyse) auf 3.6 (im Modell der einfaktoriellenKovarianzanalyse).D.h. statt 72.22% werden 92.86% der Varianz erklart!
26 / 51
3. Das allgemeinelineare Modell
3.6 Kovarianzanalyse
3.7 Modelle mitMeßwiederholungen
3.24 Voraussetzungen fur die Kovarianzanalyse
I Modell der einfaktoriellen Kovarianzanalyse
yij = µi + γxij + εij
= µ+ αi + γxij + εij i = 1, . . . , k ; j = 1, . . . , ni
I µi reprasentiert den Einfluss der Gruppe i auf die abhangigeVariable yij
I γxij reprasentiert den Einfluss der Kovariablen xij auf dieabhangige Variable yij
I Die zufalligen Fehler εij sind unabhangig und normalverteilt mitErwartungswert 0 und Varianz σ2 (diese Annahme ist in Beispiel3.19 mindestens diskussionswurdig)
I Der Faktor γ is unabhangig von der Gruppe (d.h. hangt nicht voni ab): Homogenitat der Regressionskoeffizienten
27 / 51
3. Das allgemeinelineare Modell
3.6 Kovarianzanalyse
3.7 Modelle mitMeßwiederholungen
3.25 Uberprufung der Annahme der Homogenitatder Regressionskoeffizienten
I Modell
yij = µi + γixij + εij ; i = 1, . . . , k ; j = 1, . . . , ni
I Nullhypothese: Der Einfluss der Kovariablen andert sich nicht mitder Gruppenzugehorigkeit
H0 : γ1 = γ2 = · · · = γk
I Beachte:
- In diesem Modell betrachtet fur jede Gruppe eine Regressions-gerade und die Nullhypothese sagt aus, dass dieser k Geradenparallel sind- Das Modell hat 2k Parameter µ1, . . . , µk , γ1, . . . , γk (imBeispiel 6)- Das Modell der einfaktoriellen Kovarianzanalyse hat k + 1Parameter µ1, . . . , µk , γ (im Beispiel 4)
28 / 51
3. Das allgemeinelineare Modell
3.6 Kovarianzanalyse
3.7 Modelle mitMeßwiederholungen
Design- und Hypothesenmatrix fur Beispiel 3.19
b =
µ1
µ2
µ3
γ1
γ2
γ3
X =
1 0 0 7 0 01 0 0 9 0 01 0 0 8 0 01 0 0 5 0 01 0 0 5 0 00 1 0 0 11 00 1 0 0 12 00 1 0 0 8 00 1 0 0 7 00 1 0 0 9 00 0 1 0 0 120 0 1 0 0 100 0 1 0 0 90 0 1 0 0 100 0 1 0 0 13
K =
(0 0 0 1 −1 00 0 0 0 1 −1
)Kb =
(γ1 − γ2
γ2 − γ3
)
29 / 51
3. Das allgemeinelineare Modell
3.6 Kovarianzanalyse
3.7 Modelle mitMeßwiederholungen
3.26 F -Test fur die Hypothese der Homogenitatder Regressionskoeffizienten
I Die HypotheseH0 : γ1 = · · · = γk
wird zum Niveau α abgelehnt, falls
F γ =1
k−1 (RSSH0− RSS)
1n−2k RSS
> Fk−1,n−2k,1−α
Dabei sindI RSSH0
=∑k
i=1
∑nij=1(yij − µi − γxij)
2 die Summe der quadriertenResiduen unter der Nullyhpothese
I µi , γ die kleinsten Quadrate Schatzer unter der Annahme der Ho-mogenitat der Regressionskoeffizienten (vgl. Bemerkung 3.22)
I RSS =∑k
i=1
∑nij=1(yij − µi − γixij)
2 die Summe der quadriertenResiduen , unter der Annahme, dass keine Homogenitat derRegressionskoeffizienten vorliegt
I (µi , γi ) die kleinsten Quadrate Schatzungen, unter der Annahme,dass keine Homogenitat der Regressionskoeffizienten vorliegt
30 / 51
3. Das allgemeinelineare Modell
3.6 Kovarianzanalyse
3.7 Modelle mitMeßwiederholungenBeispiel: F -Test fur die Hypothese der Homogenitat der
Regressionskoeffizienten fur die Daten aus Beispiel 3.19
I RSSH0= 3.6
I RSS = 2.445
I F γ =12 (3.6−2.445)
115−6 2.445
= 0.57750.2717 = 2.125
Fur α = 5% ist F2,9,0.95 = 4.256, also wird die Nullhypothese derHomogenitat der Regressionskoeffizienten
H0 : γ1 = γ2 = γ3
zum Niveau 5% nicht verworfen (P-Wert: 0.824)
31 / 51
3. Das allgemeinelineare Modell
3.6 Kovarianzanalyse
3.7 Modelle mitMeßwiederholungen
SPSS Output: Uberprufung der Annahme derHomogenitat in der einfaktoriellenKovarianzanalyse
Sig.FMittel der Quadratedf
Quadratsummevom Typ III
Korrigiertes Modell
Konstanter Term
GRUPPE
VERBALE_INTELLIGENZ
GRUPPE * VERBALE_INTELLIGENZ
Fehler
Gesamt
KorrigierteGesamtvariation
1450,400
15204,000
,27292,445
,1762,124,57721,154
,00032,3748,79518,795
,0117,7542,10724,213
,2151,779,4831,483
,00035,3049,591547,955a
QuelleQuelle
Tests der Zwischensubjekteffekte
Abhängige Variable:Therapieerfolg
a. R-Quadrat = ,951 (korrigiertes R-Quadrat = ,925)
32 / 51
3. Das allgemeinelineare Modell
3.6 Kovarianzanalyse
3.7 Modelle mitMeßwiederholungen
3.27 Bemerkungen zur Kovarianzanalyse
I Mit der Kovarianzanalyse uberpruft man, wie “bedeutsam” derEinfluss der Kovariablen ist
I Der Einfluss der Kovariablen wird durch die Kovarianzanalyseneutralisiert
I Durch die Beachtung der Kovariablen wird im Modell derVarianzanalyse die Residualvarianz reduziert.
I Beachte: liegt keine Homogenitat der Regessionskoeffizientenvor, so ist eine Durchfuhrung der Kovarianzanalyse wie in 3.23(A)und 3.23(B) beschrieben nicht sinnvoll.
33 / 51
3. Das allgemeinelineare Modell
3.6 Kovarianzanalyse
3.7 Modelle mitMeßwiederholungen
3.27 Bemerkungen zur Kovarianzanalyse
I Eine Kovarianzanalyse ist eine Varianzanalyse “bereinigt” um denEinfluss der Kovariablen. D.h. Eine Kovarianzanalyse ist eineVarianzanalyse der Regressionsresiduen y∗ij = yij − γxij
I Durch die Kovarianzanalyse wird die Verzerrung durch dieGruppenunterschiede in der gewohnlichen linearen Regressionkorrigiert
I Das Modell der Kovarianzanalyse kann in verschiedeneReichtungen erweitert werden:
I Mehrere Faktoren. Z.B. Zweifaktorielle Kovarainzanalyse
yijk = µ+ αi + βj + αβij + γxijk + εijk
I Modelle mit Messwiederholungen (vgl. Kapitel 3.7)
I Mehrdimensionale Kovariablen
34 / 51
3. Das allgemeinelineare Modell
3.6 Kovarianzanalyse
3.7 Modelle mitMeßwiederholungen
3.7 Modelle mit Meßwiederholungen
35 / 51
3. Das allgemeinelineare Modell
3.6 Kovarianzanalyse
3.7 Modelle mitMeßwiederholungen
3.28 Beispiel: Tagesschwankungen desHautwiderstands
I Bei 10 Versuchspersonen wird morgens, mittags und abends derHautwiderstand gemessen
I Es soll uberpruft werden, ob der Hautwiderstand Tagesschwank-ungen unterliegt (α = 0.01) oder zu den drei Zeiten im Mittelgleich ist
I Beachte: Die Versuchspersonen werden unter den 3 Faktorstufenwiederholt untersucht.
I Problem: In solchen Versuchsanordnungen ist in der Regel dieUnabhangigkeitsannahme, die fur die einfaktorielle Varianzanalysebenotigt wird (vgl. Methodenlehre II, 1.4), nicht mehr erfullt
36 / 51
3. Das allgemeinelineare Modell
3.6 Kovarianzanalyse
3.7 Modelle mitMeßwiederholungen
Daten im Beispiel 3.28
Vpn morgens mittags abends1 7 7 62 5 6 83 8 9 54 6 8 65 7 7 56 7 9 77 5 10 68 6 7 49 7 8 6
10 5 7 5
37 / 51
3. Das allgemeinelineare Modell
3.6 Kovarianzanalyse
3.7 Modelle mitMeßwiederholungen
Lineares Modell fur Beispiel 3.28
I Man modelliert hier einen personenindividuellen Mittelwert undeinen Mittelwert fur die Tageszeit:
Yij = µi + pj + εij i = 1, 2, 3 j = 1, . . . , 10
I Beachte: Das ist das Modell der zweifaktoriellen Varianzanalyse(vgl. Methodenlehre II, Kapitel 3.5) mit einer Beobachtung proFaktorkombination, wobei
- keine Wechselwirkung angenommen wird (da man diese mit einerBeobachtung pro Faktorkombination nicht schatzen kann)
- Die zufalligen Fehler εij in der Regel nicht als unabhangigangenommen werden konnen
- Das Modell hat 13 Parameter µ1, µ2, µ3; p1, . . . , p10
- Oft werden die Personeneffekte als zufallig angenommen (⇒ALM mit zufalligen Faktoren). Diese Thematik wird in dieserVorlesung nicht besprochen.
38 / 51
3. Das allgemeinelineare Modell
3.6 Kovarianzanalyse
3.7 Modelle mitMeßwiederholungen
I Man modelliert hier einen personenindividuellen Mittelwert undeinen Mittelwert fur die Tageszeit:
Yij = µi + pj + εij i = 1, 2, 3 j = 1, . . . , 10
I Parameter im ALM Y = Xb + ε
b = (µ1, µ2, µ3, p1, . . . , p10)T
I Die zu prufende Hypothese ”keine Tagesschwankungen” kanndann formuliert werden als:
H0 : Kb =
(1 −1 0 0 · · · 00 1 −1 0 · · · 0
)b =
(µ1 − µ2
µ2 − µ3
)=
(00
)I Wurde man die Abhangigkeit der Fehler εij ingnorieren, dann
ware der F -Test aus Kapitel 3.4 anwendbar!
39 / 51
3. Das allgemeinelineare Modell
3.6 Kovarianzanalyse
3.7 Modelle mitMeßwiederholungen
SPSS-Output: Varianzanalyse fur die Daten ausBsp. 3.28
Sig.FMittel der Quadratedf
Quadratsummevom Typ III
Modell
VPN
TAGESZEIT
Fehler
Gesamt 301377,000
1,3151823,667
,0038,23910,833221,667
,486,9831,293911,633
,00085,775112,778121353,333a
QuelleQuelle
Tests der Zwischensubjekteffekte
Abhängige Variable:HAUTWIDERSTAND
a. R-Quadrat = ,983 (korrigiertes R-Quadrat = ,971)
Beachte:I Die Hypothese, dass sich der Hautwiderstand im Tagesverlauf
nicht andert wird zum Niveau α = 0.01 verworfen (p-Wert: 0.003)I Die Berechnung der p-Werte erfolgt unter der Annahme, dass die
Großen εij unabhangig sind (diese Annahme ist hier nicht zurechtfertigen)
40 / 51
3. Das allgemeinelineare Modell
3.6 Kovarianzanalyse
3.7 Modelle mitMeßwiederholungen
Problem: abhangige Daten
I Bei der Berechnung der p-Werte in dem vorigen Beispiel wirdverwendet dass die Teststatistik eine F -Verteilung mit (2, 18)Freiheitsgraden besitzt.
I Diese Vorgehensweise ist korrekt, falls die Großen εij unabhangigsind (diese Annahme ist hier nicht zu rechtfertigen)
I Haufig sind die Fehler bei Untersuchungen mit Messwiederhol-ungen abhangig! Fur beliebige Abhangigkeitsstrukturen ist dieTeststatistik in der Regel dann nicht F -verteilt ( ⇒ p-Wertenicht korrekt)
I Frage: Gibt es andere Abhangigkeitsstrukturen (als dieUnabhangigkeit), unter denen die Teststatistik doch F -verteilt ist?
41 / 51
3. Das allgemeinelineare Modell
3.6 Kovarianzanalyse
3.7 Modelle mitMeßwiederholungen
Die ZirkularitatsannahmeI Die bei der Varianzanalyse im Modell
Yij = µi + pj + εij i = 1, . . . , p; j = 1, . . . , n
verwendete Teststatistik (F -Test aus ALM) besitzt genau danneine Fp−1,(p−1)(n−1)-Verteilung (im Beispiel ist p = 3 undn = 10), falls die Varianzen zwischen den Treatmenteffektenkonstant ist, d.h.
Var(Yij − Ykj) = konstant falls i 6= k
giltI Diese Bedingung wird als Zirkularitatsannahme (ZA)
bezeichnetI Beachte: Die Zirkularitatsannahme ist erfullt falls die Varianzen
und Kovarianzen homogen sind, d.h.
Var(Yij) = konstant1 , Cov(Yij ,Ykj) = konstant2
In diesem Fall spricht man von Homogenitat der Korre-lationen. Sind die Korrelationen außerdem 0 wird vonSpharizitat gesprochen.
42 / 51
3. Das allgemeinelineare Modell
3.6 Kovarianzanalyse
3.7 Modelle mitMeßwiederholungen
3.29 Modell der einfaktoriellen Varianzanalysemit Messwiederholungen
I Untersuche den Einfluss eines Faktors (z.B. “Tageszeit”) auf dieabhangige Variable (z.B. “Hautwiderstand”) in dem Fall, wenndie abhangige Variable fur jeweils alle Faktorstufen an denselbenVersuchspersonen beobachtet werden
I Mathematisches Modell
Yij = µi + pj + εij i = 1, . . . , n j = 1, . . . , p
mitI µi : Mittelwert der i-ten FaktorstufeI pj : individuelle Abweichung von Person jI εij : Storgroße (fur die Messung von Faktorstufe i bei Person j).
43 / 51
3. Das allgemeinelineare Modell
3.6 Kovarianzanalyse
3.7 Modelle mitMeßwiederholungen
F -Test bei einfaktoriellen Varianzanalyse mitMesswiederholungen
I ModellannahmenI Storgroßen unabhangig zwischen den Versuchspersonen,
normalverteilt mit derselben VarianzI keine Wechselwirkungen zwischen dem Faktor und den PersonenI die Zirkularitatsannahme: konstante Varianzen zwischen den
Treatmenteffekten
I In diesem Fall ist der F -Test aus Kapitel 3.4 (Methodenlehre II)anwendbar und die Nullhypothese
H0 : µ1 = µ2 = . . . µp
wird zum Niveau α verworfen, falls die Statistik des F -Testsgroßer ist als das (1− α)- Quantil der F -Verteliung mit(p − 1, (p − 1)(n − 1)) Freiheitsgraden
I Fragen:I Was macht man, wenn die Zirkularitatsannahme nicht erfullt ist?I Wie uberpruft man die Zirkularitatsannahme?
44 / 51
3. Das allgemeinelineare Modell
3.6 Kovarianzanalyse
3.7 Modelle mitMeßwiederholungen
3.30 Verletzung der Zirkularitatsannahme
I Beachte: Ist die Zirkularitatsannahme nicht erfullt, so erhalt manprogressive Tests, d.h. H1 wird haufiger begunstigt, als durch dasNiveau α vorgesehen
I Idee: Ist die Zirkularitatsannahme nicht gerechtfertigt, so fuhrtman eine ”Korrektur” der Freiheitsgrade durch, so dass dieTeststatistik naherungsweise F -verteilt ist
I Korrektur der Freiheitsgrade verhindert progressives TestenI Die korrigierte F-Verteilung hat (p − 1)ε und (p − 1)(n − 1)ε
Freiheitsgrade, wobei 1p−1≤ ε ≤ 1
I Der Korrekturfaktor ε kann aus den Daten (genauer denVarianzen und Kovarianzen) geschatzt werden
I Es gibt unterschiedliche Vorschlage, wie man diesen Korrektur-faktor berechnen soll
I In SPSS implementiert:(A) Greenhouse/Geisser(B) Huynh/Feldt(C) die Untergrenze von 1
p−1
45 / 51
3. Das allgemeinelineare Modell
3.6 Kovarianzanalyse
3.7 Modelle mitMeßwiederholungen
SPSS-Output: Prufung der Zirkularitatsannahme
Sig.dfApproximiertes
Chi-QuadratMauchly-W UntergrenzeHuynh-FeldtGreenhouse-
Geisser
Epsilonaa
Tageszeit ,5001,000,954,8222,392,952InnersubjekteffektInnersubjekteffekt
Mauchly-Test auf Sphärizitätb
Prüft die Nullhypothese, daß sich die Fehlerkovarianz-Matrix der orthonormalisierten transformierten abhängigen Variablen proportional zur Einheitsmatrix verhält.
a. Kann zum Korrigieren der Freiheitsgrade für die gemittelten Signifikanztests verwendet werden. In der Tabelle mit den Tests der Effekte innerhalb der Subjekte werden korrigierte Tests angezeigt.
b. Design: Konstanter Term Innersubjektdesign: Tageszeit
Maß:MASS_1
I Beachte: SPSS liefert keinen Test fur die Hypothese dass dieZirkularitatsannahme erfullt ist, sondern einen Test fur dieHypothese der Spharizitat
I Die Hypothese, dass Spharizitat vorliegt, kann in Beispiel 3.28nicht verworfen werden
I Die beiden Schatzungen des Korrekturfaktors ε liegen nahe bei 1 Die Anwendung der einfaktoriellen Varianzanalyse wie in 3.29beschrieben ist gerechtfertigt
46 / 51
3. Das allgemeinelineare Modell
3.6 Kovarianzanalyse
3.7 Modelle mitMeßwiederholungen
Die Zerlegung der Quadratsumme in zwei Stufen
p∑i=1
n∑j=1
(yij − y ··)2
︸ ︷︷ ︸QStot
= pn∑
j=1
(y ·j − y ··)2
︸ ︷︷ ︸QSzwVpn
+
p∑i=1
n∑j=1
(yij − y ·j)2
︸ ︷︷ ︸QSinVpn
p∑i=1
n∑j=1
(yij − y ·j)2
︸ ︷︷ ︸QSinVpn
= n
p∑i=1
(y i· − y ··)2
︸ ︷︷ ︸QStreat
+
p∑i=1
n∑j=1
(yij − y ·j − y i· + y ··)2
︸ ︷︷ ︸QSres
47 / 51
3. Das allgemeinelineare Modell
3.6 Kovarianzanalyse
3.7 Modelle mitMeßwiederholungen
Schematische Darstellung der zweistufigenZerlegung der Quadratsumme
Total(QStot)
Zwischen den Vpn(QSzw Vpn)
Innerhalb der Vpn(QSin Vpn)
Zwischen den Faktorstufen
(QStreat)
Residual(QSres)
48 / 51
3. Das allgemeinelineare Modell
3.6 Kovarianzanalyse
3.7 Modelle mitMeßwiederholungen
SPSS-Output: in zwei Teilen
Teil 1: Analyse der Varianz zwischen den Versuchspersonen
I Zerlegung der Quadratsumme
pn∑
j=1
y 2·j = p
n∑j=1
(y ·j − y ··)2 + pny 2
··
I Im Prinzip testet man in der einfaktoriellen Varianzanalyse ob derErwartungswert der gemittelten Daten y ·j gleich 0 ist
I Da man uber die Faktorstufen mittelt, liegen hier keineAbhangigkeiten vor
Sig.FMittel der Quadratedf
Quadratsummevom Typ III
Konstanter Term
Fehler 1,293911,633
,0001021,2291320,03311320,033QuelleQuelle
Tests der Zwischensubjekteffekte
Maß:MASS_1Transformierte Variable:Mittel
49 / 51
3. Das allgemeinelineare Modell
3.6 Kovarianzanalyse
3.7 Modelle mitMeßwiederholungen
SPSS-Output
Teil 2: Analyse der Varianz innerhalb der Versuchspersonen
I Zerlegung der Quadratsumme QSinVpn = QStreat + QSres
I Hier testet man ob die Erwartungswerte µ1, µ2 und µ3 derverschiedenen Treatmentgruppen gleich sind
I Da Unterschiede zwischen den Faktorstufen betrachtet werden,liegen hier Abhangigkeiten vor. In diesem Fall muss man dieZikularitatsannahme prufen und gfs. die Freiheitsgrade korrigieren
Sig.FMittel der Quadratedf
Quadratsummevom Typ III
Sphärizität angenommen
Greenhouse-Geisser
Huynh-Feldt
Untergrenze
Sphärizität angenommen
Greenhouse-Geisser
Huynh-Feldt
Untergrenze
Tageszeit
Fehler(Tageszeit)
2,6309,00023,667
1,31518,00023,667
1,37817,17923,667
1,3151823,667
,0188,23921,6671,00021,667
,0038,23910,8332,00021,667
,0038,23911,3511,90921,667
,0038,23910,833221,667QuelleQuelle
Tests der Innersubjekteffekte
Maß:MASS_1
I Die ermittelten p-Werte weichen praktisch nicht voneinander ab.
50 / 51
3. Das allgemeinelineare Modell
3.6 Kovarianzanalyse
3.7 Modelle mitMeßwiederholungen
Abschließende Bemerkungen
I Aus Zeitgrunden wird nur die einfaktorielle Varianzanalyse mitMesswiederholungen besprochen
I Bein anderen Versuchsplanen geht man ahnlich vor. Z.B.
I zweifaktorielle Varianzanalyse mit MesswiederholungenI Kovarianzanalyse mit MesswiederholungenI etc.
51 / 51
top related