4. das multiple lineare regressionsmodell · die matrix e(uu0) = cov(u), die sowohl die varianzen...
TRANSCRIPT
![Page 1: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/1.jpg)
4. Das multiple lineare Regressionsmodell
Bisher:
• 1 endogene Variable y wurde zuruckgefuhrt auf 1 exogeneVariable x (einfaches lineares Regressionsmodell)
Jetzt:
• Endogenes y wird regressiert auf mehrere exogene Variablenx1, . . . , xK (multiples lineares Regressionsmodell)
Es zeigt sich:
• Viele Ergebnisse und Intuitionen der einfachen Regressionubertragen sich auf das multiple Modell
130
![Page 2: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/2.jpg)
Wichtige Hilfsmittel:
• Matrixalgebra
• Erwartungswertvektor
• Kovarianzmatrix
• multivariate Normalverteilung
131
![Page 3: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/3.jpg)
Inhaltlicher Aufbau:
• Modellspezifikation(A-, B-, C-Annahmen)
• Punktschatzung(KQ-, ML-Schatzung, Bestimmtheitsmaß)
• Hypothesentests(t-Test, F -Test)
• Prognose
132
![Page 4: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/4.jpg)
4.1 Spezifikation
Beispiel: (I)
• Schatzung einer Produktionsfunktion fur Gerste
• Exogene Variablen (Dungemitteleinsatze):
Phosphat p (in kg/ha)Stickstoff n (in kg/ha)
• Endogene Variable (Output):
Gerste g (in 100kg/ha)
133
![Page 5: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/5.jpg)
Beispiel: (II)
• Stichprobenumfang:
30 Beobachtungen (Parzellen)
• Okonomisches Modell:
g = f(p, n)
(grundlegender Wirkungszusammenhang)
Nachster Schritt:
• Funktionale Spezifikation
134
![Page 6: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/6.jpg)
Erhobener Datensatz
i pi ni gi i pi ni gi1 22.00 40.00 38.36 16 25.00 110.00 59.552 22.00 60.00 49.03 17 26.00 50.00 55.243 22.00 90.00 59.87 18 26.00 70.00 54.134 22.00 120.00 59.35 19 26.00 90.00 66.575 23.00 50.00 45.45 20 26.00 110.00 61.746 23.00 80.00 53.23 21 27.00 40.00 48.997 23.0 100.00 56.55 22 27.00 60.00 54.388 23.00 120.00 50.91 23 27.00 80.00 58.289 24.00 40.00 44.87 24 27.00 100.00 62.8110 24.00 60.00 54.06 25 28.00 50.00 50.7611 24.00 90.00 60.34 26 28.00 70.00 51.5412 24.00 120.00 58.21 27 28.00 100.00 59.3913 25.00 50.00 51.52 28 28.00 110.00 68.1714 25.00 80.00 58.58 29 29.00 60.00 59.2515 25.00 100.00 57.27 30 29.00 100.00 64.39
135
![Page 7: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/7.jpg)
1. Funktionale Form (A-Annahmen)
Spezifikation in 3 Schritten:
• 1. Schritt: (I)
Moglicher Wirkungszusammenhang:
g = α + β1p + β2n
(α, β1, β2 unbekannte Parameter)
Nachteil: keine abnehmenden Grenzertrage
136
![Page 8: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/8.jpg)
• 1. Schritt: (II)
Realistischer:
g = Apβ1nβ2
mit Parametern A, β1, β2(Cobb-Douglas-Produktionsfunktion)
Nachteil: Zusammenhang ist nicht linear
Ausweg: Logarithmieren
ln(g) = ln(A) + β1 ln(p) + β2 ln(n)
Definiere
y ≡ ln(g), x1 ≡ ln(p), x2 ≡ ln(n), α ≡ ln(A)
−→ Lineares Modell
y = α + β1x1 + β2x2
137
![Page 9: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/9.jpg)
Logarithmierter Datensatz
i x1i x2i yi i x1i x2i yi[ln(pi)] [ln(ni)] [ln(gi)] [ln(pi)] [ln(ni)] [ln(gi)]
1 3.0910 3.6889 3.6470 16 3.2189 4.7005 4.08682 3.0910 4.0943 3.8924 17 3.2581 3.9120 4.01173 3.0910 4.4998 4.0922 18 3.2581 4.2485 3.99144 3.0910 4.7875 4.0835 19 3.2581 4.4998 4.19835 3.1355 3.9120 3.8166 20 3.2581 4.7005 4.12296 3.1355 4.3820 3.9746 21 3.2958 3.6889 3.89167 3.1355 4.6052 4.0351 22 3.2958 4.0943 3.99608 3.1355 4.7875 3.9301 23 3.2958 4.3820 4.06539 3.1781 3.6889 3.8038 24 3.2958 4.6052 4.140110 3.1781 4.0943 3.9901 25 3.3322 3.9120 3.927111 3.1781 4.4998 4.1000 26 3.3322 4.2485 3.942412 3.1781 4.7875 4.0641 27 3.3322 4.6052 4.084113 3.2189 3.9120 3.9420 28 3.3322 4.7005 4.222014 3.2189 4.3820 4.0704 29 3.3673 4.0943 4.081815 3.2189 4.6052 4.0478 30 3.3673 4.6052 4.1650
138
![Page 10: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/10.jpg)
• 2. und 3. Schritt:Das okonometrische Modell lautet fur i = 1, . . . ,30:
yi = α + β1x1i + β2x2i + ui
Jetzt:
• Allgemeine Formulierung des multiplen linearen Regressions-modells mit K exogenen Variablen
yi = α + β1x1i + β2x2i + . . . + βKxKi + ui
fur i = 1, . . . , N , bzw. ausgeschrieben
y1 = α + β1x11 + β2x21 + . . . + βKxK1 + u1y2 = α + β1x12 + β2x22 + . . . + βKxK2 + u2
...yN = α + β1x1N + β2x2N + . . . + βKxKN + uN
139
![Page 11: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/11.jpg)
Bemerkungen:
• Die (K + 1) Parameter α, β1, . . . , βK heißen Regressionspa-rameter oder Regressionskoeffizienten
• Die Zufallsvariable ui ist eine Storgroße
Jetzt:
• Formulierung der klassischen A-, B-, C-Annahmen fur dasmultiple Regressionsmodell
140
![Page 12: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/12.jpg)
1. Funktionale Form (A-Annahmen)
• Annahme A1:Im multiplen Regressionsmodell (Folie 139) fehlen keine rele-vanten exogenen Variablen und die benutzten exogenen Vari-ablen x1, x2, . . . , xK sind nicht irrelevant
• Annahme A2:Der wahre Zusammenhang zwischen x1i, x2i, . . . , xKi und yiist linear
• Annahme A3:Die Parameter α, β1, . . . , βK sind fur alle N Beobachtungen(x1i, x2i, . . . , xKi, yi) konstant
141
![Page 13: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/13.jpg)
Bemerkung:
• Die Annahmen A1 bis A3 postulieren, dass das okonometrischeModell funktional nicht fehlspezifiziert ist
2. Storgroßenspezifikation (B-Annahmen) (I):
• Annahme B1:Die Storgroße ui hat fur alle Beobachtungen i = 1, . . . , Neinen Erwartungswert von Null, d.h.
E(ui) = 0
fur i = 1, . . . , N
142
![Page 14: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/14.jpg)
2. Storgroßenspezifikation (B-Annahmen) (II):
• Annahme B2: (Homoskedastie)Die Storgroße ui hat fur alle Beobachtungen i = 1, . . . , N einekonstante Varianz, d.h. fur i = 1, . . . , N gilt
V ar(ui) = σ2
• Annahme B3: (Keine Autokorrelation)Die Storgroße ui ist nicht autokorreliert, d.h. fur alle i =1, . . . , N und j = 1, . . . , N mit i 6= j gilt
Cov(ui, uj) = 0
• Annahme B4:Die Storgroßen ui sind normalverteilt, d.h. ui ∼ N(0, σ2)
143
![Page 15: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/15.jpg)
Bemerkung:
• B1 bis B4 besagen, dass die N Storgroßen u1, . . . , uN diegleiche Wahrscheinlichkeitsverteilung besitzen (namlich ui ∼N(0, σ2)) und alle unabhangig voneinander sind
144
![Page 16: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/16.jpg)
3. Variablenspezifikation (C-Annahmen)
• Annahme C1:Die exogenen Variablen x1i, . . . , xKi sind keine Zufallsvari-ablen, sondern konnen wie in einem Experiment kontrolliertwerden
• Annahme C2: (Freiheit von perfekter Multikollinearitat)Es existieren keine Parameterwerte γ0, γ1, . . . , γK (wobei min-destens ein γk 6= 0), so dass zwischen den exogenen Variablenx1i, . . . , xKi die lineare Beziehung
γ0 + γ1x1i + . . . + γKxKi = 0
fur alle i = 1,2, . . . , N gilt
145
![Page 17: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/17.jpg)
Bemerkung: (Perfekte Multikollinearitat)
• Betrachte Zweifachregression
yi = α + β1x1i + β2x2i + ui
• Wenn C2 verletzt ist, gibt es γ0, γ1, γ2 mit
γ0 + γ1x1i + γ2x2i = 0
und damit
x2i = −(γ0/γ2)︸ ︷︷ ︸
≡δ0
−γ1/γ2︸ ︷︷ ︸
≡δ1
x1i
−→ Es liegt keine Zweifachregression vor, denn
yi = (α + β2δ0) + (β1 + β2δ1)x1i + ui
146
![Page 18: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/18.jpg)
Jetzt:
• Formulierung des multiplen linearen Regressionsmodells vonFolie 139 in Matrixschreibweise
Setze dazu:
y =
y1y2...
yN
,X =
1 x11 · · · xK11 x12 · · · xK2... ... · · · ...1 x1N · · · xKN
, β =
αβ1...
βK
,u =
u1u2...
uN
−→ Matrixschreibweise:
y = Xβ + u
147
![Page 19: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/19.jpg)
Ausgeschrieben:
y1y2...
yN
=
1 x11 · · · xK11 x12 · · · xK2... ... · · · ...1 x1N · · · xKN
αβ1...
βK
+
u1u2...
uN
Jetzt:
• Formulierung der A-, B-, C-Annahmen in Matrixdarstellung
148
![Page 20: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/20.jpg)
1. Funktionale Form (A-Annahmen)
• Annahme A1:Im multiplen Regressionsmodell fehlen keine relevanten exo-genen Variablen und die benutzten exogenen Variablen (Spal-ten der X-Matrix) sind nicht irrelevant
• Annahme A2:Der wahre Zusammenhang zwischen X und y ist linear
• Annahme A3:Der Parametervektor β ist fur alle N Beobachtungen (xi, yi)konstant
149
![Page 21: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/21.jpg)
2. Storgroßenspezifikation (B-Annahmen) (I)
• Annahme B1:
E(u) = 0N×1
Zwischenbemerkungen: (I)
• Betrachte die (N ×N)-Matrix uu′ mit Erwartungswert
E(uu′) = E
u1u1 u1u2 · · · u1uNu2u1 u2u2 · · · u2uN... ... · · · ...uNu1 uNu2 · · · uNuN
=
E(u21) E(u1u2) · · · E(u1uN)
E(u2u1) E(u22) · · · E(u2uN)
... ... · · · ...E(uNu1) E(uNu2) · · · E(u2
N)
150
![Page 22: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/22.jpg)
Zwischenbemerkungen: (II)
• Wegen B1 gilt E(ui) = 0 bzw. E(uj) = 0 und damit
E(uiuj) =
{
E{[ui − E(ui)][uj − E(uj)]} = Cov(ui, uj) , fur i 6= jE{[ui − E(ui)][ui − E(ui)]} = V ar(ui) , fur i = j
Hieraus folgt
E(uu′) =
V ar(u1) Cov(u1, u2) · · · Cov(u1, uN)Cov(u2, u1) V ar(u2) · · · Cov(u2, uN)
... ... · · · ...Cov(uN , u1) Cov(uN , u2) · · · V ar(uN)
= Cov(u)
151
![Page 23: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/23.jpg)
Definition 4.1: (Varianz-Kovarianz-Matrix)
Die Matrix E(uu′) = Cov(u), die sowohl die Varianzen samtlicherStorgroßen als auch alle Kovarianzen zwischen den Storgroßenenthalt, wird als Varianz-Kovarianz-Matrix des multiplen Regres-sionsmodells bezeichnet.
Zwischenbemerkungen: (III)
• Gilt nun V ar(ui) = σ2 fur alle i = 1, . . . , N (Annahme B2,vgl. Folie 143) sowie Cov(ui, uj) = 0 fur alle i = 1, . . . , N undj = 1, . . . , N mit i 6= j (Annahme B3, vgl. Folie 143), so folgtfur die Varianz-Kovarianz-Matrix
Cov(u) =
σ2 0 · · · 00 σ2 · · · 0... ... · · · ...0 0 · · · σ2
= σ2
1 0 · · · 00 1 · · · 0... ... · · · ...0 0 · · · 1
= σ2IN
152
![Page 24: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/24.jpg)
2. Storgroßenspezifikation (B-Annahmen) (II)
• Annahmen B2 und B3:
Cov(u) = σ2IN
• Annahme B4:Der Storgroßenvektor u ist multivariat normalverteilt mit
u ∼ N(0N×1, σ2IN)
153
![Page 25: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/25.jpg)
3. Variablenspezifikation (C-Annahmen) (I)
• Annahme C1:Keines der Elemente der (N × [K + 1])-Matrix X ist eineZufallsvariable
Zwischenbemerkungen: (I)
• Die X-Matrix lasst sich wie folgt zerlegen:
X = [x0 x1 · · · xK]
mit
x0 ≡
11...1
, x1 ≡
x11x12...
x1N
, · · · , xK ≡
xK1xK2...xKN
154
![Page 26: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/26.jpg)
Zwischenbemerkungen: (II)
• Die Spaltenvektoren x1, . . . ,xK reprasentieren jeweils die NBeobachtungen der K exogenen Variablen
• Gilt rang(X) = K +1, so sind die Spaltenvektoren x0,x1, . . . ,xK linear unabhangig(vgl. Definitionen 2.7, 2.8 auf den Folien 32, 33)
3. Variablenspezifikation (C-Annahmen) (II)
• Annahme C2: (Freiheit von perfekter Multikollinearitat)
rang(X) = K + 1
155
![Page 27: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/27.jpg)
4.2 (Punkt)Schatzung
Fur die KQ-Schatzung im multiplen linearen Regressionsmodell:
• Okonometrisches Modell:
y = Xβ + uyi = α + β1x1i + β2x2i + . . . + βKxKi + ui
• Geschatztes Modell:
y = Xβyi = α + β1x1i + β2x2i + . . . + βKxKi
• Residuen:
u = y− yui = yi − yi
156
![Page 28: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/28.jpg)
Jetzt:
• Bestimmung des KQ-Schatzers β im multiplen Modell
Herleitung: (I)
• Residualquadratsumme in Matrixschreibweise:
Suu = u′u
=N∑
i=1u2
i
157
![Page 29: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/29.jpg)
Herleitung: (II)
• Wegen
u = y−Xβui = yi − α− β1x1i − . . .− βKxKi
folgt:
Suu =(
y−Xβ)′ (
y−Xβ)
=N∑
i=1
(
yi − α− β1x1i − . . .− βKxKi)2
158
![Page 30: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/30.jpg)
Herleitung: (IV)
• Minimierungsbedingungen lauten:
∂ Suu
∂ β=
∂ Suu/∂ α∂ Suu/∂ β1
...∂ Suu/∂ βK
= 0(K+1)×1
(Normalengleichungen)
159
![Page 31: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/31.jpg)
Herleitung: (VI)
• Berechung des Gradienten: (siehe Ubung)
∂ Suu
∂ β=
∂
∂ β
(
y−Xβ)′ (
y−Xβ)
=∂
∂ βy′y−
∂
∂ β2y′Xβ +
∂
∂ ββ′X′Xβ
= −2X′y + 2X′Xβ
−→ Normalengleichungssystem:
X′Xβ = X′y
−→ KQ-Schatzer:β =
(
X′X)−1
X′y
160
![Page 32: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/32.jpg)
Ausfuhrliche Schreibweise:
X′X =
1 1 · · · 1x11 x12 · · · x1N... ... ... ...xK1 xK2
... xKN
1 x11 · · · xK11 x12 · · · xK2... ... · · · ...1 x1N · · · xKN
=
N∑N
i=1 x1i · · ·∑N
i=1 xKi∑N
i=1 x1i∑N
i=1 x21i · · ·
∑Ni=1 x1ixKi... ... ... ...
∑Ni=1 xKi
∑Ni=1 xKix1i
...∑N
i=1 x2Ki
,
X′y =
1 1 · · · 1x11 x12 · · · x1N... ... ... ...xK1 xK2
... xKN
y1y2...
yN
=
∑Ni=1 yi
∑Ni=1 x1iyi
...∑N
i=1 xKiyi
161
![Page 33: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/33.jpg)
Illustration: (Dungemittelbeispiel) (I)
• Aus den N = 30 Daten von Folie 138 errechnet man:
N = 30,30∑
i=1x1i = 96.77,
30∑
i=1x2i = 129.72
30∑
i=1yi = 120.42,
30∑
i=1x21i = 312.39,
30∑
i=1x1ix2i = 418.46
30∑
i=1x1iyi = 388.57,
30∑
i=1x22i = 564.63,
30∑
i=1x2iyi = 521.66
162
![Page 34: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/34.jpg)
Illustration: (Dungemittelbeispiel) (II)
• Somit folgt:
β =
30 96.77 129.7296.77 312.39 418.46129.72 418.46 564.63
−1
120.42388.57521.66
=
0.95430.59650.2626
=
αβ1β2
163
![Page 35: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/35.jpg)
EViews-Output fur die Dungemittelregression
164
Dependent Variable: Y Method: Least Squares Date: 07/12/04 Time: 15:16 Sample: 1 30 Included observations: 30
Variable Coefficient Std. Error t-Statistic Prob. C 0.954315 0.469432 2.032913 0.0520X1 0.596520 0.137878 4.326445 0.0002X2 0.262552 0.033997 7.722780 0.0000
R-squared 0.742742 Mean dependent var 4.013865Adjusted R-squared 0.723686 S.D. dependent var 0.124054S.E. of regression 0.065210 Akaike info criterion -2.527783Sum squared resid 0.114812 Schwarz criterion -2.387663Log likelihood 40.91675 F-statistic 38.97652Durbin-Watson stat 1.751158 Prob(F-statistic) 0.000000
![Page 36: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/36.jpg)
Jetzt:
• Bestimmtheitsmaß R2 bei multipler Regression
Weiterhin gilt:
• Streuungszerlegung
Syy = Syy + Suu
(vgl. Satz 3.6, Folie 96)
−→ Definition des multiplen Bestimmtheitsmaßes:
R2 =Syy
Syy=
Syy − SuuSyy
= 1−SuuSyy
(vgl. Def. 3.7, Folie 97)
165
![Page 37: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/37.jpg)
Jetzt:
• Explizite Berechnung des multiplen Bestimmtheitsmaßes
Satz 4.2: (Formel fur das R2)
Fur das multiple Bestimmtheitsmaß R2 gilt:
R2 =Syy
Syy=
y′X(X′X)−1X′y−Ny2
y′y−Ny2 =y′Xβ −Ny2
y′y−Ny2 .
Bemerkungen:
• Herleitung: Von Auer (2007)
• Vgl. auch Ubung
166
![Page 38: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/38.jpg)
Illustration: (Dungemittelbeispiel) (I)
• Aus den N = 30 Daten von Folie 138 errechnet man:
N = 30, y = 4.013865, y′y =30∑
i=1y2i = 483.779553
X′y =
120.415937388.565728521.658742
, β =
0.9543150.5965200.262552
167
![Page 39: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/39.jpg)
Illustration: (Dungemittelbeispiel) (II)
• Daraus folgt
y′Xβ =[
120.415937 388.565728 521.658742]
0.9543150.5965200.262552
= 483.664510
und somit
R2 =483.664510− 30 · 4.0138652
483.779553− 30 · 4.0138652 = 0.742164
168
![Page 40: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/40.jpg)
Bemerkungen:
• Rundungsfehler
• Aufnahme zusatzlicher X-Variablen fuhrt (fast) immer zurErhohung des R2
−→ Adjustiertes Bestimmtheitsmaß:
R2adj = 1− (1−R2)
N − 1N −K − 1
Jetzt:
• Eigenschaften des KQ-Schatzers
β = (X′X)−1X′y
169
![Page 41: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/41.jpg)
Satz 4.3: (Erwartungstreue des KQ-Schatzers)
Unter den A-, B-, C-Annahmen (ohne B4) ist der KQ-Schatzerβ = (X′X)−1X′y erwartungstreu fur β, d.h.
E(
β)
= β.
Fur die Varianz-Kovarianz-Matrix des KQ-Schatzers gilt:
Cov(
β)
= σ2(
X′X)−1
.
170
![Page 42: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/42.jpg)
Bemerkungen: (I)
• Im Detail besagt die Erwartungstreue
E(α) = α, E(β1) = β1, . . . E(βK) = βK
• Zur Herleitung der Erwartungstreue sowie der Kovarianzma-trix von β vgl. Ubung
• Spezialfall der Einfachregression (K = 1):
X =
1 x1... ...1 xN
, X′X =
[
N∑N
i=1 xi∑N
i=1 xi∑N
i=1 x2i
]
171
![Page 43: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/43.jpg)
Bemerkungen: (II)
• Inverse einer (2× 2)-Matrix:
A =
[
a11 a12a21 a22
]
, A−1 =1
a11a22 − a12a21
[
a22 −a12−a21 a11
]
−→ Berechnung von
Cov(β) =
[
V ar(α) Cov(α, β)Cov(α, β) V ar(β)
]
= σ2(X′X)−1
(vgl. Satz 4.3, Folie 170; Ubung)
172
![Page 44: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/44.jpg)
Satz 4.4: (Gauß-Markov-Theorem)
Unter den A-, B-, C-Annahmen (ohne B4) ist der KQ-Schatzerβ = (X′X)−1X′y der beste lineare unverzerrte Schatzer fur denParametervektor β.(BLUE = Best Linear Unbiased Estimator)
Bemerkungen:
• Bedeutung von BLUE im multiplen Fall?
• Es sei β∗
ein anderer linearer E-treuer Schatzer fur β
−→ Cov(β∗)− Cov(β) ist positiv semidefinit
(vgl. Definition 2.13, Folie 47)
173
![Page 45: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/45.jpg)
Verteilung von y: (I)
• Zunachst
y = Xβ + u,
d.h. y ist eine lineare Funktion von u
• Aufgrund der B-Annahmen gilt
u ∼ N(0N×1, σ2IN)
−→ auch y ist multivariat normalverteilt
174
![Page 46: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/46.jpg)
Verteilung von y: (II)
• Erwartungswertvektor von y:
E(y) = E(Xβ + u)= E(Xβ) + E(u)= Xβ
• Kovarianzmatrix von y:
Cov(y) = Cov(Xβ + u)= Cov(u)= σ2IN
• Also gilt:
y ∼ N(Xβ, σ2IN)
175
![Page 47: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/47.jpg)
Verteilung von β: (I)
• Zunachst
β = (X′X)−1X′y,
d.h. β ist eine lineare Funktion von y
• Verteilung von y
y ∼ N(Xβ, σ2IN)
(vgl. Folie 175)
−→ auch β ist multivariat normalverteilt
176
![Page 48: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/48.jpg)
Verteilung von β: (II)
• Erwartungswertvektor und Kovarianzmatrix von β sind
E(
β)
= β, Cov(
β)
= σ2(X′X)−1
(vgl. Satz 4.3, Folie 170)
• Also gilt:β ∼ N(β, σ2(X′X)−1)
• Fur die Einzelkomponenten von β gilt
α ∼ N(α, V ar(α)) bzw. βk ∼ N(βk, V ar(βk)),
mit V ar(α) bzw. V ar(βk) als den entsprechenden Diago-nalelementen von σ2(X′X)−1
177
![Page 49: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/49.jpg)
Problem erneut:
• Stortermvarianz σ2 ist unbekannt
−→ Cov(β) = σ2(X′X)−1 kann nicht berechnet werden
(vgl. Einfachregression, Folien 91 ff.)
Satz 4.5: (E-treuer Schatzer fur σ2)
Ein erwartungstreuer Schatzer fur die unbekannte Stortermvarianzσ2 ist gegeben durch
σ2 =1
N −K − 1
N∑
i=1u2
i =u′u
N −K − 1.
178
![Page 50: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/50.jpg)
Bemerkungen:
• Man zeige die Erwartungstreue, d.h. E(σ2) = σ2, mittels derBeziehung
u = y− y
= y−Xβ= y−X(X′X)−1X′y
=[
IN −X(X′X)−1X′]
y
(vgl. Ubung)
• Von besonderer Bedeutung: M ≡ IN −X(X′X)−1X′
(Residuen-Erzeugungsmatrix)
179
![Page 51: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/51.jpg)
EViews-Output fur die Dungemittelregression
180
Dependent Variable: Y Method: Least Squares Date: 07/12/04 Time: 15:16 Sample: 1 30 Included observations: 30
Variable Coefficient Std. Error t-Statistic Prob. C 0.954315 0.469432 2.032913 0.0520X1 0.596520 0.137878 4.326445 0.0002X2 0.262552 0.033997 7.722780 0.0000
R-squared 0.742742 Mean dependent var 4.013865Adjusted R-squared 0.723686 S.D. dependent var 0.124054S.E. of regression 0.065210 Akaike info criterion -2.527783Sum squared resid 0.114812 Schwarz criterion -2.387663Log likelihood 40.91675 F-statistic 38.97652Durbin-Watson stat 1.751158 Prob(F-statistic) 0.000000
![Page 52: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/52.jpg)
Illustration: (Dungemittelbeispiel) (I)
• Sum squared resid = u′u = 0.114812
=⇒ σ2 =u′u
N −K − 1=
0.11481230− 2− 1
= 0.0042523
• S.E. of regression =√
u′uN −K − 1 =
√σ2 = σ = 0.065210
• σ2 = 0.0042523 und Hauptdiagonalelemente von σ2(X′X)−1
liefern die geschatzten Varianzen V ar(α), V ar(β1), V ar(β2)
181
![Page 53: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/53.jpg)
Illustration: (Dungemittelbeispiel) (II)
• σ = 0.065210 und die Wurzeln der Hauptdiagonalelementevon σ2(X′X)−1 liefern die Standardfehler der KQ-Schatzer
SE(α) = 0.469432
SE(β1) = 0.137878
SE(β2) = 0.033997
182
![Page 54: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/54.jpg)
4.3 Hypothesentests
2 Arten von Hypothesentests:
• t-Tests (Tests basierend auf der t-Verteilung)
• F -Tests (Tests basierend auf der F -Verteilung)
183
![Page 55: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/55.jpg)
Zunachst:
• Testen einer Linearkombination von Parametern
• In der Einfachregression hatten wir
H0 : β = q gegen H1 : β 6= q
• Im multiplen Modell betrachten wir
H0 : r0α + r1β1 + . . . + rKβK = qH1 : r0α + r1β1 + . . . + rKβK 6= q
bzw. mit r′ =[
r0 r1 · · · rK]
H0 : r′β = qH1 : r′β 6= q
184
![Page 56: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/56.jpg)
Illustration: (Dungemittelbeispiel)
• Test auf konstante Skalenertrage:
β =
αβ1β2
, r =
011
, q = 1
also
H0 : r′β = β1 + β2 = 1
H1 : r′β = β1 + β2 6= 1
zum Signifikanzniveau a = 5%
185
![Page 57: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/57.jpg)
Geeignete Teststatistik: (I)
• T = r′ β − qSE(r′ β)
• Form des Standardfehlers SE(r′ β):
V ar(r′ β) = r′Cov(β)r = σ2r′(X′X)−1r
=⇒ SE(r′ β) =√
V ar(r′ β) =√
σ2r′(X′X)−1r
mit
σ2 =u′u
N −K − 1=
1N −K − 1
N∑
i=1u2
i
186
![Page 58: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/58.jpg)
Geeignete Teststatistik: (II)
• Verteilung von T unter Gultigkeit von H0 : r′β = q:
T(unter H0)∼ tN−K−1
(t−Verteilung mit N −K − 1 Freiheitsgraden)
−→ Kritischer Bereich:
(−∞,−tN−K−1;1−a/2] ∪ [tN−K−1;1−a/2,+∞)
d.h. lehne H0 ab, falls
|T | ≥ tN−K−1;1−a/2
187
![Page 59: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/59.jpg)
EViews-Output fur die Dungemittelregression
188
Dependent Variable: Y Method: Least Squares Date: 07/12/04 Time: 15:16 Sample: 1 30 Included observations: 30
Variable Coefficient Std. Error t-Statistic Prob. C 0.954315 0.469432 2.032913 0.0520X1 0.596520 0.137878 4.326445 0.0002X2 0.262552 0.033997 7.722780 0.0000
R-squared 0.742742 Mean dependent var 4.013865Adjusted R-squared 0.723686 S.D. dependent var 0.124054S.E. of regression 0.065210 Akaike info criterion -2.527783Sum squared resid 0.114812 Schwarz criterion -2.387663Log likelihood 40.91675 F-statistic 38.97652Durbin-Watson stat 1.751158 Prob(F-statistic) 0.000000
![Page 60: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/60.jpg)
Berechnung der Teststatistik:
r′ β =[
0 1 1]
αβ1β2
= β1 + β2
= 0.596520 + 0.262552 = 0.859072
Standardfehler der Teststatistik:
SE(r′ β) = SE(β1 + β2)
=√
V ar(β1) + V ar(β2) + 2 Cov(β1, β2)
=√
(0.137878)2 + (0.033997)2 + 2 · 0.0000287
=√
0.01901 + 0.001156 + 0.000057
= 0.142208
189
![Page 61: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/61.jpg)
−→
T =r′ β − q
SE(r′ β)=
0.859072− 10.142208
= −0.990999
Testentscheidung:
|T | = 0.990999 < 2.0518 = t27;0.975
−→ H0 kann nicht abgelehnt werden(konstante Skalenertrage sind mit den Daten vereinbar)
190
![Page 62: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/62.jpg)
Spezialfalle des allgemeinen t-Tests: (I)
• Betrachte die K + 1 Vektoren
r0 =
10...0
, r1 =
01...0
, . . . , rK =
00...1
, q = 0
−→ Testprobleme
H0 : α = 0 gegen H1 : α 6= 0
H0 : β1 = 0 gegen H1 : β1 6= 0...
H0 : βK = 0 gegen H1 : βK 6= 0
191
![Page 63: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/63.jpg)
Spezialfalle des allgemeinen t-Tests: (II)
• Teststatistiken:
Tα =r′0
βSE(r′0
β)=
αSE(α)
Tβ1 =r′1
βSE(r′1
β)=
β1
SE(β1)...
TβK=
r′Kβ
SE(r′Kβ)
=βK
SE(βK)
192
![Page 64: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/64.jpg)
EViews-Output fur die Dungemittelregression
193
Dependent Variable: Y Method: Least Squares Date: 07/12/04 Time: 15:16 Sample: 1 30 Included observations: 30
Variable Coefficient Std. Error t-Statistic Prob. C 0.954315 0.469432 2.032913 0.0520X1 0.596520 0.137878 4.326445 0.0002X2 0.262552 0.033997 7.722780 0.0000
R-squared 0.742742 Mean dependent var 4.013865Adjusted R-squared 0.723686 S.D. dependent var 0.124054S.E. of regression 0.065210 Akaike info criterion -2.527783Sum squared resid 0.114812 Schwarz criterion -2.387663Log likelihood 40.91675 F-statistic 38.97652Durbin-Watson stat 1.751158 Prob(F-statistic) 0.000000
![Page 65: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/65.jpg)
EViews-Output:
• t-Statistic = KoeffizientenschatzungStandardfehler des Koeffizientenschatzers
• Prob. = p-Wert des t-Tests(Kleinstes Signifikanzniveau zur Ablehnung von H0)
Einseitiger (linksseitiger) t-Test:
H0 : r′β ≥ q gegen H1 : r′β < q
• Teststatistik
T =r′ β − q
SE(r′ β)
• Lehne H0 zum Niveau a ab, falls T < −tN−K−1;1−a
194
![Page 66: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/66.jpg)
Jetzt:
• Simultanes Testen mehrerer Parameterbeziehungen(F -Test)
Lineares multiples Regressionsmodell:
y = X · β + u(N×1) (N×[K+1]) ([K+1]×1) (N×1)
Null- und Alternativhypothese:
H0 : Rβ = q
H1 : Rβ 6= q
mit R einer (L× [K + 1])-Matrix und q einem (L× 1)-Vektor
195
![Page 67: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/67.jpg)
Beispiele: (I)
• H0 : β1 = β2 = . . . = βK = 0
−→ R =
0 1 0 · · · 00 0 1 · · · 0... ... ... ... ...0 0 0 · · · 1
, q =
00...0
= 0L
• H0 : β1 + . . . + βK = 1 und gleichzeitig β1 = 2β2
−→ R =
[
0 1 1 1 · · · 10 1 −2 0 · · · 0
]
, q =
[
10
]
196
![Page 68: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/68.jpg)
Beispiele: (II)
• H0 : β1 = 5 und gleichzeitig β2 = . . . = βK = 0
−→ R =
0 1 0 0 · · · 00 0 1 0 · · · 00 0 0 1 · · · 0... ... ... ... ... ...0 0 0 0 · · · 1
, q =
500...0
197
![Page 69: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/69.jpg)
Grundidee des F -Tests: (I)
• Vergleiche Residualquadratsumme des Regressionsmodells
Suu = u′u =N∑
i=1u2
i
mit Residualquadratsumme des Nullhypothesenmodells
Su0u0 = (u0)′u0 =N∑
i=1(u0
i )2
(u0 ist der Residualvektor, der sich bei der KQ-Schatzungunter Berucksichtigung von H0 ergibt)
198
![Page 70: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/70.jpg)
Grundidee des F -Tests: (II)
• Es muss immer gelten
Su0u0 ≥ Suu
• Die Nullhypothese ist vermutlich falsch, falls
Su0u0 >> Suu
199
![Page 71: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/71.jpg)
Durchfuhrung des Tests: (I)
• Geeignete Teststatistik:
F =
(
Su0u0 − Suu)
/L
Suu/(N −K − 1)
=
[
Rβ − q]′ [
R(X′X)−1R′]−1 [
Rβ − q]
u′u/(N −K − 1)
• Verteilung von F unter Gultigkeit von H0 : Rβ = q:
F(unter H0)∼ FL,N−K−1
(F−Verteilung mit L und N −K − 1 Freiheitsgraden)
200
![Page 72: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/72.jpg)
Durchfuhrung des Tests: (II)
• Kritischer Bereich zum Signifikanzniveau a:
[FL,N−K−1;1−a,+∞)
d.h. lehne H0 zum Niveau a ab, falls
F ≥ FL,N−K−1;1−a
[(1− a)-Quantil der FL,N−K−1-Verteilung]
201
![Page 73: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/73.jpg)
EViews-Output fur die Dungemittelregression
202
Dependent Variable: Y Method: Least Squares Date: 07/12/04 Time: 15:16 Sample: 1 30 Included observations: 30
Variable Coefficient Std. Error t-Statistic Prob. C 0.954315 0.469432 2.032913 0.0520X1 0.596520 0.137878 4.326445 0.0002X2 0.262552 0.033997 7.722780 0.0000
R-squared 0.742742 Mean dependent var 4.013865Adjusted R-squared 0.723686 S.D. dependent var 0.124054S.E. of regression 0.065210 Akaike info criterion -2.527783Sum squared resid 0.114812 Schwarz criterion -2.387663Log likelihood 40.91675 F-statistic 38.97652Durbin-Watson stat 1.751158 Prob(F-statistic) 0.000000
![Page 74: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/74.jpg)
EViews-Output:
• F-statistic = F -Test fur das Testproblem
H0 : β1 = β2 = . . . = βK = 0
• Prob(F-statistic) = p-Wert des F -Tests(Kleinstes Signifikanzniveau zur Ablehnung von H0)
203
![Page 75: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/75.jpg)
4.4 Prognose
Ziel:
• Bedingte Prognose des endogenen Wertes y0 bei gegebenenWerten der K exogenen Variablen x10, x20, . . . , xK0(vgl. Prognose der Einfachregression, Abschnitt 3.4)
204
![Page 76: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/76.jpg)
Dafur: (I)
• Es seien
x′0 =[
1 x10 x20 · · · xK0
]
der Vektor der exogenen Variablen und
β = (X′X)−1X′y
der KQ-Schatzer des multiplen Regressionsmodells
−→ Bedingte Punktprognose:
y0 = x′0β
• Prognosefehler:
y0 − y0 = x′0β − x′0β − u0 = x′0
(
β − β)
− u0
205
![Page 77: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/77.jpg)
Dafur: (II)
• Varianz des Prognosefehlers:
V ar(y0 − y0) = σ2(
1 + x′0(X′X)−1x0
)
• Geschatzte Varianz des Prognosefehlers:
V ar(y0 − y0) = σ2(
1 + x′0(X′X)−1x0
)
mit σ2 = u′u/(N −K − 1)
−→ Standardfehler des Prognosefehlers:
SE(y0 − y0) =√
V ar(y0 − y0)
206
![Page 78: 4. Das multiple lineare Regressionsmodell · Die Matrix E(uu0) = Cov(u), die sowohl die Varianzen s¨amtlicher St¨orgr¨oßen als auch alle Kovarianzen zwischen den St¨orgr¨oßen](https://reader036.vdocuments.net/reader036/viewer/2022070617/5d5be14e88c993837d8b5dd6/html5/thumbnails/78.jpg)
Jetzt:
• Konstruktion eines (1− a)-Prognoseintervalls uber die Stan-dardisierung des Prognosefehlers(vgl. Folie 125)
T =(y0 − y0)−
=0︷ ︸︸ ︷
E (y0 − y0)SE(y0 − y0)
• Man kann zeigen, dass
T ∼ tN−K−1
(t-Verteilung mit N −K − 1 Freiheitsgraden)
−→ (1− a)-Prognoseintervall:
[y0−tN−K−1;1−a/2·SE(y0−y0), y0+tN−k−1;1−a/2·SE(y0−y0)]
207