klasyczny model regresji liniowej - uniwersytet warszawski
TRANSCRIPT
![Page 1: Klasyczny Model Regresji Liniowej - Uniwersytet Warszawski](https://reader033.vdocuments.net/reader033/viewer/2022051013/6276b2cfe20487279904ee6e/html5/thumbnails/1.jpg)
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Klasyczny Model Regresji LiniowejZaj ↪ecia 5
Natalia Nehrebecka
04 maja, 2010
N. Nehrebecka 5. KMRL
![Page 2: Klasyczny Model Regresji Liniowej - Uniwersytet Warszawski](https://reader033.vdocuments.net/reader033/viewer/2022051013/6276b2cfe20487279904ee6e/html5/thumbnails/2.jpg)
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Plan zaj ↪ec1 Klasyczny Model Regresji Liniowej
Za lozenia KMRLDodatkowo za lozenie klasycznego modelu regresji liniowejW lasnosci estymatora MNK w KMRL
2 Estymator macierzy kowariancji estymatora MNKEstymator wariancji b l ↪edu losowegoEstymator macierzy kowariancji bPrzyk lad - estymator wariancji b l ↪edu losowegoPrzyk lad - estymator macierzy kowariancji b
3 Kombinacja liniowa parametrowEstymator kombinacji liniowejPrzyk lad - estymator kombinacji liniowejEstymator elementu βk
Przyk lad - Estymator wariancji i odchylenia standardowego βk
4 PrognozaPrecyzja prognozyPrzyk lad - prognoza
5 Pytania teoretyczne
N. Nehrebecka 5. KMRL
![Page 3: Klasyczny Model Regresji Liniowej - Uniwersytet Warszawski](https://reader033.vdocuments.net/reader033/viewer/2022051013/6276b2cfe20487279904ee6e/html5/thumbnails/3.jpg)
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Za lozenia KMRLDodatkowo za lozenie klasycznego modelu regresji liniowejW lasnosci estymatora MNK w KMRL
KMRL: Uk lad za lozen na temat b l ↪edow losowych w modelu,pozwalaj ↪acy na okreslenie statystycznych w lasnosciMNK
N. Nehrebecka 5. KMRL
![Page 4: Klasyczny Model Regresji Liniowej - Uniwersytet Warszawski](https://reader033.vdocuments.net/reader033/viewer/2022051013/6276b2cfe20487279904ee6e/html5/thumbnails/4.jpg)
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Za lozenia KMRLDodatkowo za lozenie klasycznego modelu regresji liniowejW lasnosci estymatora MNK w KMRL
1 yi = x1iβ1 + · · ·+ xKiβK + εi , zapisie macierzowym:y = Xβ + ε
2 Zmienne objasniaj ↪ace x1i , . . . , xki s ↪a nielosowe dla i = 1, . . . ,N
3 E (εi ) = 0 dla i = 1, . . . ,N, zapisie macierzowym: E (ε) = 0
4 Cov(εi , εj) = 0 dla i 6= j (brak autokorelacji b l ↪edu losowego)
5 Var(εi ) = σ2 dla i = 1, . . . ,N (homoskedastycznosc6=heteroskedastycznosc b l ↪edu losowego)
N. Nehrebecka 5. KMRL
![Page 5: Klasyczny Model Regresji Liniowej - Uniwersytet Warszawski](https://reader033.vdocuments.net/reader033/viewer/2022051013/6276b2cfe20487279904ee6e/html5/thumbnails/5.jpg)
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Za lozenia KMRLDodatkowo za lozenie klasycznego modelu regresji liniowejW lasnosci estymatora MNK w KMRL
1 yi = x1iβ1 + · · ·+ xKiβK + εi , zapisie macierzowym:y = Xβ + ε
2 Zmienne objasniaj ↪ace x1i , . . . , xki s ↪a nielosowe dla i = 1, . . . ,N
3 E (εi ) = 0 dla i = 1, . . . ,N, zapisie macierzowym: E (ε) = 0
4 Cov(εi , εj) = 0 dla i 6= j (brak autokorelacji b l ↪edu losowego)
5 Var(εi ) = σ2 dla i = 1, . . . ,N (homoskedastycznosc6=heteroskedastycznosc b l ↪edu losowego)
N. Nehrebecka 5. KMRL
![Page 6: Klasyczny Model Regresji Liniowej - Uniwersytet Warszawski](https://reader033.vdocuments.net/reader033/viewer/2022051013/6276b2cfe20487279904ee6e/html5/thumbnails/6.jpg)
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Za lozenia KMRLDodatkowo za lozenie klasycznego modelu regresji liniowejW lasnosci estymatora MNK w KMRL
1 yi = x1iβ1 + · · ·+ xKiβK + εi , zapisie macierzowym:y = Xβ + ε
2 Zmienne objasniaj ↪ace x1i , . . . , xki s ↪a nielosowe dla i = 1, . . . ,N
3 E (εi ) = 0 dla i = 1, . . . ,N, zapisie macierzowym: E (ε) = 0
4 Cov(εi , εj) = 0 dla i 6= j (brak autokorelacji b l ↪edu losowego)
5 Var(εi ) = σ2 dla i = 1, . . . ,N (homoskedastycznosc6=heteroskedastycznosc b l ↪edu losowego)
N. Nehrebecka 5. KMRL
![Page 7: Klasyczny Model Regresji Liniowej - Uniwersytet Warszawski](https://reader033.vdocuments.net/reader033/viewer/2022051013/6276b2cfe20487279904ee6e/html5/thumbnails/7.jpg)
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Za lozenia KMRLDodatkowo za lozenie klasycznego modelu regresji liniowejW lasnosci estymatora MNK w KMRL
1 yi = x1iβ1 + · · ·+ xKiβK + εi , zapisie macierzowym:y = Xβ + ε
2 Zmienne objasniaj ↪ace x1i , . . . , xki s ↪a nielosowe dla i = 1, . . . ,N
3 E (εi ) = 0 dla i = 1, . . . ,N, zapisie macierzowym: E (ε) = 0
4 Cov(εi , εj) = 0 dla i 6= j (brak autokorelacji b l ↪edu losowego)
5 Var(εi ) = σ2 dla i = 1, . . . ,N (homoskedastycznosc6=heteroskedastycznosc b l ↪edu losowego)
N. Nehrebecka 5. KMRL
![Page 8: Klasyczny Model Regresji Liniowej - Uniwersytet Warszawski](https://reader033.vdocuments.net/reader033/viewer/2022051013/6276b2cfe20487279904ee6e/html5/thumbnails/8.jpg)
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Za lozenia KMRLDodatkowo za lozenie klasycznego modelu regresji liniowejW lasnosci estymatora MNK w KMRL
1 yi = x1iβ1 + · · ·+ xKiβK + εi , zapisie macierzowym:y = Xβ + ε
2 Zmienne objasniaj ↪ace x1i , . . . , xki s ↪a nielosowe dla i = 1, . . . ,N
3 E (εi ) = 0 dla i = 1, . . . ,N, zapisie macierzowym: E (ε) = 0
4 Cov(εi , εj) = 0 dla i 6= j (brak autokorelacji b l ↪edu losowego)
5 Var(εi ) = σ2 dla i = 1, . . . ,N (homoskedastycznosc6=heteroskedastycznosc b l ↪edu losowego)
N. Nehrebecka 5. KMRL
![Page 9: Klasyczny Model Regresji Liniowej - Uniwersytet Warszawski](https://reader033.vdocuments.net/reader033/viewer/2022051013/6276b2cfe20487279904ee6e/html5/thumbnails/9.jpg)
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Za lozenia KMRLDodatkowo za lozenie klasycznego modelu regresji liniowejW lasnosci estymatora MNK w KMRL
Zaburzenia losowe ε s ↪a sferyczne.
Oznacza to, ze warunkowa macierz wariancji-kowariancjiwektora zaburzen przy danej macierzy X ma postac:
Var(ε) = σ2I =
Var(ε1) Cov(ε2, ε1) · · · Cov(εN , ε1)
Cov(ε1, ε2) Var(ε2) · · ·...
......
. . ....
Cov(ε1, εN) Cov(ε2, εN) · · · Var(εN)
=
σ2 · · · 0...
. . ....
0 · · · σ2
N. Nehrebecka 5. KMRL
![Page 10: Klasyczny Model Regresji Liniowej - Uniwersytet Warszawski](https://reader033.vdocuments.net/reader033/viewer/2022051013/6276b2cfe20487279904ee6e/html5/thumbnails/10.jpg)
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Za lozenia KMRLDodatkowo za lozenie klasycznego modelu regresji liniowejW lasnosci estymatora MNK w KMRL
Sta losc wariancji zaburzen nazywamy homoskedastycznosci ↪azaburzen.
Jesli wariancje nie by lyby jednakowe, to sytuacj ↪e tak ↪anazywamy heteroskedastycznosci ↪a.
N. Nehrebecka 5. KMRL
![Page 11: Klasyczny Model Regresji Liniowej - Uniwersytet Warszawski](https://reader033.vdocuments.net/reader033/viewer/2022051013/6276b2cfe20487279904ee6e/html5/thumbnails/11.jpg)
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Za lozenia KMRLDodatkowo za lozenie klasycznego modelu regresji liniowejW lasnosci estymatora MNK w KMRL
N. Nehrebecka 5. KMRL
![Page 12: Klasyczny Model Regresji Liniowej - Uniwersytet Warszawski](https://reader033.vdocuments.net/reader033/viewer/2022051013/6276b2cfe20487279904ee6e/html5/thumbnails/12.jpg)
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Za lozenia KMRLDodatkowo za lozenie klasycznego modelu regresji liniowejW lasnosci estymatora MNK w KMRL
Przypadek zerowych kowariancji dla roznych zaburzenlosowych εi oraz εj nazywamy brakiem autokorelacji zaburzen.Oznacza to, ze zaburzenia losowe dla roznych obserwacji s ↪aniezalezne, a przez to nieskorelowane,
a wi ↪ec nie maj ↪a tendencji do gromadzenia si ↪e np. woko ldodatnich lub ujemnych (lub naprzemiennie dodatnich iujemnych) wartosci
N. Nehrebecka 5. KMRL
![Page 13: Klasyczny Model Regresji Liniowej - Uniwersytet Warszawski](https://reader033.vdocuments.net/reader033/viewer/2022051013/6276b2cfe20487279904ee6e/html5/thumbnails/13.jpg)
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Za lozenia KMRLDodatkowo za lozenie klasycznego modelu regresji liniowejW lasnosci estymatora MNK w KMRL
N. Nehrebecka 5. KMRL
![Page 14: Klasyczny Model Regresji Liniowej - Uniwersytet Warszawski](https://reader033.vdocuments.net/reader033/viewer/2022051013/6276b2cfe20487279904ee6e/html5/thumbnails/14.jpg)
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Za lozenia KMRLDodatkowo za lozenie klasycznego modelu regresji liniowejW lasnosci estymatora MNK w KMRL
1 Nieobci↪
azonosc: E (b) = β
2 Efektywnosc:Twierdzenie (Gaussa-Markowa) Dla spe lnionych za lozenKMRL estymator MNK jest najlepszym estymatoremparametrow β w klasie liniowych i nieobci ↪azonychestymatorow tego parametru.
N. Nehrebecka 5. KMRL
![Page 15: Klasyczny Model Regresji Liniowej - Uniwersytet Warszawski](https://reader033.vdocuments.net/reader033/viewer/2022051013/6276b2cfe20487279904ee6e/html5/thumbnails/15.jpg)
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Estymator wariancji b l ↪edu losowegoEstymator macierzy kowariancji bPrzyk lad - estymator wariancji b l ↪edu losowegoPrzyk lad - estymator macierzy kowariancji b
Wektor oszacowan (estymator) parametrow jest wektoremlosowym, moze wi ↪ec odbiegac od prawdziwych wartosciparametrow
Precyzj ↪e oszacowania mierzy si ↪e za pomoc ↪a miar rozrzutu,dyspersji
Najpopularniejsz ↪a miar ↪a rozrzutu jest macierzwariancji-kowariancji
N. Nehrebecka 5. KMRL
![Page 16: Klasyczny Model Regresji Liniowej - Uniwersytet Warszawski](https://reader033.vdocuments.net/reader033/viewer/2022051013/6276b2cfe20487279904ee6e/html5/thumbnails/16.jpg)
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Estymator wariancji b l ↪edu losowegoEstymator macierzy kowariancji bPrzyk lad - estymator wariancji b l ↪edu losowegoPrzyk lad - estymator macierzy kowariancji b
Wyprowadzenie wzoru
Wazne za lozenia KMRL: brak autokorelacji (cov(εi , εj) = 0dla i 6= j ) i homoskedastycznosc (var(εi ) = σ2 dlai = 1, . . . ,N)
Var(b) = Var((X ′X )−1X ′y) = Var((X ′X )−1X ′(Xβ + ε)
= Var(β + (X ′X )−1X ′ε) = (X ′X )−1X ′ Var(ε)︸ ︷︷ ︸σ2I
X (X ′X )−1
= σ2(X ′X )−1X ′X (X ′X )−1 = σ2(X ′X )−1 = Σ
N. Nehrebecka 5. KMRL
![Page 17: Klasyczny Model Regresji Liniowej - Uniwersytet Warszawski](https://reader033.vdocuments.net/reader033/viewer/2022051013/6276b2cfe20487279904ee6e/html5/thumbnails/17.jpg)
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Estymator wariancji b l ↪edu losowegoEstymator macierzy kowariancji bPrzyk lad - estymator wariancji b l ↪edu losowegoPrzyk lad - estymator macierzy kowariancji b
Oszacowanie wariancji estymatora parametrow Σ uzyskamy,jesli uda si ↪e znalezc estymator wariancji b l ↪edu losowego σ2
N. Nehrebecka 5. KMRL
![Page 18: Klasyczny Model Regresji Liniowej - Uniwersytet Warszawski](https://reader033.vdocuments.net/reader033/viewer/2022051013/6276b2cfe20487279904ee6e/html5/thumbnails/18.jpg)
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Estymator wariancji b l ↪edu losowegoEstymator macierzy kowariancji bPrzyk lad - estymator wariancji b l ↪edu losowegoPrzyk lad - estymator macierzy kowariancji b
Oszacowanie b l ↪edow losowych w MNK - reszty
Dlatego estymator wariancji b l ↪edow losowych buduje si ↪e napodstawie wariancji reszt
N. Nehrebecka 5. KMRL
![Page 19: Klasyczny Model Regresji Liniowej - Uniwersytet Warszawski](https://reader033.vdocuments.net/reader033/viewer/2022051013/6276b2cfe20487279904ee6e/html5/thumbnails/19.jpg)
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Estymator wariancji b l ↪edu losowegoEstymator macierzy kowariancji bPrzyk lad - estymator wariancji b l ↪edu losowegoPrzyk lad - estymator macierzy kowariancji b
Podstawowa macierz idempotentna
e = y − Xb = y − X(X′X)−1X′y =
(I − X(X′X)−1X′)y =MX y
N. Nehrebecka 5. KMRL
![Page 20: Klasyczny Model Regresji Liniowej - Uniwersytet Warszawski](https://reader033.vdocuments.net/reader033/viewer/2022051013/6276b2cfe20487279904ee6e/html5/thumbnails/20.jpg)
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Estymator wariancji b l ↪edu losowegoEstymator macierzy kowariancji bPrzyk lad - estymator wariancji b l ↪edu losowegoPrzyk lad - estymator macierzy kowariancji b
W lasnosci macierzy MX
1 MX jest macierz ↪a:
1 idempotentn ↪a: MX MX = MX
2 symetryczn ↪a: MX = M′X
2 Kolumny macierzy MX s ↪a ortogonalne do kolumn macierzy X:MX X = 0
N. Nehrebecka 5. KMRL
![Page 21: Klasyczny Model Regresji Liniowej - Uniwersytet Warszawski](https://reader033.vdocuments.net/reader033/viewer/2022051013/6276b2cfe20487279904ee6e/html5/thumbnails/21.jpg)
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Estymator wariancji b l ↪edu losowegoEstymator macierzy kowariancji bPrzyk lad - estymator wariancji b l ↪edu losowegoPrzyk lad - estymator macierzy kowariancji b
Zaleznoscmi ↪edzy resztami a b l ↪edami losowymi
e = MX y = MX (Xβ︸ ︷︷ ︸0
+ε) = MX ε
st ↪ade′e = ε′MX ε
N. Nehrebecka 5. KMRL
![Page 22: Klasyczny Model Regresji Liniowej - Uniwersytet Warszawski](https://reader033.vdocuments.net/reader033/viewer/2022051013/6276b2cfe20487279904ee6e/html5/thumbnails/22.jpg)
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Estymator wariancji b l ↪edu losowegoEstymator macierzy kowariancji bPrzyk lad - estymator wariancji b l ↪edu losowegoPrzyk lad - estymator macierzy kowariancji b
suma kwadratow reszt jest skalarem, wi ↪ec
e′e = tr(e′e) = tr(ε′MX ε)
aletr(ε′MX ε) = tr(MX εε
′)
st ↪ad (korzystaj ↪ac z za lozenia o homoskedastycznosci)
E (e′e) = E (trMX εε′) = tr(MX E (εε′)︸ ︷︷ ︸
σ2I
) = σ2tr(MX )
ale
tr(MX ) = N − K
czyliE (e ′e) = σ2(N − K )
N. Nehrebecka 5. KMRL
![Page 23: Klasyczny Model Regresji Liniowej - Uniwersytet Warszawski](https://reader033.vdocuments.net/reader033/viewer/2022051013/6276b2cfe20487279904ee6e/html5/thumbnails/23.jpg)
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Estymator wariancji b l ↪edu losowegoEstymator macierzy kowariancji bPrzyk lad - estymator wariancji b l ↪edu losowegoPrzyk lad - estymator macierzy kowariancji b
Nieobci ↪azony estymator wariancji
Poniewaz
E (e′e
N − K) = σ2
Dlatego nieobci ↪azonym estymatorem wariancji b l ↪edu losowego jest
s2 =e′e
N − K
N. Nehrebecka 5. KMRL
![Page 24: Klasyczny Model Regresji Liniowej - Uniwersytet Warszawski](https://reader033.vdocuments.net/reader033/viewer/2022051013/6276b2cfe20487279904ee6e/html5/thumbnails/24.jpg)
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Estymator wariancji b l ↪edu losowegoEstymator macierzy kowariancji bPrzyk lad - estymator wariancji b l ↪edu losowegoPrzyk lad - estymator macierzy kowariancji b
Liczba stopni swobody
df︸︷︷︸stopnie swodoby
= N︸︷︷︸liczba obserwacji
− K︸︷︷︸liczba estymowanych parametrow
N. Nehrebecka 5. KMRL
![Page 25: Klasyczny Model Regresji Liniowej - Uniwersytet Warszawski](https://reader033.vdocuments.net/reader033/viewer/2022051013/6276b2cfe20487279904ee6e/html5/thumbnails/25.jpg)
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Estymator wariancji b l ↪edu losowegoEstymator macierzy kowariancji bPrzyk lad - estymator wariancji b l ↪edu losowegoPrzyk lad - estymator macierzy kowariancji b
Σ = s2(X′X)−1
N. Nehrebecka 5. KMRL
![Page 26: Klasyczny Model Regresji Liniowej - Uniwersytet Warszawski](https://reader033.vdocuments.net/reader033/viewer/2022051013/6276b2cfe20487279904ee6e/html5/thumbnails/26.jpg)
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Estymator wariancji b l ↪edu losowegoEstymator macierzy kowariancji bPrzyk lad - estymator wariancji b l ↪edu losowegoPrzyk lad - estymator macierzy kowariancji b
Nieobci ↪azonym estymatorem wariancji b l ↪edu losowego jest:
s2 = e′eN−K = 306,34918
1083−5 = 0, 284183 (Mean Squared Error)
s =√
s2 =√
0, 284183 = 0, 53309 (Root of Mean SquaredError)
N. Nehrebecka 5. KMRL
![Page 27: Klasyczny Model Regresji Liniowej - Uniwersytet Warszawski](https://reader033.vdocuments.net/reader033/viewer/2022051013/6276b2cfe20487279904ee6e/html5/thumbnails/27.jpg)
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Estymator wariancji b l ↪edu losowegoEstymator macierzy kowariancji bPrzyk lad - estymator wariancji b l ↪edu losowegoPrzyk lad - estymator macierzy kowariancji b
N. Nehrebecka 5. KMRL
![Page 28: Klasyczny Model Regresji Liniowej - Uniwersytet Warszawski](https://reader033.vdocuments.net/reader033/viewer/2022051013/6276b2cfe20487279904ee6e/html5/thumbnails/28.jpg)
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Estymator kombinacji liniowejPrzyk lad - estymator kombinacji liniowejEstymator elementu βkPrzyk lad - Estymator wariancji i odchylenia standardowego βk
Z punktu widzenia pytania badawczego interesuj ↪ace s ↪a nietylko wielkosci oszacowanych parametrow, ale rowniezoszacowania pewnych funkcji tych parametrow.Jakie w lasnosci ma tak uzyskane oszacowanie i jaka jest jegowariancja?W lasnosci estymatora MNK kombinacji liniowej parametrow β:
δ′β =K∑
k=1
δkβk
nieobci ↪azonym estymatorem δ′β:
E (δ′b) = δ′E (b) = δ′β
wariancja kombinacji liniowej parametrow:
Var(δ′b) = E[(δ′b − δ′β)(δ′b − δ′β)′
]=
= E[δ′(b − β)(b − β)′δ
]= δ′Σbδ
N. Nehrebecka 5. KMRL
![Page 29: Klasyczny Model Regresji Liniowej - Uniwersytet Warszawski](https://reader033.vdocuments.net/reader033/viewer/2022051013/6276b2cfe20487279904ee6e/html5/thumbnails/29.jpg)
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Estymator kombinacji liniowejPrzyk lad - estymator kombinacji liniowejEstymator elementu βkPrzyk lad - Estymator wariancji i odchylenia standardowego βk
Estymatorem wariancji kombinacji liniowej parametrow
δ′Σbδ
N. Nehrebecka 5. KMRL
![Page 30: Klasyczny Model Regresji Liniowej - Uniwersytet Warszawski](https://reader033.vdocuments.net/reader033/viewer/2022051013/6276b2cfe20487279904ee6e/html5/thumbnails/30.jpg)
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Estymator kombinacji liniowejPrzyk lad - estymator kombinacji liniowejEstymator elementu βkPrzyk lad - Estymator wariancji i odchylenia standardowego βk
Model dla dochodu z uwgl ↪ednionymi interakcjami mi ↪edzy p lci ↪ai wykszta lceniem:
log(dochod) = β0 + β1wiek + β2wiek2 + β3plec+
+β4srednie + β5wyzsze + β6plec × srednie + β7plec × wyzsze + ε
Korzysc z uzyskania wyzszego wykszta lcenia w stosunku dowykszta lcenia podstawowego dla kobiet: β5 + β7
N. Nehrebecka 5. KMRL
![Page 31: Klasyczny Model Regresji Liniowej - Uniwersytet Warszawski](https://reader033.vdocuments.net/reader033/viewer/2022051013/6276b2cfe20487279904ee6e/html5/thumbnails/31.jpg)
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Estymator kombinacji liniowejPrzyk lad - estymator kombinacji liniowejEstymator elementu βkPrzyk lad - Estymator wariancji i odchylenia standardowego βk
b5 + b7 = 0, 866966 + (−0, 3459179) = 0, 521048
N. Nehrebecka 5. KMRL
![Page 32: Klasyczny Model Regresji Liniowej - Uniwersytet Warszawski](https://reader033.vdocuments.net/reader033/viewer/2022051013/6276b2cfe20487279904ee6e/html5/thumbnails/32.jpg)
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Estymator kombinacji liniowejPrzyk lad - estymator kombinacji liniowejEstymator elementu βkPrzyk lad - Estymator wariancji i odchylenia standardowego βk
szczegolnym przypadkiem kombinacji liniowej elemtow wektoraβ jest kombinacja, ktora daje k-ty element tego wektora.
δ =[
0 · · · 0 1 0 · · · 0]
δ′β = βk
nieobci ↪azonym estymatorem βk jest:
δ′b = bk
estymatorem wariancji βk jest:
δ′Σbδ =[Σb
]kk
se(bk) - oszacowanie odchylenia b l ↪edu standardowego bk ,ktore wykorzystuje si ↪e do mierzenia precyzji oszacowanparametrow.
se(bk) =
√[Σb
]kk
N. Nehrebecka 5. KMRL
![Page 33: Klasyczny Model Regresji Liniowej - Uniwersytet Warszawski](https://reader033.vdocuments.net/reader033/viewer/2022051013/6276b2cfe20487279904ee6e/html5/thumbnails/33.jpg)
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Estymator kombinacji liniowejPrzyk lad - estymator kombinacji liniowejEstymator elementu βkPrzyk lad - Estymator wariancji i odchylenia standardowego βk
Model dla dochodu:
log(dochod) = β0+β1wiek +β2plec +β3srednie +β4wyzsze +ε
Oszacowanie β1 rowne b1 = 0,004746
Oszacowanie Var(b1) = 2, 665e − 06
Oszacowanie se(b1) = 0, 0016325
N. Nehrebecka 5. KMRL
![Page 34: Klasyczny Model Regresji Liniowej - Uniwersytet Warszawski](https://reader033.vdocuments.net/reader033/viewer/2022051013/6276b2cfe20487279904ee6e/html5/thumbnails/34.jpg)
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Precyzja prognozyPrzyk lad - prognoza
Prognoza przewidywana przez model wartosc yf dla danegowektora zmiennych objasniaj ↪acych xf . Nieobci ↪azon ↪aprognoz ↪a wartosci yf w KMRL jest
yf = xf b (1)
B l ↪ad prognozy ef = yf − yf
Zadanie
Pokaz, ze prognoza uzyskiwana z MNK na podstawie wzoru (1)jest nieobci ↪azona, tzn. E (ef ) = 0
N. Nehrebecka 5. KMRL
![Page 35: Klasyczny Model Regresji Liniowej - Uniwersytet Warszawski](https://reader033.vdocuments.net/reader033/viewer/2022051013/6276b2cfe20487279904ee6e/html5/thumbnails/35.jpg)
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Precyzja prognozyPrzyk lad - prognoza
Wariancja prognozy zwi ↪azana ze zmiennosci ↪a prognoz:
Var(yf ) = Var(xf b) = xf Var(b)x′f = xf Σbx ′f
Wariancja b l ↪edu prognozy zwi ↪azana ze zmiennosci ↪a odchylenprognozy od wartosci obserwowanych:
Var(ef ) = E [(yf − yf )(yf − yf )′]
= xf Var(b)x′f + σ2 = xf Σbx′f + σ2
= Var(yf )︸ ︷︷ ︸b l ↪ad estymacji
+ σ2︸︷︷︸b l ↪ad losowy
(przy za lozeniu braku autokorelacji)
N. Nehrebecka 5. KMRL
![Page 36: Klasyczny Model Regresji Liniowej - Uniwersytet Warszawski](https://reader033.vdocuments.net/reader033/viewer/2022051013/6276b2cfe20487279904ee6e/html5/thumbnails/36.jpg)
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Precyzja prognozyPrzyk lad - prognoza
Nieobci ↪azony estymator wariancji b l ↪edu prognozy
Zadanie
Podaj wzor na nieobci ↪azony estymator wariancji b l ↪edu prognozy
N. Nehrebecka 5. KMRL
![Page 37: Klasyczny Model Regresji Liniowej - Uniwersytet Warszawski](https://reader033.vdocuments.net/reader033/viewer/2022051013/6276b2cfe20487279904ee6e/html5/thumbnails/37.jpg)
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Precyzja prognozyPrzyk lad - prognoza
N. Nehrebecka 5. KMRL
![Page 38: Klasyczny Model Regresji Liniowej - Uniwersytet Warszawski](https://reader033.vdocuments.net/reader033/viewer/2022051013/6276b2cfe20487279904ee6e/html5/thumbnails/38.jpg)
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Precyzja prognozyPrzyk lad - prognoza
Model dla dochodu:
log(dochod)i = 6, 47 + 0, 0046× wieki − 0, 32× pleci
Prognoz ↪e wysokosci dochodu dla kobiety w wieku 35 lat.
Wektor zmiennych egzogenicznych:x f =[
1 35 1]
log(dochod)f = 6, 47 + 0, 0046× 35− 0, 32× 1 = 6, 311
N. Nehrebecka 5. KMRL
![Page 39: Klasyczny Model Regresji Liniowej - Uniwersytet Warszawski](https://reader033.vdocuments.net/reader033/viewer/2022051013/6276b2cfe20487279904ee6e/html5/thumbnails/39.jpg)
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
Precyzja prognozyPrzyk lad - prognoza
Wariancja prognozy:
xf Σbx ′f =
[1 35 1
] 0, 00478652 0, 0001092 −0, 00043010, 0001092 2, 892e − 06 −3, 562e − 06−0, 0004301 −3, 562e − 06 0, 0011713
1351
=
= 0, 00064698
Oszacowanie b l ↪edu standardowego odchylenia losowego:s2 = (0, 56179)2
Wariancja b l ↪edu prognozy:
xf Σbx′f + s2 = 0, 00064698 + (0, 56179)2 = 0, 316255
Odchylenie standardowe prognozy:√
0, 316255 = 0, 562366
N. Nehrebecka 5. KMRL
![Page 40: Klasyczny Model Regresji Liniowej - Uniwersytet Warszawski](https://reader033.vdocuments.net/reader033/viewer/2022051013/6276b2cfe20487279904ee6e/html5/thumbnails/40.jpg)
Klasyczny Model Regresji LiniowejEstymator macierzy kowariancji estymatora MNK
Kombinacja liniowa parametrowPrognoza
Pytania teoretyczne
1 Wymienic za lozenia Klasycznego Modelu Regresji Liniowej(KMRL).
2 Udowodnic, ze, w KMRL estymator b jest nieobci ↪azony.3 Wyprowadzic postac macierzy wariancji kowariancji b i podac
interpretacj ↪e jej elementow.4 Podac (s lowami) tresc twierdzenia Gaussa-Markowa i wyjasnic
jego znaczenie.5 Pokazac, ze s2 jest nieobci ↪azonym estymatorem σ2.6 Udowodnic, ze s2(X ′X )−1 jest nieobci ↪azonym estymatorem
Var(b).7 Podac postac estymatora dla kombinacji liniowej δ′β i
udowodnic, ze jest on nieobci ↪azony.8 Co to jest prognoza? Udowodnic, ze prognoza postaci xf b jest
nieobci ↪azona.9 Podac dwa zrod la b l ↪edu prognozy i wzor na wariancj ↪e b l ↪edu
prognozy.N. Nehrebecka 5. KMRL