wyk ady ze statystyki matematycznej wyk ad 4 -...
TRANSCRIPT
WYKŁADY ZE STATYSTYKI MATEMATYCZNEJwykład 4 - zagadnienie estymacji, metody wyznaczania
estymatorów
Agata Boratyńska
Agata Boratyńska Statystyka matematyczna, wykład 4 1 / 23
ZAGADNIENIE ESTYMACJI
Zagadnienie estymacji - szacowanie nieznanego parametru lub funkcjina podstawie wyników obserwacji;X1,X2, . . . ,Xn - niezależne zmienne losowe o tym samym rozkładzie(i.i.d.) Pθ - próba losowaθ ∈ Θ - nieznany parametr, Θ ⊆ R(Rk)Estymatorem parametru θ nazywamy dowolną funkcjęθ(X1,X2, . . . ,Xn), której wartości należą do przestrzeni Θ, i którejcelem jest oszacowanie parametru θ.Estymator jest statystyką.
Agata Boratyńska Statystyka matematyczna, wykład 4 2 / 23
Metody wyznaczania estymatorów
Charakterystyki próbkowe - estymatory w oparciu o dystrybuantęempiryczną
estymatory metodą momentów
estymatory metodą kwantyli
estymatory metodą największej wiarogodności
Agata Boratyńska Statystyka matematyczna, wykład 4 3 / 23
Dystrybuanta empiryczna - estymator dystrybuanty,definicja
Model:(R,F)n, gdzie F rodzina dystrybuant na prostej rzeczywistejX = (X1,X2, ...,Xn) - próba losowa z rozkładu o dystrybuancie FDystrybuanta empiryczna
Fn(X , t) = Fn(t) =liczba Xi , takich że Xi ¬ t
n=1n
Σ1(−∞,t](Xi )
gdzie
1(−∞,t](Xi ) =
{1 gdy Xi ∈ (−∞, t]0 w przeciwnym przypadku
jest zmienną losową dwupunktową,
PF (1(−∞,t](Xi ) = 1) = F (t)
Agata Boratyńska Statystyka matematyczna, wykład 4 4 / 23
Dystrybuanta empiryczna, przykład
Próba losowa: 2.0 2.0 3.0 3.0 3.0 3.5 4.0 4.0 4.5 5.0
Agata Boratyńska Statystyka matematyczna, wykład 4 5 / 23
Dystrybuanta empiryczna, własności
jest statystyką jako funkcja próby losowej
jest średnią z n zmiennych losowych o rozkładzie dwupunktowym(zero-jedynkowym)
jest dystrybuantą rozkładu jednostajnego skupionego w punktachx1, x2, ..., xn (wartości próby losowej) jako funkcja zmiennej t
jest estymatorem dystrybuanty rozkładu obserwowanej zmiennejlosowej X
Agata Boratyńska Statystyka matematyczna, wykład 4 6 / 23
Własności Fn jako statystyki
1 Wartość oczekiwana dystrybuanty empirycznej w danym punkcie
EFFn(t) = EF
(1n
Σni=11(−∞,t](Xi ))
=1n· n(EF1(−∞,t](Xi )
)= F (t)
2 Wariancja dystrybuanty empirycznej w danym punkcie
VarFFn(t) =1nF (t)(1− F (t))
3 CTGFn(t)− F (t)√F (t)(1− F (t))
√n −→ N(0, 1)
PF
{x :
Fn(t)− F (t)√F (t)(1− F (t))
√n ¬ z
}−→ Φ(z)
dla każdego z .4 Twierdzenie Gliwenki Cantellego. Dla prawie wszystkich wartościx1, x2, . . . , xn
supt|Fn(t)− F (t)| −→ 0 gdy n −→∞
Agata Boratyńska Statystyka matematyczna, wykład 4 7 / 23
Zbieżność dystrybuanty empirycznej
Dystrybuanta empiryczna dla dwóch próbek i dystrybuanta teoretyczna
N=10 N=100 N=10
Agata Boratyńska Statystyka matematyczna, wykład 4 8 / 23
Charakterystyki próbkowe jako estymatory
Charakterystyki próbkowe w oparciu o próbę (X1,X2, . . . ,Xn) są równecharakterystykom liczbowym rozkładu zmiennej losowej, której dystryuantajest równa dystrybuancie empirycznej w oparciu o próbę (X1,X2, . . . ,Xn)WNIOSEK:
średnia z próby - estymator wartości oczekiwanej
mediana próbkowa - estymator mediany
kwantyl próbkowy - estymator kwantyla rozkładu
wariancja z próby - estymator wariancji
itd
Agata Boratyńska Statystyka matematyczna, wykład 4 9 / 23
Estymacja metodą momentów EMM
Model:X1,X2, . . . ,Xn i.i.d z rozkładu Pθ, θ- nieznany parametr
Postępowanie:Porównujemy momenty rozkładu teoretycznego (zależą odnieznanego(ych) parametru(ów)) do odpowiednich momentówempirycznych, z otrzymanego układu równań wyznaczamy nieznanyparametr
Agata Boratyńska Statystyka matematyczna, wykład 4 10 / 23
Estymacja metodą momentów EMM cd.
θ ∈ R (jednowymiarowa przestrzeń parametrów), rozwiąż(niewiadomą jest θ) równanie:
EθX = X
θ = (θ1, θ2) ∈ R2, rozwiąż układ równań (niewiadomą jest θ):{EθX = XVarθX = S2
θ = (θ1, θ2, . . . , θk) (k-wymiarowa przestrzeń parametrów), rozwiążukład (niewiadomą jest θ):
EθX = XVarθX = S2
Eθ(X − µ)3 = 1n
∑(Xi − X )3
. . . . . .Eθ(X − µ)k = 1
n
∑(Xi − X )k
gdzie µ = EθX .Agata Boratyńska Statystyka matematyczna, wykład 4 11 / 23
Estymacja metodą momentów - przykłady
PRZYKŁAD 1.X = (X1,X2, . . . ,Xn), Xi ∼ Ex(θ) i są niezależne, θ > 0EMM(θ) =?RozwiązanieMamy EθXi =
∫+∞0 xθe−θxdx = 1
θRozwiązujemy równanie:
1θ
= X
stąd
EMM(θ) = θ =1X
Agata Boratyńska Statystyka matematyczna, wykład 4 12 / 23
Estymacja metodą momentów - przykłady
PRZYKŁAD 2.X = (X1,X2, . . . ,Xn), Xi ∼ Gamma(α, β) i są niezależne, α, β > 0EMM(α) =? i EMM(β) =?.RozwiązanieGęstość
pα,β(x) =βα
Γ(α)xα−1e−βx gdy x > 0
Momenty:Eα,βXi =
α
βVarα,βXi =
α
β2
Otrzymujemy układ: {αβ = Xαβ2
= S2
Stąd:
β =X
S2i α =
X 2
S2
Agata Boratyńska Statystyka matematyczna, wykład 4 13 / 23
Estymacja metodą momentów - przykłady
PRZYKŁAD 3.Wyznaczyć EMM parametrów w rozkładzie Pareto(θ, λ), θ > 2, λ > 0.RozwiązanieX = (X1,X2, . . . ,Xn), Xi ∼ Pareto(θ, λ) i są niezależne. Gęstość
pθ,λ(x) =θλθ
(λ+ x)θ+1 , x > 0
Momenty:
Eθ,λX1 =λ
θ − 1Varθ,λX1 =
λ2θ
(θ − 1)2(θ − 2)Otrzymujemy układ: {
λθ−1 = X
λ2θ(θ−1)2(θ−2) = S2
Stąd: θ = 2S2
S2−X 2 λ = X (θ − 1).Agata Boratyńska Statystyka matematyczna, wykład 4 14 / 23
EMK (estymacja metodą kwantyli)
Model:X1,X2, . . . ,Xn i.i.d z rozkładu Pθ, θ- nieznany parametr
Postępowanie:Porównujemy kwantyle teoretyczne (są funkcjami nieznanychparametrów) z ich odpowiednikami z próby i z otrzymanych równańwyznaczamy parametry.
Agata Boratyńska Statystyka matematyczna, wykład 4 15 / 23
EMK (estymacja metodą kwantyli) cd.
θ ∈ R (jednowymiarowa przestrzeń parametrów), rozwiąż(niewiadomą jest θ):
q 12(θ) = Q 1
2⇐⇒ Fθ(Q 1
2) =12
θ = (θ1, θ2), rozwiąż układ (niewiadomą jest θ):
q 14(θ) = Q 1
4i q 3
4(θ) = Q 3
4
lub układ równoważny:
Fθ(Q 14) =14i Fθ(Q 3
4) =34
θ = (θ1, θ2, θ3). Otrzymujemy układ:
Fθ(Q 14) =14i Fθ(Q 1
2) =12i Fθ(Q 3
4) =34
θ = (θ1, θ2, θ3, θ4). Rozważamy kwantyle rzędu 18 ,38 ,58 i78 .
Agata Boratyńska Statystyka matematyczna, wykład 4 16 / 23
EMK (estymacja metodą kwantyli) - przykłady
PRZYKŁAD 1.X1,X2, . . . ,Xn i.i.d, Xi ∼ Ex(θ), θ > 0. Wyznaczyć EMK (θ) =?Rozwiązanie
Fθ(q 12
)= 1− exp
(−θq 1
2
)=12⇐⇒ q 1
2= −1
θln12
Rozwiązujemy równanie:
−1θln12
= Q 12
stąd
EMK (θ) = θ(X ) = − 1Q 12
ln12
Agata Boratyńska Statystyka matematyczna, wykład 4 17 / 23
EMK (estymacja metodą kwantyli) - przykłady
PRZYKŁAD 2.Niech X1,X2, . . . ,Xn i.i.d z rozkładu Weibull(c , τ), wyznaczyćEMK (c) =? i EMK (τ) =?RozwiązanieDystrybuanta w rozkładzie Weibulla ma postać:
Fc,τ (x) = 1− exp (−cxτ ) x > 0
Otrzymujemy układ: 1− e−cQτ1
4 = 14
1− e−cQτ3
4 = 34
⇐⇒
− ln 0.75 = cQτ14
− ln 0.25 = cQτ34
Stąd(Q 1
4Q 34
)τ= ln 0.75ln 0.25 Estymatory mają postać:
τ = logQ 14Q 34
(ln 0.75ln 0.25
)c = − ln 0.75
Q τ14
Agata Boratyńska Statystyka matematyczna, wykład 4 18 / 23
ENW (estymacja metodą największej wiarogodności)
Niech X1,X2, . . . ,Xn i.i.d. z rozkładu o gęstości fθ(x), gdzie θ jestnieznanym parametrem.Funkcją wiarogodności nazywamy funkcję zmiennej θ równą
L(θ) = L(θ, x) = fθ(x1)fθ(x2) . . . fθ(xn)
gdzie x = (x1, x2, . . . , xn) jest próbką zaobserwowanych wartościzmiennych X1,X2, . . . ,XnEstymatorem największej wiarogodności parametru θ(ENW (θ)) nazywamy argument maksimum funkcji L
ENW (θ) = arg maxθL(θ).
Agata Boratyńska Statystyka matematyczna, wykład 4 19 / 23
ENW - przykłady
PRZYKŁAD 1.X ∼ bin(n, θ), wyznacz ENW (θ).Rozwiązanie
L(θ, x) =
(nx
)θx(1− θ)n−x
∂L(θ, x)∂θ
=
(nx
)θx−1(1− θ)n−x−1(x − nθ) = 0
ENW (θ) =Xn
Agata Boratyńska Statystyka matematyczna, wykład 4 20 / 23
ENW, przydatne związki
Zachodzi:1 arg maxθ L(θ, x) = arg maxθ ln L(θ, x)(zamiast wyznaczać argument max funkcji L można wyznaczaćargument max funkcji l(θ) = ln L(θ))
2 ENW (g(θ)) = g(ENW (θ))
3 Jeżeli θ = (θ1, . . . , θk) jest parametrem ciągłym i L jest funkcjąróżniczkowalną, to ENW wyznaczamy rozwiązując układ równań:
∂L(θ, x)∂θj
= 0, j = 1, 2, . . . , k
lub równoważny układ:
∂ ln L(θ, x)∂θj
= 0, j = 1, 2, . . . , k.
Agata Boratyńska Statystyka matematyczna, wykład 4 21 / 23
ENW - przykłady, cd
PRZYKŁAD 2.X1,X2, . . . ,Xn i.i.d Ex(θ), θ > 0. Wyznacz ENW (θ)RozwiązanieFunkcja wiarogodności
L(θ, x) = θn exp
(−θ
n∑i=1
xi
)
ln L = n ln θ − θn∑i=1
xi
Pochodna ∂ ln L(θ,x)∂θ = n
θ −∑ni=1 xi Rozwiązujemy równanie
nθ−n∑i=1
xi = 0
ENW (θ) =1X
Agata Boratyńska Statystyka matematyczna, wykład 4 22 / 23
ENW (estymacja metodą największej wiarogodności) -przykłady
PRZYKŁAD 3.X1,X2, . . . ,Xn i.i.d N(µ, σ). Wyznacz ENW (µ) i ENW (σ2).RozwiązanieNiech v = σ2.
L(µ, v) =
(12πv
) n2exp
(− 12v
n∑i=1
(xi − µ)2)
ln L = −n2ln(2π)− n
2ln v − 1
2v
n∑i=1
(xi − µ)2
Po obliczeniu pochodnych cząstkowych otrzymujemy układ{2 12v
∑ni=1(xi − µ) = 0
− n2v + 12v2∑ni=1(xi − µ)2 = 0
Stąd ENW (µ) = X ENW (σ2) = S2 = 1n
∑ni=1
(Xi − X
)2.
Agata Boratyńska Statystyka matematyczna, wykład 4 23 / 23
ENW, przykład 4, dane
20 307 612 1272 2078 3631
26 324 669 1280 2240 4068
77 346 686 1351 2411 4520
86 359 691 1380 2412 5013
116 367 710 1501 2519 5065
120 370 757 1546 2588 5481
132 383 827 1565 2728 6046
165 384 829 1635 2799 7003
201 451 886 1671 2850 7275
240 475 893 1706 2987 7477
246 496 969 1825 3000 8738
252 505 1053 1830 3006 9197
265 529 1079 1850 3383 16370
272 546 1080 1871 3443 17605
282 560 1145 1916 3513 27320
300 595 1194 2029 3614 56788
Agata Boratyńska Statystyka matematyczna, wykład 4 24 / 23
Przykład 4, wartości estymatorów
ROZKŁAD WYKŁADNICZY
EMM 0,0003342
ENW 0,0003342
ROZKŁAD PARETO
EMM theta 2,48984
lambda 4458,24
ENW theta 1,90145
lambda 2691,39
ROZKŁAD WEIBULLA
EMK tau 0,803439
c 0,002332
ENW tau 0,713162
c 0,004071
ROZKŁAD GAMMA
EMM alpha 0,196736
beta 0,000066
ENW alpha 0,625739
beta 0,000209
ROZKŁAD LOGARYTMICZNO-NORMALNY
ENW 7,022464
1,400221
Agata Boratyńska Statystyka matematyczna, wykład 4 25 / 23
Przykład 4, wykresy gęstości
0
0,0002
0,0004
0,0006
0,0008
0,001
0 2000 4000 6000 8000
histogram
wykladniczy
Pareto
Weibulla
Gamma
Lognormal
Agata Boratyńska Statystyka matematyczna, wykład 4 26 / 23