wyk ady ze statystyki matematycznej wyk ad 4 -...

WYKŁADY ZE STATYSTYKI MATEMATYCZNEJwykład 4 - zagadnienie estymacji, metody wyznaczania

estymatorów

Agata Boratyńska

Agata Boratyńska Statystyka matematyczna, wykład 4 1 / 23

ZAGADNIENIE ESTYMACJI

Zagadnienie estymacji - szacowanie nieznanego parametru lub funkcjina podstawie wyników obserwacji;X1,X2, . . . ,Xn - niezależne zmienne losowe o tym samym rozkładzie(i.i.d.) Pθ - próba losowaθ ∈ Θ - nieznany parametr, Θ ⊆ R(Rk)Estymatorem parametru θ nazywamy dowolną funkcjęθ(X1,X2, . . . ,Xn), której wartości należą do przestrzeni Θ, i którejcelem jest oszacowanie parametru θ.Estymator jest statystyką.


Metody wyznaczania estymatorów

Charakterystyki próbkowe - estymatory w oparciu o dystrybuantęempiryczną

estymatory metodą momentów

estymatory metodą kwantyli

estymatory metodą największej wiarogodności


Dystrybuanta empiryczna - estymator dystrybuanty,definicja

Model:(R,F)n, gdzie F rodzina dystrybuant na prostej rzeczywistejX = (X1,X2, ...,Xn) - próba losowa z rozkładu o dystrybuancie FDystrybuanta empiryczna

Fn(X , t) = Fn(t) =liczba Xi , takich że Xi ¬ t

n=1n

Σ1(−∞,t](Xi )

gdzie

1(−∞,t](Xi ) =

{1 gdy Xi ∈ (−∞, t]0 w przeciwnym przypadku

jest zmienną losową dwupunktową,

PF (1(−∞,t](Xi ) = 1) = F (t)


Dystrybuanta empiryczna, przykład

Próba losowa: 2.0 2.0 3.0 3.0 3.0 3.5 4.0 4.0 4.5 5.0


Dystrybuanta empiryczna, własności

jest statystyką jako funkcja próby losowej

jest średnią z n zmiennych losowych o rozkładzie dwupunktowym(zero-jedynkowym)

jest dystrybuantą rozkładu jednostajnego skupionego w punktachx1, x2, ..., xn (wartości próby losowej) jako funkcja zmiennej t

jest estymatorem dystrybuanty rozkładu obserwowanej zmiennejlosowej X


Własności Fn jako statystyki

1 Wartość oczekiwana dystrybuanty empirycznej w danym punkcie

EFFn(t) = EF

(1n

Σni=11(−∞,t](Xi ))

=1n· n(EF1(−∞,t](Xi )

)= F (t)

2 Wariancja dystrybuanty empirycznej w danym punkcie

VarFFn(t) =1nF (t)(1− F (t))

3 CTGFn(t)− F (t)√F (t)(1− F (t))

√n −→ N(0, 1)

PF

{x :

Fn(t)− F (t)√F (t)(1− F (t))

√n ¬ z

}−→ Φ(z)

dla każdego z .4 Twierdzenie Gliwenki Cantellego. Dla prawie wszystkich wartościx1, x2, . . . , xn

supt|Fn(t)− F (t)| −→ 0 gdy n −→∞


Zbieżność dystrybuanty empirycznej

Dystrybuanta empiryczna dla dwóch próbek i dystrybuanta teoretyczna

N=10 N=100 N=10


Charakterystyki próbkowe jako estymatory

Charakterystyki próbkowe w oparciu o próbę (X1,X2, . . . ,Xn) są równecharakterystykom liczbowym rozkładu zmiennej losowej, której dystryuantajest równa dystrybuancie empirycznej w oparciu o próbę (X1,X2, . . . ,Xn)WNIOSEK:

średnia z próby - estymator wartości oczekiwanej

mediana próbkowa - estymator mediany

kwantyl próbkowy - estymator kwantyla rozkładu

wariancja z próby - estymator wariancji

itd


Estymacja metodą momentów EMM

Model:X1,X2, . . . ,Xn i.i.d z rozkładu Pθ, θ- nieznany parametr

Postępowanie:Porównujemy momenty rozkładu teoretycznego (zależą odnieznanego(ych) parametru(ów)) do odpowiednich momentówempirycznych, z otrzymanego układu równań wyznaczamy nieznanyparametr


Estymacja metodą momentów EMM cd.

θ ∈ R (jednowymiarowa przestrzeń parametrów), rozwiąż(niewiadomą jest θ) równanie:

EθX = X

θ = (θ1, θ2) ∈ R2, rozwiąż układ równań (niewiadomą jest θ):{EθX = XVarθX = S2

θ = (θ1, θ2, . . . , θk) (k-wymiarowa przestrzeń parametrów), rozwiążukład (niewiadomą jest θ):

EθX = XVarθX = S2

Eθ(X − µ)3 = 1n

∑(Xi − X )3

. . . . . .Eθ(X − µ)k = 1

n

∑(Xi − X )k

gdzie µ = EθX .Agata Boratyńska Statystyka matematyczna, wykład 4 11 / 23

Estymacja metodą momentów - przykłady

PRZYKŁAD 1.X = (X1,X2, . . . ,Xn), Xi ∼ Ex(θ) i są niezależne, θ > 0EMM(θ) =?RozwiązanieMamy EθXi =

∫+∞0 xθe−θxdx = 1

θRozwiązujemy równanie:

1θ

= X

stąd

EMM(θ) = θ =1X



PRZYKŁAD 2.X = (X1,X2, . . . ,Xn), Xi ∼ Gamma(α, β) i są niezależne, α, β > 0EMM(α) =? i EMM(β) =?.RozwiązanieGęstość

pα,β(x) =βα

Γ(α)xα−1e−βx gdy x > 0

Momenty:Eα,βXi =

α

βVarα,βXi =

α

β2

Otrzymujemy układ: {αβ = Xαβ2

= S2

Stąd:

β =X

S2i α =

X 2

S2



PRZYKŁAD 3.Wyznaczyć EMM parametrów w rozkładzie Pareto(θ, λ), θ > 2, λ > 0.RozwiązanieX = (X1,X2, . . . ,Xn), Xi ∼ Pareto(θ, λ) i są niezależne. Gęstość

pθ,λ(x) =θλθ

(λ+ x)θ+1 , x > 0

Momenty:

Eθ,λX1 =λ

θ − 1Varθ,λX1 =

λ2θ

(θ − 1)2(θ − 2)Otrzymujemy układ: {

λθ−1 = X

λ2θ(θ−1)2(θ−2) = S2

Stąd: θ = 2S2

S2−X 2 λ = X (θ − 1).Agata Boratyńska Statystyka matematyczna, wykład 4 14 / 23

EMK (estymacja metodą kwantyli)

Model:X1,X2, . . . ,Xn i.i.d z rozkładu Pθ, θ- nieznany parametr

Postępowanie:Porównujemy kwantyle teoretyczne (są funkcjami nieznanychparametrów) z ich odpowiednikami z próby i z otrzymanych równańwyznaczamy parametry.


EMK (estymacja metodą kwantyli) cd.

θ ∈ R (jednowymiarowa przestrzeń parametrów), rozwiąż(niewiadomą jest θ):

q 12(θ) = Q 1

2⇐⇒ Fθ(Q 1

2) =12

θ = (θ1, θ2), rozwiąż układ (niewiadomą jest θ):

q 14(θ) = Q 1

4i q 3

4(θ) = Q 3

4

lub układ równoważny:

Fθ(Q 14) =14i Fθ(Q 3

4) =34

θ = (θ1, θ2, θ3). Otrzymujemy układ:

Fθ(Q 14) =14i Fθ(Q 1

2) =12i Fθ(Q 3

4) =34

θ = (θ1, θ2, θ3, θ4). Rozważamy kwantyle rzędu 18 ,38 ,58 i78 .


EMK (estymacja metodą kwantyli) - przykłady

PRZYKŁAD 1.X1,X2, . . . ,Xn i.i.d, Xi ∼ Ex(θ), θ > 0. Wyznaczyć EMK (θ) =?Rozwiązanie

Fθ(q 12

)= 1− exp

(−θq 1

2

)=12⇐⇒ q 1

2= −1

θln12

Rozwiązujemy równanie:

−1θln12

= Q 12

stąd

EMK (θ) = θ(X ) = − 1Q 12

ln12


EMK (estymacja metodą kwantyli) - przykłady

PRZYKŁAD 2.Niech X1,X2, . . . ,Xn i.i.d z rozkładu Weibull(c , τ), wyznaczyćEMK (c) =? i EMK (τ) =?RozwiązanieDystrybuanta w rozkładzie Weibulla ma postać:

Fc,τ (x) = 1− exp (−cxτ ) x > 0

Otrzymujemy układ: 1− e−cQτ1

4 = 14

1− e−cQτ3

4 = 34

⇐⇒

− ln 0.75 = cQτ14

− ln 0.25 = cQτ34

Stąd(Q 1

4Q 34

)τ= ln 0.75ln 0.25 Estymatory mają postać:

τ = logQ 14Q 34

(ln 0.75ln 0.25

)c = − ln 0.75

Q τ14


ENW (estymacja metodą największej wiarogodności)

Niech X1,X2, . . . ,Xn i.i.d. z rozkładu o gęstości fθ(x), gdzie θ jestnieznanym parametrem.Funkcją wiarogodności nazywamy funkcję zmiennej θ równą

L(θ) = L(θ, x) = fθ(x1)fθ(x2) . . . fθ(xn)

gdzie x = (x1, x2, . . . , xn) jest próbką zaobserwowanych wartościzmiennych X1,X2, . . . ,XnEstymatorem największej wiarogodności parametru θ(ENW (θ)) nazywamy argument maksimum funkcji L

ENW (θ) = arg maxθL(θ).


ENW - przykłady

PRZYKŁAD 1.X ∼ bin(n, θ), wyznacz ENW (θ).Rozwiązanie

L(θ, x) =

(nx

)θx(1− θ)n−x

∂L(θ, x)∂θ

=

(nx

)θx−1(1− θ)n−x−1(x − nθ) = 0

ENW (θ) =Xn


ENW, przydatne związki

Zachodzi:1 arg maxθ L(θ, x) = arg maxθ ln L(θ, x)(zamiast wyznaczać argument max funkcji L można wyznaczaćargument max funkcji l(θ) = ln L(θ))

2 ENW (g(θ)) = g(ENW (θ))

3 Jeżeli θ = (θ1, . . . , θk) jest parametrem ciągłym i L jest funkcjąróżniczkowalną, to ENW wyznaczamy rozwiązując układ równań:

∂L(θ, x)∂θj

= 0, j = 1, 2, . . . , k

lub równoważny układ:

∂ ln L(θ, x)∂θj

= 0, j = 1, 2, . . . , k.


ENW - przykłady, cd

PRZYKŁAD 2.X1,X2, . . . ,Xn i.i.d Ex(θ), θ > 0. Wyznacz ENW (θ)RozwiązanieFunkcja wiarogodności

L(θ, x) = θn exp

(−θ

n∑i=1

xi

)

ln L = n ln θ − θn∑i=1

xi

Pochodna ∂ ln L(θ,x)∂θ = n

θ −∑ni=1 xi Rozwiązujemy równanie

nθ−n∑i=1

xi = 0

ENW (θ) =1X


ENW (estymacja metodą największej wiarogodności) -przykłady

PRZYKŁAD 3.X1,X2, . . . ,Xn i.i.d N(µ, σ). Wyznacz ENW (µ) i ENW (σ2).RozwiązanieNiech v = σ2.

L(µ, v) =

(12πv

) n2exp

(− 12v

n∑i=1

(xi − µ)2)

ln L = −n2ln(2π)− n

2ln v − 1

2v

n∑i=1

(xi − µ)2

Po obliczeniu pochodnych cząstkowych otrzymujemy układ{2 12v

∑ni=1(xi − µ) = 0

− n2v + 12v2∑ni=1(xi − µ)2 = 0

Stąd ENW (µ) = X ENW (σ2) = S2 = 1n

∑ni=1

(Xi − X

)2.


ENW, przykład 4, dane

20 307 612 1272 2078 3631

26 324 669 1280 2240 4068

77 346 686 1351 2411 4520

86 359 691 1380 2412 5013

116 367 710 1501 2519 5065

120 370 757 1546 2588 5481

132 383 827 1565 2728 6046

165 384 829 1635 2799 7003

201 451 886 1671 2850 7275

240 475 893 1706 2987 7477

246 496 969 1825 3000 8738

252 505 1053 1830 3006 9197

265 529 1079 1850 3383 16370

272 546 1080 1871 3443 17605

282 560 1145 1916 3513 27320

300 595 1194 2029 3614 56788


Przykład 4, wartości estymatorów

ROZKŁAD WYKŁADNICZY

EMM 0,0003342

ENW 0,0003342

ROZKŁAD PARETO

EMM theta 2,48984

lambda 4458,24

ENW theta 1,90145

lambda 2691,39

ROZKŁAD WEIBULLA

EMK tau 0,803439

c 0,002332

ENW tau 0,713162

c 0,004071

ROZKŁAD GAMMA

EMM alpha 0,196736

beta 0,000066

ENW alpha 0,625739

beta 0,000209

ROZKŁAD LOGARYTMICZNO-NORMALNY

ENW 7,022464

1,400221


Przykład 4, wykresy gęstości

0

0,0002

0,0004

0,0006

0,0008

0,001

0 2000 4000 6000 8000

histogram

wykladniczy

Pareto

Weibulla

Gamma

Lognormal


wyk ady ze statystyki matematycznej wyk ad 4 -...

Documents