3.11 procjena parametara to ckovne i intervalne …...3.11 procjena parametara razlikujemo to ckovne...
TRANSCRIPT
3.11 Procjena parametara
Razlikujemo tockovne i intervalne procjene parame-
tara.
Primjer 3.11. Mjerimo visinu covjeka u populaciji
ljudi. Poznato je da visina covjeka ima normalnu raz-
diobu s varijancom 64cm2, ali je parametar srednje
vrijednosti µ nepoznat. Na slucajan nacin odabrano
je n = 100 ljudi i izmjerena im je visina. Zbroj svih
dobivenih visina iznosi 16910 cm. Kolika je procjena
za µ?
1
X = visina (na slucajan nacin odabrana) covjeka
Po pretpostavci: X ∼ N(µ,82)
Kako procijeniti µ iz zadanog slucajnog uzorka
X1, X2, . . . , Xn? (1)
Aritmetickom sredinom uzorka:
Xn :=1
n(X1 + x2 + · · ·+Xn).
Xn je s.v.
2
Iz primjera 3.4 je poznato da je uzoracka razdioba
od Xn:
Xn ∼ N
(µ,
64
n
),
pa je
E[Xn] = µ, Var[Xn] =64
n.
3
Pitanja:
1. Zasto je Xn dobar procjenitelj populacijske sred-
nje vrijednosti (ocekivanja)?
2. Koliko je dobivena procjena pouzdana/tocna?
5
Neka je X1, X2, . . . , Xn slucajni uzorak i τ parametar
populacije.
Definicija. Za procjenitelj Tn = fn(X1, . . . , Xn) ka-
zemo da je nepristran procjenitelj za parametar τ
ako vrijedi
E[Tn] = τ.
6
Definicija. Za procjenitelj Tn parametra τ za koji je
(P) limn→∞Tn = τ
kazemo da je (slabo) konzistentan.
Tn je jako konzistentan za τ ako je
P( limn→∞Tn = τ) = 1.
7
Teorem 3.22. Neka je X1, X2, . . . , Xn slucajni uzo-rak iz populacije s konacnom varijancom i neka je µparametar ocekivanja. Tada je aritmeticka sredinaXn:
(1) nepristran procjenitelj za µ;(2) konzistentan procjenitelj za µ.
Napomena: Za jaku (a time i slabu) konzistentnostaritmeticke sredine dovoljno je pretpostaviti da jeslucajni uzorak iz populacije s konacnim ocekivanjem.Ta pretpostavka je ujedno dovoljna i za tvrdnju (1).
Dokaz.8
Zadatak 1. Uz iste uvjete kao u teoremu 3.22,
dokazite da je uzoracka varijanca
S2n :=
1
n− 1
n∑i=1
(Xi −Xn)2
nepristrani procjenitelj populacijske varijance.
9
Primjer 3.11 (nastavak). Za parametar µ od X ∼N(µ,64) zelimo na osnovi zadanog uzorka naci slucajni
interval [L,D] sa svojstvom da taj interval sadrzi
pravu vrijednost od µ uz pouzdanost od 95%.
Uzoracka razdioba od Xn ∼ N(µ, 64n
)⇒ Z =
Xn − µ
8
√n ∼ N(0,1).
10
Iz tablica ocitamo: z0.025 t.d. je
P(|Z| ≤ z0.025) = 0.95
⇒ z0.025 = 1.96 i
0.95 = P
(∣∣∣∣∣Xn − µ
8
√n
∣∣∣∣∣ ≤ 1.96
)=
= P
(Xn − 1.96
8√n≤ µ ≤ Xn +1.96
8√n
)Dakle, 95% pouzdan interval za µ je[
Xn − 1.968√n,Xn +1.96
8√n
].
11
Realizacija uzorka: x = 169.10.
Prema tome, procjena 95% p.i. za µ na osnovi opa-zenog uzorka je[
169.10−1.96 ·8
10,169.10+1.96 ·
8
10
]= [167.53,170.87].
To je intervalna procjena za µ.
12
Definicija. Neka su
Ln = ln(X1, . . . , Xn), Dn = dn(X1, . . . , Xn)
statistike, funkcije slucajnog uzorka
X1, X2, . . . , Xn.
Kazemo da je [Ln, Dn] (1−α)·100% pouzdan interval
(p.i.) za parametar τ ako vrijedi
P(Ln ≤ τ ≤ Dn) ≥ 1− α.
(α ∈ ⟨0,1⟩)
13
Propozicija 3.23. Neka je X1, X2, . . . , Xn slucajni
uzorak za X iz normalno distribuirane populacije
X ∼ N(µ, σ2), pri cemu je σ2 poznato. (1−α)·100%pouzdani interval za µ je[
Xn − zα2
σ√n, Xn + zα
2
σ√n
].
(Φ0(zα2) = 1−α
2 )
14
Zadatak 2. Pokazite da (1− α) · 100% p.i. za µ iz
propozicije 3.14 ima najmanju duljinu izmedu svih
(1− α) · 100% p.i. za µ oblika[Xn − b ·
σ√n, Xn − a ·
σ√n
], a, b ∈ R.
15
Primjer 3.12. Neka je X ∼ N(170,64) neko sta-
tisticko obiljezje populacije. 25 puta je simulirano
uzimanje uzoraka duljine 100 na osnovi kojih su pro-
cijenjeni 95% p.i. za ocekivanje od X. U 24 (od 25)
slucajeva, prava vrijednost ocekivanja od X (µ =
170) bila je sadrzana u procijenjenim intervalima.
Relativna frekvencija tog dogadaja je:
24
25= 0.96 ≥ 0.95.
16
3.12 Pouzdani intervali za ocekivanje normalne
populacije (varijanca nepoznata)
Neka je X1, . . . , Xn slucajni uzorak za X ∼ N(µ, σ2).
Parametri µ, σ2 su nepoznati.
Zbog toga u izrazu za standardiziranu aritmeticku
sredinu zamijenimo σ s procjeniteljem Sn:
Z =Xn − µ
σ
√n → Tn =
Xn − µ
Sn
√n.
18
Iz korolara 3.18:
Tn =Xn − µ
Sn
√n ∼ t(n− 1).
Za zadani α ∈ ⟨0,1⟩ iz tablice Studentove distribucije
ocitamo broj tα2(n− 1) t.d. je
P
(∣∣∣∣∣Xn − µ
Sn
√n
∣∣∣∣∣ ≤ tα2(n− 1)
)= 1− α.
⇒
P
(Xn − tα
2(n− 1)
Sn√n
≤ µ ≤ Xn + tα2(n− 1)
Sn√n
)= 1−α
19
Propozicija 3.24. Neka je X1, X2, . . . , Xn slucajni
uzorak za X iz normalno distribuirane populacije
X ∼ N(µ, σ2), pri cemu je σ2 nepoznato.
(1− α) · 100% pouzdani interval za µ je[Xn − tα
2(n− 1)
Sn√n, Xn + tα
2(n− 1)
Sn√n
].
20
Zadatak 3. Pokazite da (1− α) · 100% p.i. za µ iz
propozicije 3.24 ima najmanju duljinu izmedu svih
(1− α) · 100% p.i. za µ oblika[Xn − b ·
Sn√n, Xn − a ·
Sn√n
], a, b ∈ R.
21
Primjer 3.13. U svrhu istrazivanja toksicnosti jedne
vrste plijesni na urod kukuruza, mjeri se kolicina
toksicne tvari u mg. Uzorak od 9 ekstrakata te pli-
jesni:
1.2, 0.8, 0.6, 1.1, 1.2, 0.9, 1.5, 0.9, 1.0
Pretpostavka je da mjereno obiljezje ima normalnu
razdiobu. Procijenimo 98% p.i. za njegovu ocekivanu
vrijednost.
22
n = 9, x = 1.02, s = 0.28
1− α = 0.98 ⇒ α = 0.02
Tablice: t0.01(8) = 2.896
98% p.i. za µ je:[X9 − 2.896 ·
S9
3, X9 +2.896 ·
S9
3
]i procjena tog intervala na bazi uzorka je:[1.02−2.896 ·
0.28
3, 1.02+2.896 ·
0.28
3
]= [0.75, 1.29]
23
Zadatak 4. Pokazite da je (1 − α) · 100% p.i. za
populacijsku varijancu σ2 normalne populacije jed-
nak (n− 1)S2n
χ2α/2(n− 1)
,(n− 1)S2
n
χ21−α/2(n− 1)
,gdje je χ2
β(m) (1− β)-kvantil χ2(m)-distribucije.
Je li dobiveni p.i. najmanje duljine?
24
3.13 Pouzdani intervali za ocekivanje na osnovi
velikih uzoraka
Pretpostavimo da je X1, X2, . . . , Xn slucajni uzorak
velike duljine n (n → ∞) za X opcenito nepoznatog
tipa razdiobe, ali konacne varijance.
Neka su: µ = E[X], σ2 = Var[X]
Zelimo naci pouzdani interval za µ priblizne pouz-
danosti (1− α) · 100%.
25
Prema CGT-u:
Xn − µ
σ
√n
D−→ N(0,1), n → ∞.
Teorem 3.25. Neka je X1, X2, . . . , Xn slucajni uzo-
rak iz populacije s konacnom varijancom σ2 i neka
je µ parametar ocekivanja. Ako je σn konzistentan
procjenitelj za standardnu devijaciju σ, tada
Xn − µ
σn
√n
D−→ N(0,1), n → ∞.
(Bez dokaza.)
26
Dakle, za velike n (n → ∞) je
Xn − µ
σn
√n
D≈ N(0,1).
Dalje se p.i. konstruira kao u slucaju normalne po-
pulacije s poznatom varijancom (σ ≈ σn):[Xn − zα
2
σn√n, Xn + zα
2
σn√n
].
Njegova pouzdanost je priblizno (1− α) · 100%.
(Na primjer: σn = Sn)
27
Primjer 3.14. Na osnovi 70 podataka o duljini tra-
janja terapije izracunano je prosjecno vrijeme tra-
janja terapije od 15 dana uz standardnu devijaciju
od 3 dana. Treba procijeniti 90% pouzdani interval
za ocekivano vrijeme trajanja terapije.
28
X = vrijeme trajanja terapije, µ = E[X], α = 0.1
Pretpostavka: X70−µS70
√70
D≈ N(0,1).
Iz tablica N(0,1)-razdiobe: z0.05 = 1.64.
Aproksimativni 90% p.i. za µ je[X70 − 1.64 ·
S70√70
, X70 +1.64 ·S70√70
]Buduci da je x = 15, s = 3, procjena tog p.i. je:[
15− 1.64 ·3√70
, 15+ 1.64 ·3√70
]= [14.4, 15.6]
29
Primjer 3.15. Zanima nas postotak pusaca u po-
pulaciji 18-godisnjih Britanaca. Na slucajan nacin
odabran je uzorak duljine n = 7383 iz te populacije.
U uzorku je bilo 32.8% pusaca. Treba procijeniti
95% p.i. za postotak pusaca u populaciji.
30
X = indikator da je 18-god. Britanac pusac
p · 100% je postotak pusaca u populaciji
X ∼ Bernoullijeva s.v. s parametrom p
⇒ E[X] = p, Var[X] = p(1− p)
p = X7383 = X
σ2 = Var[X] = X(1−X)
31
Buduci da je σ =√X(1−X) konzistentan procjeni-
telj za σ =√p(1− p), prema teoremu 3.25 je
X − p√X(1−X)
·√7383
D≈ N(0,1).
Aproksimativni 95% p.i. za p je:X − 1.96 ·
√X(1−X)
7383, X +1.96 ·
√X(1−X)
7383
x = 0.328 ⇒ procjena za taj p.i. je:
0.328± 1.96 ·√0.328 · 0.672
7383= [0.317, 0.339]
32
Osnovni princip metode momenata je da se iz-
jednace populacijske vrijednosti momenata (koje su
funkcije nepoznatih parametara) s odgovarajucim u-
zorackim momentima. Procjenitelji parametara su
rjesenja tog sustava jednadzbi po parametrima kao
nepoznanicama, dakle funkcije su uzorackih mome-
nata.
34
Primjer 3.16. Neka je X1, X2, . . . , Xn slucajni uzo-
rak za X ∼ Exp(λ)-razdiobom, λ > 0 je nepoznati
parametar koji treba procijeniti.
µ(λ) = E[X] = 1/λ ⇒
1
λ= x ⇒ λ =
1
x.
Dakle, procjenitelj metodom momenata za parame-
tar λ eksponencijalne populacijske razdiobe je
λ = 1/X.
35
Primjer 3.17. Neka je X1, X2, . . . , Xn slucajni uzo-
rak za X ∼ U [−θ, θ] s parametrom θ > 0.
Buduci da je µ = 0, a σ2 = Var[X] = θ2/3, iz-
jednacimo populacijsku i uzoracku varijancu i do-
bivenu jednadzbu rijesimo po θ:
θ2
3= s2 ⇒ θ = s
√3.
Dakle, procjenitelj metodom momenata za parame-
tar θ razdiobe U [−θ, θ] je
θ = Sn√3.
36
Primjer 3.18. Neka je X1, X2, . . . , Xn slucajni uzo-
rak za X ∼ N(µ, σ2) s nepoznatim parametrima θ =
(µ, σ2).
Buduci da su E[X] = µ i Var[X] = σ2, procjenitelji
metodom momenata za µ i σ2 su trivijalno
µ = Xn, σ2 = S2n.
37
Definicija. Neka je (x1, x2, . . . , xn) opazeni uzorak
za varijablu X s populacijskom gustocom f(x|θ),gdje je θ ∈ Θ nepoznati parametar.
Tada je vjerodostojnost funkcija L : Θ → R defini-
rana sa
L(θ) :=n∏
i=1
f(xi|θ).
38
Definicija. Procjena metodom maksimalne vjero-
dostojnosti parametra θ je ona vrijednost θ ∈ Θ za
koju funkcija vjerodostojnosti poprima maksimalnu
vrijednost:
L(θ) = maxθ∈Θ
L(θ).
Ocito je θ = θ(x1, . . . , xn). Dakle, procjenitelj metodom
maksimalne vjerodostojnosti, krace MLE, parame-
tra θ je statistika θ(X1, X2, . . . , Xn).
39
Teorem 3.26. (invarijantnost MLE)
Neka je θ MLE za θ i g : Θ → g(Θ) neka funkcija.
Tada je MLE od g(θ) jednak g(θ).
(Bez dokaza.)
40
Primjer 3.19. Neka je X1, X2, . . . , Xn slucajni uzo-rak za X ∼ Exp(λ)-razdiobom, λ > 0 je nepoznatiparametar koji treba procijeniti.
L(λ) =n∏
i=1
λe−λxi = λne−λ∑n
i=1 xi = λne−nλx.
Buduci da
ImX = {x : f(x|λ) > 0} = ⟨0,+∞⟩ne ovisi o λ, MLE za λ trazimo rjesavajuci sta-cionarnu jednadzbu od log-vjerodostojnosti:
ℓ(λ) = logL(λ) = n logλ− nλx
ℓ′(λ) = 0 ⇔n
λ− nx = 0 ⇔ λ =
1
x.
41
Dakle, MLE od λ je
λ = 1/X.
Nadalje, buduci da je µ(λ) = 1/λ populacijsko oce-
kivanje, zbog invarijantnosti od MLE vrijedi da je
MLE populacijskog ocekivanja jednak
µ(λ) = µ(λ) = X.
42
Primjer 3.20. Neka je X1, X2, . . . , Xn slucajni uzo-
rak za X s populacijskom gustocom
f(x|θ) =
{2θ2x ako je 0 ≤ x ≤ θ,
0 inace
i nepoznatim parametrom θ > 1.
L(θ) =n∏
i=1
f(xi|θ) =
{2n
θ2n∏ni=1 xi ako je θ ≥ x(n)0 inace.
Buduci da ImX = [0, θ] ovisi o parametru, MLE
ne mozemo traziti rjesavajuci stacionarnu jednadzbu
log-vjerodostojnosti.
43
Iz oblika funkcije θ 7→ L(θ) ocito je da je L(θ) > 0
samo za θ ≥ x(n), a na tom intervalu funkcija strogo
pada. Dakle, maksimum vjerodostojnosti se postize
u tocki θ = x(n), pa je MLE za θ statistika
θ = X(n).
44
Zadatak 1. Pokazite da je MLE parametara θ =
(µ, σ2) normalnog modela N(µ, σ2) jednak
θ = (µ, σ2) =(Xn,
n− 1
nS2n
).
45
Definicija. Kazemo da je model za X zadan funkci-
jom gustoce f(x|θ), θ ∈ Θ ⊂ Rk, regularan ako je:
(R1) ImX = {x : f(x|θ) > 0} ne ovisi o θ.
(R2) Θ je otvoren skup.
(R3) (∀x) θ 7→ f(x|θ) je diferencijabilna funkcija.
(R4) (∀i, θ) E[(
∂∂θi
log f(X|θ))2]
< +∞ i
kovarijacijska matrica I(θ) s. ve. ∇θ log f(X|θ) je
pozitivno definitna.
(R5) (∀θ)∫∇θf(x|θ) dx = 0.
I(θ) zovemo Fisherovom informacijskom matricom.
46
Teorem 3.27. Neka je X1, . . . , Xn slucajni uzorak
za X iz regularnog modela f(x|θ), i neka je θ MLE
za θ log-vjerodostojnosti ℓn(θ). Pretpostavimo jos
da vrijedi:
(R6) (∀x, i) θ 7→ ∂∂θi
f(x|θ) je diferencijabilna funkcija.
(R7) (∀θ0) (∃r > 0 i funkcija x 7→ K(x, θ0))
(∀x, i, j) sup{θ:|θ−θ0|<r} |∂2
∂θi∂θjlog f(x|θ)| ≤ K(x, θ0)
i Eθ0[K(X, θ0)] < +∞.
(R8) (∀θ)∫∇2
θf(x|θ) dx = 0.
(R9) f(x|θ1) = f(x|θ2) s.s. ⇒ θ1 = θ2
47
Tada je θ konzistentan procjenitelj za θ. Nadalje,√nI(θ)(θ − θ)
D→ N(0, I), n → +∞
i √(−∇2ℓn(θ))(θ − θ)
D→ N(0, I), n → +∞.
48
Teorem 3.27 se koristi za konstrukciju p.i. parame-
tara i funkcija parametara regularnog modela pri-
blizno zadane pouzdanosti za velike n.
Na primjer, p.i. za 1-dim. prametar θ priblizne pouz-
danosti (1− α) · 100% jeθ − zα/21√
−ℓ′′(θ), θ + zα/2
1√−ℓ′′(θ)
.
49
Primjer 3.21. Iz 100000 polica autoodgovornosti
izvuceni su podaci o stetama u jednoj godini. Frekven-
cijska tablica pokazuje nam brojeve polica po kojima
je bilo 0, 1, 2, 3, 4, te 5 i vise steta.
broj steta broj polica0 810561 161742 24353 2954 36
≥ 5 4Σ 100000
50
Uz pretpostavku da se brojevi steta po polici autood-
govornosti u godini dana ravnaju po Poissonovom
zakonu razdiobe P (λ), treba procijeniti nepoznati
parametar λ.
51
L(λ) = f81056(0|λ) · f16174(1|λ) · f2435(2|λ) · f295(3|λ) · f36(4|λ) ·· (Pλ(X ≥ 5))4 =
=1
22435 · 6295 · 2436e−99996λλ22073 ·
·(1− e−λ
(1+ λ+
λ2
2+
λ3
6+
λ4
24
))4
ℓ(λ) = logL(λ) = −100000λ+22073 logλ+
+4 log
(eλ −
(1+ λ+
λ2
2+
λ3
6+
λ4
24
))− C,
gdje je C = log(22435 · 6295 · 2436).
52
Procjena λ metodom ML je rjesenje stacionarne jed-nadzbe:
ℓ′(λ) = −100000+22073
λ+
eλ − (1 + λ+ λ2
2+ λ3
6)
eλ − (1 + λ+ λ2
2+ λ3
6+ λ4
24)= 0.
Newtonova metoda: λ = 0.22078
(pocetna iteracija: λ0 = 0.22093)
53