1

Kapitel 7

Point Estimation

Dan Hedlin

2

Vad är en punktskattning?

• CB: Defintion 7.1.1: A point estimator is any function of a sample

• Väldigt vid definition: syftet är att skatta något, t.ex. en parameter (syftet med minimalt tillräcklig statistika är datareduktion)

• Teman i kap. 7: - konstruera punktestimatorer - utvärdera dessa

3

Konstruktion

CB tar upp:

• Momentmetoden

• Maximum-likelihood

• EM-algoritmen

• Bayesianska metoder

• Jag fokuserar på de två första

4

Två skäl till att lära sig konstruktion

• I praktiskt arbete använder man för det mesta ”färdiglagade” estimatorer, men…

1. Ibland finns det ingen färdig, eller så hittar man ingen i litteraturen

2. Även om man hittar någon, t.ex. på internet, är det bra att kunna konstruera själv för att kolla

5

Momentmetoden

• Enkel, ger nästan alltid hyfsat bra resultat, kan rekommenderas för praktiskt arbete

• Enligt stora talens lag XEx

221XEx

n si

osv (om det behövs)

6

• Med antagande om modellfamilj ”vet” vi vad högerleden är

• Kan använda t.ex. första och tredje momentet istället för första och andra momentet

• Istället för det ocentrerade andra momentet kan man använda 222 XEXES

7

Ex: gammafördelning

• Med momentmetoden sätter vi

XE 2

XV

x 22

S

2S

x

2

2

S

x

(lös ut)2

2

ˆS

x 2

ˆS

x

8

Maximum likelihood

• Svarar på frågan: vilket eller vilka parametervärden maximerar likelihooden

• Ger ofta den ”naturliga” skattningen, t.ex. andelen ”lyckade” försök som skattning av p om man drar ur binomialfdl

xfxL

9

ML-skattningars egenskaper

• Inte alltid möjligt att få ut ett slutet uttryck• Besvär vid flackt optimum • Existerar inte alltid• Ofta krångligare härledning än moment-metoden

• Invariant: om är en MLE av , då är en MLE av , för vilken funktion som helst

ˆ

10

• Om vi uppfattar likelihoodfunktionen som en statistika

är den minimalt tillräcklig• En MLE uppfyller alltid tillräcklighets- och

likelihoodprincipen• Goda asymptotiska egenskaper (kap. 10)

XL

11

Hur utvärdera en estimator?

• Liten eller ingen bias

• Liten varians

• Liten MSE

• Robust mot avvikelser i data

• Robust mot avvikelser i modell

• Liten ”loss”

• Andra egenskaper?

12

• Finns ingen, enda allmänt accepterad egenskap• I så fall skulle det vara minsta MSE• Ytterligare en egenskap: uppfyller Cramér-Raos

olikhet• Det finns en gräns för hur liten varians som en

estimator kan ha i vissa typer av problem (måste kunna byta ordning på integrering och derivering)

13

Standardtillämpningar på ML

• Finn stationära punkter genom att sätta derivatan till 0. Undersök dessa med t.ex. andra-derivatan. Kolla även randpunkter.

• Knep: om täthet har formen exp(parameter), ta log först

• Exempel 7.2.5-7.2.7; Ex 7.2.11-7.2.12

• Annat, ”inkrementresonemang” Ex 7.2.9

14

Enemy Tank Problem

• Approximera med kontinuerlig likformig fördelning på (1, )

• Minimalt tillräcklig statistika max(xi)

• Vi vill skatta • Momentmetoden 2/1 XE

12

1 2

XV

15

• Sätt (en parameter: behövs bara en ekvation)

• Approximera med kontinuerlig likformig fördelning på (a, b) (där vi sätter a =1)

2/1 X

12

22 ab

S

223 bXS

12ˆ X

2/baX

3ˆ SXb

3ˆ SXa

16

• Alternativ skattning

• Maximum likelihood

• ekvivalent

3ˆ SX

annars 0

,1 om 1

1 xxf

xIxf ,11

1

17

• stickprov

• Vilket val av , som fkt av stickprov, ger max(L)?• T.ex. om inte alla xi lika, dvs

nästan alltid; därför

• maximerar likelihooden

ii

n

ii

n

ii xIxIxIf max

1

1

1

1,1

1,1

1,1

x

n

ii

ii

n

xIxIL1

,1,1 max1

1

x

0max,1 ii

x xI

0ger ˆ x LX

ixmaxˆ

ixmaxˆ

18

• Tre alternativa estimatorer

• inte minimalt tillräcklig (ej 1-1-funktion av • Utvärdera estimatorerna• Bias?

(teorem 5.2.6)

12ˆ1 Xm

3ˆ2 SXm

iML xmaxˆ

bb

XEE m

12

1212ˆ

1

ixmaxX

bbb

E m

312

1

2

1ˆ2

bn

nE ML 1

ˆ

(exempel 5.4.5)

19

• är alltså ej väntevärdesriktig men

är det

• Varians

• Kan visa att även är av ordning 1/n

• Men

• Alltså av ordning

iML xmaxˆ

itedbiascorrecML xn

nmax

1ˆ,

n

bV m 12

1ˆ2

1

2ˆmV

221

1ˆ2

2

22

,

nn

b

nn

nb

n

nV tedbiascorrecML

21 n

20

Cramér Raos olikhet

• Den minsta variansen för en estimator W(X):

• Villkor: måste kunna kasta om integral och derivata. Kan inte göra detta om supporten beror av parametern (se Leibnitz regel)

tstickprove inen informatio

2

XWE

dd

21

Fisherinformationen

• Ett tal (eller symbol som representerar ett tal); ju större desto mer info

2

log

Xfd

dE

XX f

d

dEf

d

dE loglog

2

22

22

• Om alla xi oberoende är informationen additiv, dvs infon för stickprovet är summan av delarna

• Om ej oberoende är informationen mindre

22

loglog

Xfd

dnEf

d

dE X

23

”attainment”

• Antag att• a() är någon funktion• Då nås nedre gränsen omm

• Betyder att skattningen och HL, ”score”, ska samvariera starkt

XX Ld

dWa log

XWE

Felet i skattningen

24

Mer om Cramér Raos olikhet

• Den minsta variansen för en estimator W(X):

• där är the score

• dvs

X

XX

X

X

SVar

SWCovWE

dd

2

2

2

,

SE

XX fS log

X

XXX

SVar

SWCovWVar

2,

25

• Detta är alltid sant för stokastiska variabler att

• CR:s olikhet bidrar med uttryck för högerledet i olikheten

• Av beviset framgår att E(S(X)) = 0

• Fisherinformationen är Var(S(X)) , dvs…

5.0

,1

XX

XX

SVarWVar

SWCov

26

Fisherinformationen

XXX SVarSEfd

dE

2

2

log

27

”attainment”• Antag att• a() är någon funktion• Då nås nedre gränsen omm

Kan visa att det gäller för tillräcklig statistika i en exponentialfamilj

• Korrelationen ska vara hög

XX SWa

XWE

XX

XX

SVarWVar

SWCov ,

28

• Ytterligare teorem:1. Det finns bara en bästa vvr estimator av2. Anta att

T(X) är en fullständig (complete) och tillräcklig statistika m.a.p. är en estimator som är baserad enbart på T(X).

Då är den unika, bästa (minsta varians) estimatorn som är vvr för

XT

XT

XTE

XTE

29

Rao-Blackwells teorem

• Villkor 1: W(X) vvr för

• Villkor 2: T(X) tillräcklig för • Konstruera en ny estimator genom att ta

• Då är den nya estimatorn vvr och ”likformigt bättre” än W(X) , dvs mindre varians, alltid

XX TWE

30

• Om kriteriet är minsta varians, kan (bör) vi alltså begränsa valet av estimator till dem som bygger på en tillräcklig statistika

• Ännu bättre: tillräcklig och fullständig