Stima di Massima Verosimiglianza: RICHIAMI

Dato un campione di osservazioni (x1….xn) si definisce funzione di verosimiglianza che rappresenta la funzione di probabilita/densita del campione stesso: in quest'ambito si ipotizza che essa sia funzione del vettore dei parametri , mentre le realizzazioni campionarie x sono fisse e INDIPENDENTI. Per il teorema della probabilità composte si ha:

In altri termini ipotizziamo (invertendo le assunzioni solite) che il parametro sia variabile, naturalmente NON perché lo sia in sé, ma perché la sua manifestazione osservabile è stocastica (in un certo senso torna fuori il concetto di superpopolazione)

E’ il concetto bayesiano di parametro e di “spazio” dei parametri.

Va sempre così bene? È sempre facile? NO! Per diversi modelli la soluzione del sistema che uguaglia a 0 gli scores e soprattutto le derivate seconde sono troppo complesse per essere risolte per via analitica e occorre ricorrere a metodi numerici (li vedremo)

Ad es. modelli probit bivariati:

Quindi richiede una soluzione iterativa (numerica)

Un esempio di massimizzazione numerica di una MLE

L’esempio ha solo valore didattico, trattandosi della distribuzione esponenziale sarebbe possibile una soluzione analitica

Reddito Anni di istr

20,5 12

31,5 16

47,7 18

26,2 16

44 12

8,28 12

30,8 16

17,2 12

19,9 10

9,96 12

55,8 16

25,2 20

29 12

85,5 16

15,1 10

28,5 18

21,4 16

17,7 20

6,42 12

84,9 16

Distribuzione esponenziale:

2/1)(

/1)()(

yV

yEeyf y

Ipotizziamo un modello semplice:

)/(1)(

1)/(

ii xy

ii

i

iii

iii

ex

yf

x

xxyExy

Log-verosimiglianza:

n

i i

ii

n

i xyxLn

11

)ln()(

Log-veromiglianza

-89

-88,9

-88,8

-88,7

-88,6

-88,5

-88,4

-88,39 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

alfa

LogV

er

Max =15.6

Test per stime MLE

Confronto tra un modello “generale” (con logveros. L)e uno “vincolato” o “ridotto” (con logveros. Lv)

I modelli devono essere, quindi, “annidati” (nested)

Se i vincoli sono appropriati si avrà Lv L

0ln21

).(ln2 2

LL

LL

vincolinLLLR

vv

v

Valore del test LR

0

2

4

6

8

10

12

14

0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1

L/Lv

LR

Likelihood Ratio testMisura la riduzione di L connessa alla introduzione del vincolo, se il vincolo è valido, si

dovrebbe perdere poca informazione:

ˆˆˆ

ˆˆˆ

).(ˆˆˆ

0ˆ:ˆ:

'

21'

00

CVarCqCVar

dovevincolinqCqCVarqCW

qCHqCH

Test di Wald

Misura il valore del vincolo in corrispondenza del parametro di max MLE, se il vincolo è appropriato, il valore dovrebbe essere 0, cioè verifica se la stima max MLE rispetta i vincoli: (Si stima del modello generale)

0ˆ*

0ˆˆ

ˆ)ln(

ˆ*

:

ˆˆ.ˆ*

CL

CLL

soluzioneCLLnCvincLMaxL

Test dei moltiplicatori di Lagrange

Misura il valore dei moltiplicatori di Lagrange, se il vincolo è appropriato, il valore dovrebbe essere 0, cioè verifica se la stima max MLE rispetta i vincoli: (Si stima del modello ristretto)

Se i sono “vicini” a 0 il vincolo non ha effetti sulla stima, allora si calcolano le derivate di L nel punto di massimo vincolato, se sono prossime a 0 la perdita di informazioni non è significativa

).(ˆ

ˆlnˆˆ

ˆln 21'

vincolinLILLMv

vv

v

v

verosimiglianza

Vincolo su

Derivata L

Riprendiamo il modello iniziale:

)/(1)( ii xy

ii e

xyf

È una forma ristretta di un Gamma generalizzata con Parametro =1

)/(1)( ii xyi

ii eyxyf

Il vincolo è =1, se non vi è perdita di informazione allora tra tutte le distribuzioni generate da una Gamma, quella esponenziale è la più adatta

Utilizziamo i tre test per verificare:

1:1:

1

0

HcontroH

LIKELIHOOD RATIO:

Dalla stima MLE dei DUE modelli otteniamo:

Ln(L) non vincolato (Gamma) = -82.916Ln(L) vincolato (esponenziale) = -88.436

LR=-2[-88.436-(-82.916)]=11.04 ²(1)

Il valore test è 3.842, quindi si rigetta H0

TEST DI WALD

Dalla stima MLE del solo modello non vincolato:

Il valore test è ancora 3.842, quindi si rigetta H0

)1(984.61151.36625.01151.3

6625.0)ˆ(ˆ

1ˆˆ

01ˆˆ0:

6625.0)ˆ(151.3ˆ

ˆˆˆ

ˆˆˆ

21

'

W

VarqcVar

ccqc

vincoliiVare

CVarCqCVarW

TEST DEI MOLTIPLIPICATORI DI LAGRANGE:

Dalla stima MLE del solo modello non vincolato:

Il valore test è ancora 3.842, quindi si rigetta H0

)1(120.5914.7000.0

894.326689.06689.002166.0

914.7000.0

6689.0

894.32914.7

02166.0000.0

).(ˆˆlnˆ

ˆˆln

21

2

2

21'

LM

l

lel

lel

vincolinLILLMv

vv

v

v