Analisi frequentista e bayesiana del problema 'stroke

Download Analisi frequentista e bayesiana del problema 'stroke

Post on 23-Jan-2017

99 views

Category:

Data & Analytics

2 download

Embed Size (px)

TRANSCRIPT

<ul><li><p>Analisi frequentista e bayesiana del problema</p><p>Stroke</p><p>Francesco Curia, Stefania Cartolano</p><p>17 novembre 2015</p></li><li><p>INDICE</p><p>1. Introduzione . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3</p><p>2. Approccio frequentista . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4</p><p>2.1 Verosimiglianza e analisi frequentista basate su dati ECASS3 . . . . . 4</p><p>3. Approccio bayesiano . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9</p><p>3.1 Distribuzione a priori basata su dati ECASS2 . . . . . . . . . . . . . 9</p><p>4. Distribuzione a posteriori . . . . . . . . . . . . . . . . . . . . . . . . . . . 11</p><p>5. Verifica di ipotesi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13</p><p>6. Distribuzione a priori soggettiva . . . . . . . . . . . . . . . . . . . . . . . . 15</p><p>7. Analisi non informativa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18</p><p>8. Approssimazione normale . . . . . . . . . . . . . . . . . . . . . . . . . . . 20</p></li><li><p>1. INTRODUZIONE</p><p>Lo schema di riferimento e un esperimento bernoulliano riguardo lanalisi bayesia-</p><p>na del problema denominato Stroke, presentato dagli autori Lasaffre e Lawson, in</p><p>merito ad uno studio clinico effettuato su le cause di danneggiamento delle cellule</p><p>cerebrali a causa di due fattori, uno ischemico e laltro emoraggico.</p></li><li><p>2. APPROCCIO FREQUENTISTA</p><p>2.1 Verosimiglianza e analisi frequentista basate su dati ECASS3</p><p>Considerando un campione i.i.d abbiamo i seguenti risultati: La funzione di verosi-</p><p>miglianza associata al campione esaminato e</p><p>L() = s(1 )ns</p><p>dove</p><p>s =ni=1</p><p>yi</p><p>Per lo stima di massima verosimiglianza, passiamo al calcolo della log-verosimiglianza</p><p>e alla derivazione della stessa, ponendola uguale a zero.</p><p>l() = sln() + (n s)ln(1 )</p><p>che derivando rispetto a risulta</p><p>dl()</p><p>d=s</p><p> n s</p><p>1 = 0</p><p>si ottiene che la stima e MV =ni=1 yin</p><p>ossia la media campionaria. Utilizzando i</p><p>dati a disposizione, si ottiene che la stima e pari a 0.2. Possiamo calcolare lintervallo</p><p>di confidenza per approssimato, che risulta per = 0.05:</p><p>y Z12</p><p>y(1 y)</p><p>n</p><p>con i dati a disposizione abbiamo</p><p>0.2 1.96 0.0566</p><p>allora [0.089; 0.31].</p><p>Calcoliamo ora linsieme di verosimiglianza approssimato</p><p>Lq =</p><p>[y kq</p><p>y(1 y)</p><p>n, y + kq</p><p>y(1 y)</p><p>n</p><p>]</p></li><li><p>2. Approccio frequentista 5</p><p>dove kq =2lnq</p><p>Per un fissato livello q=0.5, abbiamo quanto segue:</p><p>0.2 1.1774 0.0566</p><p>allora [0.133; 0.267]. Mentre considerando un calcolo esatto dellinsieme diverosimiglianza per un livello q=0.5, procediamo con un metodo numerico il quale</p><p>considerando i dati e la funzione di verosimiglianza relativa, il polinomio associato</p><p>L() =()10</p><p>(0.2)10(1 )40</p><p>(0.8)40&gt; 0.5</p><p>fornisce gli estremi dellintervallo che sono per [0.14; 0.27]. In quanto si sonoconsiderate solo le radici reali del polinomio, escludendo tutti i valori fuori lin-</p><p>tervallo [0;1].Per il calcolo appena svolto si e utilizzato lapplicativo Mathematica</p><p>Wolphram Alpha.Si noti che lintervallo [0.14;0.27] coincide con quello trovato con</p><p>lapprossimazione normale.Mentre risulta molto diverso da quello ottenuto mediante</p><p>lintervallo di confidenza approssimato. Ora considerando un livello q=0.147 si ha</p><p>per linsieme di verosimiglianza approssimato</p><p>0.2 1.95 0.0566</p><p>allora in questo caso [0.089; 0.31] mentre attraverso metodo numerico otteniamoquesta volta che [0.10; 0.32]. Da un confronto oltre che analitico, anche grafico,appare evidente che lapprossimazione normale differisce non di poco dal valore</p><p>esatto dellintervallo.</p></li><li><p>2. Approccio frequentista 6</p><p>Fig. 2.1: in rosso abbiamo il livello q=0.5 esatto, in blu il livello q=0.147 esatto , in verde</p><p>il livello q=0.147 approssimato</p></li><li><p>2. Approccio frequentista 7</p><p>Fig. 2.2: Approssimazione per linsieme di livello q=0.5</p></li><li><p>2. Approccio frequentista 8</p><p>Fig. 2.3: Approssimazione per linsieme di livello q=0.147</p></li><li><p>3. APPROCCIO BAYESIANO</p><p>3.1 Distribuzione a priori basata su dati ECASS2</p><p>Continuiamo la nostra analisi considerando ora la determinazione della distribuzione</p><p>a priori (), considerando i dati ECASS2: abbiamo che n0 = 100 e y0 = 8, dalla</p><p>nota relazione</p><p>(|yn) = c ()l(|yn)</p><p>otteniamo</p><p>() = c 91(1 )931</p><p>dove</p><p>c =</p><p> 10</p><p>91(1 )931d</p><p>Per quanto riguarda la determinazione della stima puntuale, come e noto per una</p><p>densita Beta, lo stimatore risulta MV =</p><p>+ovvero MV =</p><p>9102</p><p>= 0.08.</p><p>Passando ora alla determinazione dellinsieme di credibilita ET per una Beta(9,93),</p><p>otteniamo che [0.04; 0.15], poiche come ben noto tale intervallo si trova appli-cando la seguente formula:</p><p>CET1 = [q2 ; q12]</p><p>Per quanto riguarda linsieme HPD determiniamo un insieme</p><p>S = [ : &gt; h]</p><p>troviamo approssimativamente che [0.038; 0.145] che per un livello h=2.17</p></li><li><p>3. Approccio bayesiano 10</p><p>Fig. 3.1: Verosimiglianza (linea tratteggiata) e distribuzione a priori</p></li><li><p>4. DISTRIBUZIONE A POSTERIORI</p><p>Ricaviamo la distribuzione a posteriori tramite la nota relazione</p><p>(|yn) = c ()(|yn)</p><p>allora dai dati che abbiamo ottenuto in precedenza possiamo scrivere</p><p>(|yn) = +sn(1 )+nsn</p><p>sostituendo con i dati ECASS2 e ECASS3 si ottiene:</p><p>(|yn) = 19(1 )133</p><p>Passiamo alla stima puntuale, calcolando moda e valore atteso, rispettivamente</p><p>Moda = + sn 1</p><p> + + n 2</p><p>B = (1 wn)</p><p> + + wnyn</p><p>con wn =n</p><p>++n</p><p>sostituendo con i dati a disposizione abbiamo</p><p>Moda = 0.12</p><p>B = 0.125</p><p>Da i risultati ottenuti si evince che moda e valore atteso sono molto simili. Proce-</p><p>diamo al calcolo dellinsieme di credibilita ET che risulta, per un valore = 0.05</p><p> [0.077; 0.182]. Per il calcolo dellinsieme HPD relativo alla distribuzione a po-steriori, possiamo procedere come si e fatto per quello della distribuzione priori.</p><p>Troviamo che per un livello h = 2.28 abbiamo [0.076; 0.181].</p></li><li><p>4. Distribuzione a posteriori 12</p><p>Fig. 4.1: Verosimiglianza (rossa) a priori (blu) e a posteriori (verde)</p></li><li><p>5. VERIFICA DI IPOTESI</p><p>Vogliamo ora formalizzare il seguente problema: si vuole calcolare la probabilita che</p><p>lemorragia non superi il dieci percento: il problema puo considerarsi come:H0 : &lt; 0.1H1 : &gt; 0.1considerando = 0.05 costruiamo la regione di rifiuto</p><p>R =</p><p> Y 00(10)</p><p>n</p><p>&gt; Z1</p><p>ovvero</p><p>R = [Z &gt; 1.64]</p><p>approssimando per un campione n=50 con una distribuzione N(0,1), abbiamo at-</p><p>traverso i dati, per un livello fissato = 0.05, Toss = 2.35</p><p>R = [Toss &gt; 1.64]</p><p>Allora rifiutiamo lipotesi nulla 0 ad un livello di significativita del 95 percento. Il</p><p>valore-p , ottenuto con la formula</p><p>p = 1 (2.35)</p><p>risulta 0.009, quindi minore del livello = 0.05 e quindi conferma il rifiuto dellipo-</p><p>tesi nulla.</p><p>Calcoliamo ora la probabilita a posteriori delle due ipotesi : 0.10</p><p>19(1 )133d = FBeta(+sn,n+sn)(0) = FBeta(19,133)(0.1) = 0.18</p><p>mentre per lipotesi alternativa abbiamo 00.1</p><p>19(1 )133d = 1 FBeta(+sn,n+sn)(0) = 1 FBeta(19,133)(0.1) = 0.82</p></li><li><p>5. Verifica di ipotesi 14</p><p>FBeta(19,133)(0.1)</p><p>1 FBeta(19,133)(0.1)=</p><p>0.18</p><p>0.82= 0.22</p><p>Anche in questo caso il test conferma levidenza sperimentale contro lipotesi nulla.</p><p>Ripetiamo gli stessi calcoli ( di cui riportiamo solo i risultati numerici, in quanto il</p><p>procedimento e il medesimo) per quanto riguarda il test e il fattore di Bayes per la</p><p>distribuzione a priori: FBeta(9,93)(0.1) = 0.30 e 1 FBeta(9,93)(0.1) = 0.69</p><p>FBeta(9,93)(0.1)</p><p>1 FBeta(9,93)(0.1)=</p><p>0.69</p><p>0.30= 2.3</p><p>.</p><p>Il corrispondente fattore di Bayes, dato dal rapporto (Odds) e il seguente:</p><p>0.21</p><p>2.3= 0.09</p><p>Quindi in questo caso otteniamo il contrario di quanto ottenuto in precedenza, cioe</p><p>unevidenza sperimentale a favore dellipotesi nulla.</p></li><li><p>6. DISTRIBUZIONE A PRIORI SOGGETTIVA</p><p>Considerando la valutazione di un esperto, il quale fornisce come valore piu plausibile</p><p>per = 0.4 e che un intervallo (0.2;0.6) contenga il vero valore del parametro con</p><p>probabilita al 90 percento; costruiamo quindi una distribuzione a priori soggettiva</p><p>che indicheremo con s(). Dobbiamo determinare e : consideriamo + = E() = 0.4(+)2(++1)</p><p>= Var() = 0.1</p><p>considerando i valori trovati e che = 0.4 e considerando che se lintervallo contiene il</p><p>vero valore di per ricavare la varianza imponiamo lequazione 0.41.96 = 0.2</p><p>ricavando che = 0.01 che e uguale allequazione 0.4 + 1.96 = 0.6. Mettendo</p><p>questo risultato nel sistema dei momenti, si ottiene: = 9 e = 13. allora si ha</p><p>s() = 91(1 )131</p><p>La nuova distribuzione a posteriori ottenuta risulta</p><p>s(|yn) = c 19(1 )53</p><p>Calcoliamo la moda e il valore atteso della distribuzione a posteriori, considerando</p><p>questa volta la distribuzione s, otteniamo:</p><p>Moda = 0.23</p><p>MV = 0.24</p><p>Rispetto ai valori ottenuti con la distribuzioni a priori , notiamo una leggera dif-</p><p>ferenza se consideriamo invece come distribuzione a priori s. Consideriamo adesso</p><p>le probabilita a posteriori ottenute utilizzando la s per la verifica delleipotesi:</p><p>la nuova distribuzione a posteriori e:</p><p>s(|yn) = c 19(1 )53</p></li><li><p>6. Distribuzione a priori soggettiva 16</p><p>Quindi abbiamo 0.10</p><p>19(1 )53d = FBeta(+sn,n+sn)(0) = FBeta(19,53)(0.1) = 0.00001</p><p> 00.1</p><p>19(1 )53d = 1 FBeta(+sn,n+sn)(0) = 1 FBeta(19,53)(0.1) = 0.99999</p><p>Per il fattore di Bayes abbiamo :</p><p>FBeta(19,53)(0.1)</p><p>1 FBeta(19,53)(0.1)=</p><p>0.18</p><p>0.82= 0.0000001</p><p>Per le probablita a priori abbiamo</p><p>0.01</p><p>0.99 0</p><p>Allora il rapporto risulta per il fattore di Bayes tende ad esplodere a +. E facilenotare che i valori non sono molto diversi da quelli ottenuti in precedenza. Quindi</p><p>anche in questo caso abbiamo una forte evidenza sperimentale contro H0, in favore</p><p>dellipotesi alternativa.</p></li><li><p>6. Distribuzione a priori soggettiva 17</p><p>Fig. 6.1: Distribuzione a priori (linea blu) e a priori S (rossa)</p><p>Fig. 6.2: Soluzione del sistema dei momenti</p></li><li><p>7. ANALISI NON INFORMATIVA</p><p>Per quanto riguarda lanalisi non informativa, utilizziamo una distribuzione del tipo:</p><p>() = 1(1 )1</p><p>cioe poniamo = = 0 dando un peso di totale ignoranza sul fenomeno in esame.</p><p>La corrispondente distribuzione a posteriori risulta:</p><p>(|yn) = c 9(1 )39</p><p>La stima puntuale, media e moda, risultano rispettivamente:</p><p>B = 0.187</p><p>Moda = 0.173</p><p>La totale assenza di conoscenza sui parametri giustifica i risultati che abbiamo ot-</p><p>tenuto, ossa valori molto bassi rispetto a quelli ottenuti precedentemente.</p><p>Passiamo a calcolare ET ed HPD;</p><p>CET0.95 = [q0.025; q0.975] = [0.09; 0.308]</p><p>Per lHPD abbiamo ( tramite calcolo con R) lintervallo</p><p>CHPD0.95 = [0.092; 0.307]</p><p>per un livello h 1.205.</p><p>Per la verifica di ipotesi, consideriamo ancora il fattore di Bayes, in quanto si vuole</p><p>confrontare il rapporto (Odds) tra le due ipotesi: abbiamo 0.10</p><p>9(1 )39d = FBeta(+sn,n+sn)(0) = FBeta(9,39)(0.1) = 0.0411</p></li><li><p>7. Analisi non informativa 19</p><p>mentre per lipotesi alternativa abbiamo 00.1</p><p>9(1 )39d = 1 FBeta(+sn,n+sn)(0) = 1 FBeta(9,39)(0.1) = 0.9588</p><p>Per il fattore di Bayes abbiamo :</p><p>FBeta(9,39)(0.1)</p><p>1 FBeta(9,39)(0.1)=</p><p>0.0411</p><p>0.9588= 0.0428</p><p>Mentre il rapporto della distribuzione a priori e 1, in quanto posti ==0, non si e</p><p>dato nessun peso allinformazione del modello di Haldane considerato nellanalisi.</p><p>Rispetto a prima abbiamo un valore ancora piu basso, ma il peso a favore dellipotesi</p><p>alternativa contro lipotesi nulla e maggiore, questo dipende anche dal fatto che</p><p>abbiamo adottato una distribuzione a priori totalmente non informativa.</p></li><li><p>8. APPROSSIMAZIONE NORMALE</p><p>Come noto lapprossimazione normale della distribuzione a posteriori risulta</p><p>(; yn) exp[1</p><p>2( )2In(yn)</p><p>]dove Moda e la moda a posteriori che abbiamo calcolato considerando s. Quindi</p><p>possiamo affermare che la distribuzione a posteriori ha distribuzione</p><p>|yn N(0.23, 0.05)</p><p>ovvero</p><p>(; yn) exp[1</p><p>2( 0.24)2(0.05)</p><p>]</p><p>Procediamo al calcolo degli insiemi ET ed HPD dellapprossimazione normale della</p><p>distribuzione a posteriori, che per = 0.05 risultano:</p><p>CET0.95 = [0.24 1.96 0.05] = [0.14; 0.33]</p><p>che non differisce da tutti gli altri ET che abbiamo calcolato in precedenza. Mentre</p><p>lHPD risulta</p><p>CHPD0.95 = [0.142; 0.34]</p><p>per un livello ( che come tutti gli HPD che abbiamo calcolato in precedenza e stato</p><p>calcolato come semi somma dei livelli h, in quanto mai simmetriche le distribuzioni)</p><p>h 1.11. Possiamo affermare con molta accuratezza che i duei intervalli ottenutisono pressoche uguali.</p></li><li><p>8. Approssimazione normale 21</p><p>Fig. 8.1: Approssimazione normale e distribuzione a posteriori esatta</p></li></ul>