di densità di probabilità la probabilità come area
TRANSCRIPT
Variabili aleatorie continue
Cicchitelli Cap. 13 (teoria) e
Cap. 14 (alcune particolari distribuzioni)
L. GRILLI - STATISTICA 1 - 2019 1
Distribuzioni di probabilità continue
Una variabile aleatoria continua è una variabile che può assumere qualunque valore in un intervallo di numeri reali, es.• altezza di una persona• spessore di un oggetto• tempo necessario per completare un lavoro• temperatura di una soluzione I valori potenzialmente osservabili costituiscono un insieme infinito Naturalmente ogni strumento di misura ha precisione finita i valori effettivamente osservabili costituiscono un insieme finito• Es. X= lunghezza di un cilindro
Se il metro misura al centimetro (…, 19 cm, 20 cm, …)Se il metro misura al millimetro (…, 19.8 cm, 19.9 cm, 20.0 cm, 20.1 cm, 20.2 cm,…)
2
Funzione di densità di probabilità Supponiamo di assegnare una probabilità piccola quanto si vuole, ma non nulla, ad ognuno dei punti di un insieme con la cardinalità del continuo (es. l’intervallo [0,1] dei numeri reali) • la somma delle probabilità sarebbe infinita e quindi non potrebbe soddisfare il requisito di essere pari a 1 per l’evento certo
Soluzione: assegnare la probabilità agli intervalli
Come? Con una funzione di densità di probabilità f ( )
3
( ) ( )b
a
P a X b f x dx
La probabilità che una v.a. continua assuma un valore nell’intervallo (a,b) è uguale all’area sotto alla densità in corrispondenza di tale intervallo (integrale definito della densità)
La probabilità come area
L. GRILLI - STATISTICA 1 - 2019 4
( )( )( )( )
bbb
P Xaaaa
XP XP X b
P
a b x
f(x)
L’area ombreggiata sottesa alla curva è la probabilità che X assuma valori fra a e b
Queste probabilità sono identiche perché la probabilità di un singolo punto è zero: ( ) 0P X x
Proprietà della funzione di densità
L. GRILLI - STATISTICA 1 - 2019 5
La funzione di densità di probabilità f(x) di una variabile aleatoria X ha le seguenti proprietà (discendono dagli assiomi della probabilità):
1. f(x) 0 per qualunque numero reale x2. L’area sottesa alla funzione di densità di probabilità f(x) su tutto l’asse dei reali vale 1:
( ) 1
f x dx
Fuori dal supporto (insieme dei valori ammissibili) la densità è nulla e quindi non contribuisce all’integrale l’integrale può essere limitato al supporto senza alterare il risultato, ad es. se il supporto è [0,100] allora 100
0( ) ( ) 1
f x dx f x dx
Funzione di densità: esempi
6
Distribuzione normale
Supporto: (, )
Distribuzione uniforme
Supporto: [a,b]
Distribuzione esponenziale
Supporto: [, )
La funzione di ripartizione In generale, la funzione di ripartizione F(x0) di una variabile aleatoria X esprime la probabilità che X non superi il valore x0 In una v.a. continua la funzione di ripartizione è data dall’integrale fino a x0 della funzione di densità
7
0
0 0( ) ( ) ( )
x
F x P X x f x dx
area sottesa alla funzione di densità f(x) fino al valore x0
x0
Funzione di ripartizione e probabilità
L. GRILLI - STATISTICA 1 - 2019 8
La probabilità corrispondente ad un qualunque intervallo può essere sempre espressa in termini della funzione cumulata F( )
Ricordiamo che in una v.a. continua è indifferente scrivere < oppure Pertanto con F( ) si calcolano le probabilità per tutti i tipi di intervallo(aperto a sinistra e chiuso a destra, aperto sia a sinistra che a destra, etc.)
F(b)= area da a b
F(a)= area da a a
a b x
f(x)( )( ) ( )
P X
F b Fbaa
Valori attesi di v.a. continue
L. GRILLI - STATISTICA 1 - 2019 9
Nel continuo le sommatorie diventano integrali
La media di X, indicata con μX , è
La varianza di X, indicata con σX2 , è definita come il valore atteso del quadrato degli scarti della variabile dalla sua media μX
( ) ( )X E X xf x dx
2 22 ( )X X XE X x f x dx
Trasformazione lineare di una v.a.
L. GRILLI - STATISTICA 1 - 2019 10
Il comportamento dell’operatore “valore atteso” per v.a. continue è analogo a quello per v.a. discrete.
Sia W = a + bX , dove X ha media μX e varianza σX2 , e a e b sono costanti.
Allora la media di W è
la varianza e deviazione std di W sono
( )W XE a bX a b
2 2 2( )W XVar a bX b W Xb
Quantili
L. GRILLI - STATISTICA 1 - 2019 11
Considerata la distribuzione di probabilità di una v.a. X con funzione di ripartizione F(x), fissato un livello di probabilità p, si chiama quantile di livello p la quantità xp in corrispondenza della quale F vale p:
Se F è strettamente crescente (cioè non vi sono intervalli in cui è costante), allora esiste la funzione inversa F‐1 che associa ad ogni valore di p un unico valore di x, che il quantile di ordine p
( ) ( ) p pF x P X x p
1( )px F p
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
0 2 4 6 8 10 12 14 16 18
Quantili
L. GRILLI - STATISTICA 1 - 2019 12
( ) ( ) F x P X xp
xp
1
(6) 0.8(0.8) 6
FF
In questo esempio le linee tratteggiate si riferiscono al quantile di ordine 0.8
Distribuzione uniforme continua
L. GRILLI - STATISTICA 1 - 2019 13
La distribuzione uniforme
La distribuzione uniforme continua è la distribuzione di probabilità che assegna la stessa probabilità a tutti gli intervalli
14
a b x
f(x)L’area totale sottesa alla funzione di densità è uguale a 1
La distribuzione uniforme /cont.
L. GRILLI - STATISTICA 1 - 2019 15
1
( ) 0
se a x bb a
f xaltrove
Funzione di densità di probabilità Funzione di ripartizione
0 se
( ) se [ , ]
1 se
x ax aF x x a bb a
x b
Media Varianza
22 ( )
12
b a
2
a b
Distribuzione uniforme nell’intervallo [a,b]
La distribuzione uniforme – Esempio
L. GRILLI - STATISTICA 1 - 2019 16
Durante una gara una squadra di soccorso è responsabile degli interventi tra il km 2 il km 6. Assumendo che, in quel tratto, gli incidenti avvengano in modo uniforme, la v.a. X= «km in cui avviene l’incidente nel tratto di competenza» ha distribuzione uniforme nell’intervallo [2, 6]:
2 6
0.25
x
f(x)
1 2( ) 0.25 ( ) per 2 66 2 6 2
xf x F x x
2 22
2 6 42 2
( ) (6 2) 1.33312 12
a b
b a
La distribuzione uniforme – Esempio /cont
L. GRILLI - STATISTICA 1 - 2019 17
Se la squadra si posiziona all’inizio del tratto di competenza, qual è la probabilità che debba intervenire in un raggio di 1.5 km?
3.5 2(3.5) 0.3756 2
F
Se la squadra si posiziona a metà del tratto di competenza, qual è la probabilità che debba intervenire in un raggio di 1.5 km?
5.5 2 2.5 2(5.5) (2.5) 0.875 0.125 0.7506 2 6 2
F F
ww
w.ca
usew
eb.o
rg
Distribuzione esponenziale
L. GRILLI - STATISTICA 1 - 2019 19
La distribuzione esponenziale La distribuzione esponenziale ha come supporto i valori reali positivi ed è regolata da un parametro >0
Funzione di densità Funzione di ripartizione
20
( ) ( 0) xf x e x ( ) 1 ( 0) xF x e x
( ) 1 1 p px xpF x p e p e p
Quantile di ordine p:1 log(1 )
px p
La distribuzione esponenziale /cont.
La distribuzione esponenziale ha media e varianza che sono funzioni del parametro
Dunque al diminuire del parametro la distribuzione si ‘allunga’ verso destra, aumentando media e varianza (esercizio: quanto vale il coefficiente di variazione?)
La distribuzione esponenziale viene usata come modello per dati di durata (sotto certe ipotesi che qui non discutiamo), es. la durata di una telefonata oppure il tempo tra l’emissione di due particelle da parte di un materiale radioattivo
21
21 1( ) ( )
E X Var X
La distribuzione esponenziale – es. Le chiamate effettuate da un operatore di call center hanno durata media di 4 minuti. Assumendo che la durata segua una distribuzione esponenziale• Qual è la probabilità che la chiamata duri meno di 4 minuti?• Qual è la probabilità che la chiamata duri tra 4 e 6 minuti?• Con probabilità 0.95 la chiamata non supera (__) minuti
Soluzione:
22
1 1( ) 4 4 0.254
E X
0.25 4 0.25 6(4) 1 (6) 1 0.7769 F e F e0.6321
(4 6) (6) (4) 0.7769 0.6321= P X F F 0.1447
0.951 1log(1 ) log(1 0.95)
0.25 px p x 11.9829
Distribuzione Normale (o Gaussiana)
L. GRILLI - STATISTICA 1 - 2019 23
Carl Friedrich Gauss
La distribuzione Normale /1 E’ la distribuzione più usata perché
• descrive bene molti fenomeni• ha proprietà matematiche convenienti• il teorema limite centrale afferma che asintoticamente (= al crescere del numero di osservazioni) la distribuzione della media campionaria tende ad una Normale, qualunque sia la distribuzione di probabilità delle osservazioni
24
È stata proposta da F. Gauss (1809), che la utilizzò per primo nello studio degli errori di misurazione relativi alla traiettoria dei corpi celesti (per questo è chiamata anche Gaussiana)
La distribuzione Normale /2
L. GRILLI - STATISTICA 1 - 2019 25
Forma campanulare Simmetrica Media, Mediana e Moda
coincidono
La tendenza centrale è determinata dal parametro μ (media)
La variabilità è determinata dal parametro σ (deviazione std)
La variabile aleatoria ha un campo di variazione teoricamente infinito: da a +
Media = Mediana
= Moda
x
f(x)
μ
σ
La distribuzione Normale /3
L. GRILLI - STATISTICA 1 - 2019 26
Famiglia parametrica di distribuzioni continue su supporto ( ,)
La famiglia Normale è caratterizzata dai due parametri e 2
ad es. N(‐8.1, 2.3) e N(‐8.1, 2.4) sono membri distinti, ma N(‐8.1, ‐2.3) non è un membro
Per ogni coppia ( , 2) la funzione di densità della Normale è2
21 ( )2
2
1( )2
x
f x e
2( , ) [0, ) 2( , )X N
e 2.71828π 3.14159
La Normale standard La Normale standard, indicata con Z, è il membro con media 0 e varianza 1 e funge da “rappresentante” della famiglia
funzione di densità:
funzione di ripartizione:
27
2
21( )2
x
x e
20
20
1( )2
x x
x e dx
(0,1)Z N
z
f(z)
0
1
La forma della distribuzione Normale
L. GRILLI - STATISTICA 1 - 2019 28
x
f(x)
Cambiando la distribuzione si sposta verso sinistra o destra
Cambiando aumenta o diminuisce la dispersione
Nella distribuzione Normale la media e la varianza sono due parametri distinti la varianza non dipende dalla media, come invece accade per molte distribuzioni (es. la binomiale)
Distribuzioni Normali con valori differenti dei parametri e
[la distribuzione è individuata indifferentemente usando 2 o , es. si può dire Normale di media 0 e varianza 9 o Normale di media 0 e deviazione standard 3]
L. GRILLI - STATISTICA 1 - 2019
Alcune probabilità notevoliL’area totale sottesa alla curva è pari a 1, e la curva è simmetrica, perciò metà è al di sopra della media, e metà è al di sotto
30
xμ
0.5
0.5 P X 0.5 P X
1 P X
Caratteristiche della Normale
L. GRILLI - STATISTICA 1 - 2019 31
Per ogni coppia ( , ) la f. di densità Normale ha le seguenti caratteristiche:
È positiva per ogni x realeL’area sottesa alla curva è 1
La media (valore atteso) coincide con il parametro (il simbolo del parametro non è stato scelto a caso!)
È simmetrica unimodale, per cui non è solo la media, ma anche
la mediana ( lascia a sinstra e a destra un’area pari a 0.5)
e la moda (x= è il punto in cui la curva ha la massima altezza)
La varianza coincide con il parametro e quindi la deviazione standard è (anche qui il simbolo del parametro non è stato scelto a caso!)
La curva ha due punti di flesso (cambia la concavità) in ±
Quando x o x la curva tende a zero (senza mai diventare esattamente zero: l’asse delle ascisse è un asintoto della curva)
Proprietà di ogni densità
Francis Ysidro Edgeworth(1845‐1926) propose di chiamare la distribuzione normale «il cappello del
gendarme».Da I numeri non sbagliano
mai, di J. Ellenberg
Come calcolare le probabilità?
L. GRILLI - STATISTICA 1 - 2019 33
xbμa
xbμa
xbμa
( ) ( ) ( )P a X b F b F a
( ) ( )F a P X a
( ) ( )F b P X b La probabilità relativa ad un intervallo di valori è misurata dall’area sottesa alla curva e può essere espressa come differenza tra la funzione di ripartizione calcolata negli estremi dell’intervallo
Ma la funzione di ripartizione della Normale è un integrale senza soluzione analitica non esiste una formula per calcolare le probabilità cumulate!
Approssimazione numerica dell’area
L. GRILLI - STATISTICA 1 - 2019 34
P(Z ≤ z) = area sottesa alla densità nell’intervallo (‐, z] area dei rettangoli da sinistra fino a z
All’aumentare del numero di rettangoli,
l’approssimazione diventa più precisa
z
La tavola della Normale standard
L. GRILLI - STATISTICA 1 - 2019 35
La tavola della Normale standard fornisce i valori della funzione di ripartizione della distribuzione Normale standard (media 0 e deviazione standard 1) ottenuti tramite approssimazione numerica.
Per un dato valore z di Z, la tavola fornisce F(z) cioè l’area sottesa alla curva da meno infinito al valore z
(vedremo che l’operazione di standardizzazione consente di usare le probabilità della Normale standard per determinare le probabilità di una Normale generica)
( ) ( )F z P Z z
0 z...fino a 3,4
Esempio: P(Z < 0.13) = 0.5517
La tavola della Normale standard /cont
L. GRILLI - STATISTICA 1 - 2019 37
Z0 2.00
0.9772Esempio: P(Z < 2.00) = 0.9772
La tavola in Appendice fornisce la probabilità F(z) per qualunque valore z tra 0 e 3.49
P(Z < 3.49) = 0.9998
Per un valore più grande di 3.49 la probabilità è ancora più vicina a 1 la tavola non riporta il valore
Es. P(Z < 5.22) si approssima con il valore 1
La tavola della Normale standard /cont
Per valori negativi di Z, usiamo il fatto che la distribuzione è simmetrica per trovare la probabilità desiderata:
38
z0-2.00
Esempio: P(Z < -2.00) = 1 – 0.9772
= 0.0228
z0 2.00
0.97720.0228
0.97720.0228
In simboli (z)=1(z)
Calcolare la probabilità che la v.a. Normale standardizzata Z assuma un valore compreso tra ‐1.63 e 0.36.
Bisogna calcolare le aree sottese alla N(0, 1) fino a 0.36 e fino a ‐1.63, utilizzando la Tavola C.1 del libro (qui riprodotta parzialmente)e farne la differenza.
Come si legge la tavola
Cap. 14-39
Seconda cifra decimale di zz 0,00 0,01 0,02 0,03 0,04 0,05 0,06 0,07 0,08 0,09
0,2 0,5793 0,5832 0,5871 0,5910 0,5948 0,5987 0,6026 0,6064 0,6103 0,61410,3 0,6179 0,6217 0,6255 0,6293 0,6331 0,6368 0,6406 0,6443 0,6480 0,65170,4 0,6554 0,6591 0,6628 0,6664 0,6700 0,6736 0,6772 0,6808 0,6844 0,6879
1,5 0,9332 0,9345 0,9357 0,9370 0,9382 0,9394 0,9406 0,9418 0,9429 0,94411,6 0,9452 0,9463 0,9474 0,9484 0,9495 0,9505 0,9515 0,9525 0,9535 0,95451,7 0,9554 0,9564 0,9573 0,9582 0,9591 0,9599 0,9608 0,9616 0,9625 0,9633
-5 -3 -1 1 3 5
-5 -3 -1 1 3 5
Area = 0.6406
Area = 0.0516
0,36
-1,63
P(-1.63 < Z < 0.36) = Φ(0.36) -Φ(-1.63)= 0.6406 - (1- 0.9484) = 0.5890
Standardizzazione Data una v.a. X con distribuzione arbitraria, media X e deviazione standard X , si definisce standardizzata la v.a. Z
La trasformazione inversa è
40
X
X
XZ
X XX Z La standardizzazione consente di usare le tavole della Normale
standard per determinare le
probabilità di una Normale con qualsiasi
media e varianza
Proprietà:Z = 0 Z = 1
In generale, la standardizzazione non garantisce di rimanere all’interno della famiglia parametrica (ad es. la standardizzata di una Poisson non è una Poisson). Ma per la famiglia Normale possiamo stare tranquilli perché la standardizzata di una Normale è ancora una Normale, cambiano solo media e varianza:X N(X,X
2) Z N(0,1)
Standardizzazione: esempioSe X ha una distribuzione normale con media 100 e deviazione std 50, il valore di z corrispondente a x = 200 è
41
200 100 2.050
xz
z100
2.00200 x (μ = 100, σ = 50)
(μ = 0, σ = 1)
Ciò significa che x = 200 è 2.0 deviazioni standard (= 2.0 incrementi di 50 unità) al di sopra del valore medio 100
La distribuzione di Z ha la stessa forma di quella di X: vi è solo un cambiamento di scala!
Calcolo per una Normale generica
L. GRILLI - STATISTICA 1 - 2019 42
( ) a bP a X b P Z
a b x
f(x)
b a
z
µ0
Si effettua una standardizzazione per trasformare
P(a X b) con X N(,2) in P(aZ Z bZ) con Z N(0,1)
aZ bZ
Calcolo per una Normale generica /cont
Disegnare la curva Normale per il problema in termini di x
Tradurre i valori di x in valori di z (standardizzazione)
Usare la tavola della funzione di ripartizione della Normale standard
43
Calcolare P(a < X < b) quando X ha distribuzione Normale:
Esempio coda sinistra: P(X < 8.6)
L. GRILLI - STATISTICA 1 - 2019 44
Z0.120x8.68
P(X < 8.6) P(Z < 0.12)
2 2( 8, 5 ) ( 8.6) ?X N P X
8.6 8.0 0.125.0
XZ
Esempio coda sinistra: P(X < 8.6) /cont
L. GRILLI - STATISTICA 1 - 2019 45
Z
0.12
F(0.12) = 0.5478
Tavola della distribuzione Normale standard
0.00
= P(Z < 0.12)P(X < 8.6)
0.01 0.02 0.03 … 0.1 0.5478 0.2 0.3 …
Esempio coda destra: P(X > 8.6) Adesso calcoliamo P(X > 8.6)…
46
Z
0.120
Z
0.12
0.5478
0
1.000 1 - 0.5478 = 0.4522
P(X > 8.6) = P(Z > 0.12) = 1 - P(Z ≤ 0.12)
= 1 - 0.5478 = 0.4522
Problemi diretti e inversi
L. GRILLI - STATISTICA 1 - 2019 47
Problema diretto: dato un valore di z determinare la probabilità cumulata (z) [in termini geometrici: dato un punto z sulle ascisse determinare l’area sottesa alla densità alla sinistra di z]
Problema inverso: dato un valore p della probabilità cumulata, determinare il valore zp corrispondente, cioè zp tale che (zp) = p[in termini geometrici: determinare il punto zp per il quale alla sua sinistra l’area sottesa alla densità è pari ad un certo valore specificato]
Finora abbiamo visto solo problemi diretti, adesso consideriamo alcuni problemi inversi
Problema inversoPassi per trovare il valore di x corrispondente ad una data
probabilità:
1. Trovare il valore di z corrispondente alla probabilità data
2. Convertire nelle unità di x usando l’inversa della standardizzazione, cioè:
48
x z
Standard Normal Distribution Plushie
Problema inverso: esempioEsempio:
Assumiamo che in un certa località la temperatura minima X abbia una distribuzione Normale con media 8 C° e deviazione std 5 C°.
Adesso troviamo il valore di X tale che il 70% dei valori siano al di sotto
49
Il 70% delle temperature è inferiore
a ___ C°
X?8.0Z?0
Problema inverso: esempio /cont.
L. GRILLI - STATISTICA 1 - 2019 50
70% di area a sinistra corrisponde al valore Z di 0.52
Tavola della Funzione di Ripartizione Normale
0.70
1. Trovare il valore di Z corrispondente alla probabilità data
0.30
X?8.0Z0.520
… 0.02 … …
0.5 0.6985 …
Problema inverso: esempio /cont.
51
8 5(0.52) 10.6 x z
Perciò 70% dei valori di una distribuzione Normale con media 8 e deviazione std 5 sono inferiori a 10.6
Il 70% delle temperature è
inferiore a 10.6 C°
2. Convertire in unità di X:
Scala e unità di misura
Quando il problema è di tipo inverso si parte dalla Normale standard per ottenere il valore z desiderato• z è in scala standard non ha unità di misura
Poi si applica la trasformazione inversa della standardizzazione,
che reintroduce la media X e la deviazione standard X originali• x è nella scala originale (kg, cm, secondi, C°,…)
52
X Xx z
Schema dei cambiamenti di scala
L. GRILLI - STATISTICA 1 - 2019 53
Valori X(scala originale: kg, cm, C°,…)
Valori Z(scala standardizzata)
X XX Z X
X
XZ
Perché la regola empirica
L. GRILLI - STATISTICA 1 - 2019 54
z z X X z X X za Z b a X b
(1) 0.8413 ( 1 1) 0.6826 ( 1 1 )
(2) 0.9772 ( 2 2) 0.9544 ( 2 2 )
(3) 0.9987 ( 3 3) 0.9974 ( 3 3 )
X X X X
X X X X
X X X X
P Z P X
P Z P X
P Z P X
si possono calcolare le seguenti probabilità:
Ecco spiegata la regola empirica: molti fenomeni sono ben approssimati dalla Normale e quindi la proporzione di osservazioni in un intervallo del tipo + kè ben approssimata dalla corrispondente probabilità per la Normale
Valori anomali
L. GRILLI - STATISTICA 1 - 2019 55
In una distribuzione Normale, un valore viene considerato anomalo se è fuori dall’intervallo X kX , dove di solito si prende k=2 o k=3 le distanze vengono misurate a partire da X e sono in unità di X un valore non è anomalo in senso assoluto, ma solo relativamente ad una certa distribuzione.
Esempio: X = lunghezza in mm di un pezzo prodotto, la sua distribuzione è Normale con X = 80 un pezzo di 85 mm è anomalo se X =1, ma non è anomalo se X =3.
Attenzione: il criterio dell’intervallo X kX per giudicare l’anomalia non ha senso se la distribuzione è molto diversa dalla Normale (in particolare, se è discreta con poche modalità)
«Senza deviazione dalla norma, il progresso non è possibile.» Frank Zappa
Valutazione dell’ipotesi di normalità /1
La distribuzione Normale permette di sfruttare una serie di utili proprietà
Nella maggior parte dei casi, quando la variabile in esame è continua la Normale è un modello adeguato, cioè descrive in modo sufficientemente accurato la “vera” distribuzione di probabilità
Tuttavia vi sono casi in cui la Normale è un modello del tutto inadeguato e quindi usare la Normale porta a risultati inattendibili
Valutare l’ipotesi di normalità significa confrontare la distribuzione osservata (= la distribuzione dei dati da analizzare) con la distribuzione Normale
57
Valutazione dell’ipotesi di normalità /2
Alcuni modi per confrontare la distribuzione osservata con la Normale sono:• Costruzione di grafici per analizzare la forma della distribuzione (boxplot, istogramma)
• Calcolo delle misure di sintesi e confronto fra le caratteristiche dei dati e le proprietà teoriche della distribuzione Normale (la verifica principale consiste nel calcolare media, mediana e moda dei dati e valutare se sono approssimativamente uguali)
• Verifica della regola empirica, calcolando la proporzione di osservazioni che si discostano dalla media per più di 1 volta, 2 volte, 3 volte la deviazione std e confrontando tali proporzioni con le corrispondenti probabilità normali, cioè 68%, 95%, 99.7%
58
Valutazione dell’ipotesi di normalità /3
La distribuzione Normale ha come supporto l’intero asse dei numeri reali e quindi assegna probabilità non nulle anche a intervalli di valori negativi, es. [‐3.2, 0]
• Molti fenomeni analizzati ammettono solo valori positivi, es. tempo, lunghezza, costo. In tali situazioni la Normale può essere adeguata se l’intervallo + 3 (che dovrebbe contenere quasi tutte le osservazioni) è tutto su valori positivi, es. [2.3, 8.2]
In generale, quando le osservazioni a disposizione sono poche (diciamo meno di 20) è molto difficile stabile se una certa distribuzione di probabilità è adeguata o meno perché eventuali forti discrepanze tra ciò che si osserva e ciò che prescrive il modello potrebbero essere semplicemente frutto del caso
59
Quando la normale non è adeguata
L. GRILLI - STATISTICA 1 - 2019 60
AsimmetriaI dati possono avere una natura fortemente asimmetrica: in tal caso la distribuzione osservata ha media e mediana molto diverse
Code pesantiI dati possono presentare valori estremi (= lontani dalla media) molto più frequentemente di quanto previsto dalla Normale: in tal caso la proporzione di valori al di fuori degli intervalli del tipo + k è sostanzialmente più elevata delle corrispondenti probabilità normali
La distribuzione Normale può essere inadeguata per vari motivi. Due motivi frequenti sono:
Code pesanti, ovvero eventi estremi Spesso l’inadeguatezza della distribuzione Normale è rivelata dagli eventi estremi
Quando si verifica un valore fuori dall’intervallo + k si parla di «evento k‐sigma»
Abbiamo già visto che un «evento 3‐sigma» ha probabilità (1‐0.997) = 0.003 cioè 3/1000
All’aumentare dei sigma la probabilità diventa piccolissima: ad esempio, un «evento 8‐sigma» ha probabilità 1.3310‐15, cioè poco più di uno su un milione di miliardi!
In ambito finanziario, eventi dell’ordine 8‐sigma (o ancora più estremi, come nei crolli del mercato azionario) si sono verificati più volte la distribuzione Normale è inadeguata perché assegna a tali eventi una probabilità troppo bassa (sottovalutare la probabilità di eventi estremi è molto pericoloso!)
61N.N. Taleb: Il cigno nero. Come l'improbabile governa la nostra vita. Il Saggiatore, 2008.
Distribuzione delle variazioni giornaliere dell’indice Dow Jones della borsa di New York (1928-2009, valori standardizzati)
La distribuzione Chi-quadrato
2
L. GRILLI - STATISTICA 1 - 2019 64
Distribuzione Chi‐quadrato
65
12 2( ) 0
r
r
x
f ex xax
2 : 1, 2,r rX
La costante ar dipende da r ma non da x e viene detta «costante di normalizzazione» perché garantisce che l’integrale della densità (cioè l’area sottesa alla curva) sia 1:
Parametro a valori interi positivi detto gradi di libertà (gdl)
( ) ( ) 2E X Var Xr r
Famiglia parametrica di v.a. continue:
0( ) 1
f x dx
Media e varianza dipendono dal parametro gdl
Chi‐quadrato: la costante di normalizzazione
66
La costante di normalizzazione della densità Chi-quadrato con r gdl è
dove denota la funzione Gamma
Valori particolari e proprietà della funzione Gamma:
/21
2 / 2
r rar
1
0
m um u e du
( 1)! se è int1 1; 0.5 ero; m m m
per questa proprietà la funzione Gamma può essere interpretata come un «fattoriale nel continuo»
Chi‐quadrato: plot di alcune densità
Funzione di densità della v.a. Chi‐quadrato per alcuni valori del parametro gdl (qui indicato con k)
Le densità hanno asimmetria positiva, molto evidente per valori piccoli di gdl. Il grado di asimmetria diminuisce all’aumentare di gdl.
I primi 7 valori estratti e il loro quadrato
Genesi della v.a. Chi‐quadratoLa Chi‐quadrato con 1 gdl si genera elevando al quadrato una v.a. Normale standard:
2 21(0,1)Z N Z
z x1.88 3.550.36 0.13‐0.61 0.37‐0.26 0.070.40 0.16‐1.44 2.080.77 0.59… …
Esempio: istogramma di 100000 valori generati da una Normale standard (a sinistra) e istogramma del loro quadrato (a destra)
0.5
11.
52
Den
sity
-5 0 5z
0.5
11.
52
Den
sity
0 2 4 6 8 10x
Chi‐quadrato: si riproduce per sommaDate due v.a. indipendenti ciascuna con distribuzione Chi‐quadrato, si dimostra che la v.a. somma ha anch’essa distribuzione Chi‐quadrato. Con quanti gdl? Semplice, la somma dei gdl!
69
1 2
1 2
1 2 1 2
1
2
2
2
2
e indip.
posto r r
r r
X X X X
Y X X Y
0
.1.2
.3.4
.5D
ensi
ty
0 5 10 15 20x3
0.1
.2.3
.4.5
Den
sity
0 5 10 15 20x2
0.1
.2.3
.4.5
Den
sity
0 5 10 15 20xsum
22
23 2 3
2 2 25
Attenzione al requisito di indipendenzaLa proprietà di riproduzione per somma della v.a. Chi‐quadrato vale se si sommano v.a. indipendenti. Infatti, la v.a. Chi‐quadrato è caratterizzata dal fatto che la varianza è il doppio della media: se si sommano v.a. correlate questa relazione salta!
70
1
2
1 1 1 1 1
2 2 2 2 2
1 2
1 2 1 2
1 2 1 2 2
2
1
2
( ) ( ) 2
( ) ( ) 2 e indip.
( ) ( ) ( )2 2 2( ) 2 ( )
r
r
X E X Var X
X E X Var X
X XVar X X Var X Var X
E
r r
r r
r r X Xr r
Se le v.a. sono correlate la varianza della somma include anche due volte la covarianza e quindi non è più vero che la varianza è il doppio della media
Chi‐quadrato: quantili
71
La funzione di ripartizione non esiste in forma analitica per calcolare i quantili occorre utilizzare una approssimazione numerica fornita da un computer (es. la funzione INV.CHI.QUAD di Excel) oppure da una apposita tavola
Tavola C.2. Quantili della distribuzione chi‐quadrato
Chi‐quadrato: quantili /cont.
p (area sottesa alla curva procedendo da sinistra a destra)
r 0,005 0,010 0,025 0,050 0,100 0,250 0,500 0,750 0,900 0,950 0,975 0,990 0,995 0,999
1 0,00 0,00 0,00 0,00 0,02 0,10 0,45 1,32 2,71 3,84 5,02 6,63 7,88 10,83
2 0,01 0,02 0,05 0,10 0,21 0,58 1,39 2,77 4,61 5,99 7,38 9,21 10,60 13,82
3 0,07 0,11 0,22 0,35 0,58 1,21 2,37 4,11 6,25 7,81 9,35 11,34 12,84 16,27
4 0,21 0,30 0,48 0,71 1,06 1,92 3,36 5,39 7,78 9,49 11,14 13,28 14,86 18,47
5 0,41 0,55 0,83 1,15 1,61 2,67 4,35 6,63 9,24 11,07 12,83 15,09 16,75 20,52
6 0,68 0,87 1,24 1,64 2,20 3,45 5,35 7,84 10,64 12,59 14,45 16,81 18,55 22,46
7 0,99 1,24 1,69 2,17 2,83 4,25 6,35 9,04 12,02 14,07 16,01 18,48 20,28 24,32
8 1,34 1,65 2,18 2,73 3,49 5,07 7,34 10,22 13,36 15,51 17,53 20,09 21,96 26,12
9 1,73 2,09 2,70 3,33 4,17 5,90 8,34 11,39 14,68 16,92 19,02 21,67 23,59 27,88
10 2,16 2,56 3,25 3,94 4,87 6,74 9,34 12,55 15,99 18,31 20,48 23,21 25,19 29,59
82Es. ( 2.73) 0.05 X P X
gdl
Chi‐quadrato: quantili /cont. La Chi‐quadrato tende alla Normale per gdl
I quantili della Chi‐quadrato con gdl>100 non si trovano in tavola ma si calcolano con l’approssimazione alla Normale Esempio. Consideriamo una v.a. Chi‐quadrato con 120 gdl. Vogliamo determinare il quantile approssimato di livello 0.90.• Valore approssimato
dove 1.282 è il quantile di livello 0.90 della normale standardizzata
• Valore esatto (calcolato con software R):
73
2per grande distribuito approx. ( , 2 )rr X N r r
0,90 120 1.282 2 120 139.86 x
0.90 140.23xhttps://www.themarysue.com/statistical-distribution-plushies/