quantili calcolo dei quantili - unifi
TRANSCRIPT
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
0 2 4 6 8 10 12 14 16 18
0
0.02
0.04
0.06
0.08
0.1
0.12
0.14
0.16
0.18
0.2
0 2 4 6 8 10 12 14 16 18
Quantili
p =0.5 Medianap =0.25, 0.50, 0.75 Quartilip =0.1, 0.2, …,0.8, 0.9 Decilip =0.01, 0.02,…,0.98, 0.99 Percentili
1‐p
F(x)p=Pr(Xqp) Funzione di
ripartizione
Funzione di densità
qp
La mediana lascia alla sua sinistra una proporzione di osservazioni pari a p=0.5 (salvo arrotondamenti). In generale, possiamo considerare una proporzione p qualunque tra 0 e 1 …
Esempi di
quantili
p
qpL. Grilli - Statistica 1 - 2019 37
Calcolo dei quantili
Data una variabile X quantitativa o qualitativa ordinale, indichiamo con x1, x2, … ,xN la distribuzione statistica disaggregata e con x(1) x(2) … x(N) la corrispondente successione in ordine non decrescente dei numeri o categorie osservati, es. {3,3,4,7,7,9} oppure {basso, basso, medio, medio, alto, alto, alto}. Il quantile di ordine p (cioè che lascia a sinistra una proporzione p di osservazioni) si calcola nel seguente modo. Posto h=Np il quantile di ordine p è
( ) ( 1)
([ ] 1)
se è un numero intero2
altrimenti
dove [ ] indica la parte intera di
h h
p
h
x xh Np
qx
h hSul libro di Cicchitelli corrisponde alla definizione in nota 3 p. 120
L. Grilli - Statistica 1 - 2019 38
Calcolo dei quantili:tramite la funzione di ripartizione
X = numero atti aggressivi in un’ora di giocoN =138 bambinixi 1 2 3 4 5 6 7 8 9 10 tot
ni 3 8 30 45 22 12 10 5 2 1 138Ni 3 11 41 86 108 120 130 135 137 138
F(xi) 0.02 0.08 0.30 0.62 0.78 0.87 0.94 0.98 0.99 1.00
Esempio, calcoliamo i quartili: dobbiamo trovare ilprimo valore di xi per cui vale F(xi) > p, per p=0.25, 0.50, 0.75 In questo caso Q1=3 Q2=4 Q3=5
Attenzione: se esiste xi per cui vale F(xi) = p, allora il corrispondente quantile è tra xi e xi+1 (se X è quantitativa si calcola la semisomma: con i dati di questo esempio il quantile p=0.30 è 3.5)
L. Grilli - Statistica 1 - 2019 39
Calcolo dei quantili:dati raggruppati (ipotesi dell’istogramma)
(0,1)
: ( )p p p
p
q prop X q F q p
* 1* 1
*
( )
i
p ii
p F cq ch
1) Trovare la classe (ci*-1, ci*) in cui F supera p
2) Calcolare
Esempio: decili di reddito in Scozia
L. Grilli - Statistica 1 - 2019 40
Single person with no
children
Couple with no
children
Single person
with children aged 5 and 14
Couple with
children aged 5 and 14
UK median income (before housing costs) 14600 21800 26200 3340060% of UK median income (before housing
costs) - relative poverty threshold 8800 13100 15700 20000
Scottish 1st income decile 7800 11600 13900 17800Scottish 2nd income decile 9700 14400 17300 22100Scottish 3rd income decile 11300 16900 20200 25800Scottish 4th income decile 12900 19300 23100 29500Scottish 5th income decile 14500 21700 26000 33200Scottish 6th income decile 16600 24800 29800 38000Scottish 7th income decile 19000 28300 34000 43400Scottish 8th income decile 22100 33000 39700 50600Scottish 9th income decile 27500 41100 49300 62800
Annual income thresholds for different family types (income after tax and BHC)Scotland 2010/11 ‐ http://www.scotland.gov.uk/Publications/2012/06/7976/4
Esempio: trend del reddito USA
41
Evolution of US household income at the 20th 50th 80th and 95th percentile from 1976 to 2011 in 2011 constant (CPI‐U‐RS adjusted) dollars.
http://en.wikipedia.org/wiki/Household_income_in_the_United_States#Distribution
Percentile 1976 1988 2000 201120th 19426 20794 23404 20262 4.3%50th 45595 49737 54841 50054 9.8%80th 79322 92427 106790 101582 28.1%95th 125794 156454 189665 186000 47.9%
0
20000
40000
60000
80000
100000
120000
140000
160000
180000
200000
1970 1975 1980 1985 1990 1995 2000 2005 2010 2015
95th80th50th20th
L. Grilli - Statistica 1 - 2019
Esempio: curve di crescita
42L. Grilli - Statistica 1 - 2019 43L. Grilli - Statistica 1 - 2019
L. Grilli - Statistica 1 - 2019 44
Medie di potenze: proprietà e principali esempi
ovvero media quadratica media aritmetica media geometrica media armonica
45
Medie di potenze
• s = 1 M1 =M media aritmetica• s = 2 M2 =Mq media quadratica• s = 1 M-1=Ma media armonica• s 0 M0 =Mg media geometrica
sN
i
sis x
NM
/1
1
1
X Y
Ms(X)
f
f 1M(Y)
Media aritmetica
L. Grilli - Statistica 1 - 2019
Media di potenze(o momento)
di ordine s
L. Grilli - Statistica 1 - 2019 46
Media quadratica
f(x)=x2
M2: valore che sostituito agli N termini della successione ne lascia invariata la somma dei quadrati
1/22 2
1 12
N N
i ii i
x xM
N N
Media quadratica: esempio
Una superficie è coperta da 3 mattonelle, i cui lati misurano 10, 15 e 20 centimetri. Calcolare il valore medio del lato. Ovvero: se si sostituissero le 3 mattonelle attuali con 3 nuove mattonelle della stessa dimensione, qual è il valore del lato per cui verrebbe coperta la stessa superficie?
L. Grilli - Statistica 1 - 2019 47
22 2 2
12
10 15 20 241.6667=15.54563
N
ii
xM
N
Nota: la media quadratica (15.5456) è maggiore della media aritmetica (15) – vedremo che è sempre così
Problema: calcolare la velocità media
• Un’automobile da corsa fa due giri di pista, il primo ad una velocità di 100 km/h e il secondo ad una velocità di 300 km/h
• Qual è la velocità media?
L. Grilli - Statistica 1 - 2019 48 L. Grilli - Statistica 1 - 2019 49
Media armonica
f(x)=1/x
La media armonica si usa quando il reciproco di x ha un significato e l’obiettivo è lasciare invariata la somma dei reciprociTipicamente si usa per calcolare la media della velocità o della produttività
1
1a N
i i
NM
x
spazio quantitàvelocità produttivitàtempo tempo
L. Grilli - Statistica 1 - 2019 50
Media armonica: esempio
• Tempo impiegato da tre falegnami per realizzare una sedia: 1h 2h 2h
• In un’ora i 3 falegnami realizzano 2 sedie mediamente ognuno realizza 2/3 di sedia in un’ora, ovvero per una sedia impiega 3/2 di ora (cioè un’ora e mezzo)
x (ore per una sedia) 1/x (sedie in un’ora)1 12 1/22 1/2
1
3 3 1.51 1 11 21 2 2
a N
i i
NM
x
L. Grilli - Statistica 1 - 2019 51
Media geometrica
f(x)= log x (logaritmo naturale, la cui inversa è exp)
• Mg: valore che sostituito agli N termini della successione ne lascia invariato il prodotto
• Mg applicata ad una progressione geometrica (con N dispari) fornisce il termine centrale della progressione
1
1
N N
g ii
M x
11 1 1
1 1 1 1 1
1exp log exp log exp(log )N N NN N N
N N Ng i i i i i
i i i i i
M x x x x xN
0limg ss
M M
La media geometrica fa parte delle medie di potenze, anche se in un modo particolare: infatti, non si ottiene ponendo s uguale a un valore, ma facendo tendere s a zero
L. Grilli - Statistica 1 - 2019 52
Media geometrica: esempio
• La media geometrica consente di calcolare il tasso medio di crescita
• Esempio: un capitale investito per tre anni ha fatto registrare i seguenti rendimenti: 2%, 18%, 10%. Qual è il tasso di rendimento medio?
3
1.02 1.18 1.10
1finale iniziale
iniziale
C C
C r
3
13
Obiettivo: trovare tale che
1 1.02 1.18 1.10
1 1.02 1.18 1.10 1.098057
0.098057 (ovvero 9.8%)
r
r
r
r
Media geometrica dei fattori
di capitalizzazione
L. Grilli - Statistica 1 - 2019 53
Ordinamento delle medie di potenze
• Per una successione di valori strettamente positivi si possono calcolare tutte le medie di potenze
• Si dimostra che tra le medie di potenze esiste un ordinamento:
• Ordinamento delle medie più utilizzatemedia quadratica (s = 2)
media aritmetica (s = 1) media geometrica (s 0) media armonica (s = 1)
se allora s ts t M M con uguaglianza se e
solo se la distribuzione è degenere (cioè i
valori sono identici)
Ordinamento delle medie di potenze: esempio
L. Grilli - Statistica 1 - 2019 54
ordine di potenzaxi ‐1 0 1 21 1 0.0000 1 12 0.5 0.6931 2 45 0.2 1.6094 5 258 0.125 2.0794 8 64
0.4563 1.0955 4.0000 23.50002.1918 2.9907 4.0000 4.8477
media aritmetica dei valori trasformati
trasformazione inversa (= media di potenze)
armonica geometrica aritmetica quadratica
L. Grilli - Statistica 1 - 2019 55
Medie: ulteriori argomenti
Come scegliere il tipo di media?
• Le medie calcolabili dipendono dal tipo di variabile: se nominale si può calcolare solo la moda, se quantitativa si possono calcolare moda, mediana e medie analitiche
• La scelta mediana vs medie analitiche dipende dalla asimmetria della distribuzione e dalla presenza di outliers
• La media analitica più comune è la media aritmetica• Tuttavia in alcuni casi il principio di invarianza suggerisce l’uso di una media diversa da quella aritmetica: es. la media armonica dei tempi lascia invariata la produttività totale, oppure la media geometrica lascia invariato il montante finale di un investimento a interesse composto
L. Grilli - Statistica 1 - 2019 56 L. Grilli - Statistica 1 - 2019 57
Trasformazioni di media e mediana
Abbiamo visto che la media aritmetica di una trasformazione lineare dei dati è uguale alla trasformazione lineare della media aritmetica originale; questa proprietà vale solo per trasformazioni lineari:Y=f(X) MY = f(MX) se f è lineareY=g(X) MY g(MX) se g non è lineareAd esempio, la media aritmetica del logaritmo naturale dei dati è diversa dal logaritmo naturale della media originale.Per la mediana, invece, vale la seguente proprietà:Y=h(X) mY = h(mX) se h è monotonaNota: una funzione lineare è un caso speciale di funzione monotona(una funz. monotona crescente preserva l’ordinamento, mentre una funz. monotona decrescente inverte l’ordinamento, in entrambi i casi l’unità mediana è invariata)
L. Grilli - Statistica 1 - 2019 58
originale lineare monotona non monotona10 105.000 2.303 49.00012 106.000 2.485 25.00015 107.500 2.708 4.00018 109.000 2.890 1.00020 110.000 2.996 9.00030 115.000 3.401 169.00035 117.500 3.555 324.000
somma 140 770.000 20.338 581.000media 20 110.000 2.905 83.000
mediana 18 109.000 2.890 25.000
100+0.5*(media) 110.000100+0.5*(mediana) 109.000log(media) 2.996log(mediana) 2.890(media-17)^2 9.000(mediana-17)^2 1.000
logy x100 0.5y x 2( 17)y x Media aritmetica: proprietà associativa
• Se un collettivo statistico di N unità viene suddiviso in L sottoinsiemi disgiunti aventi numerosità N(1), N(2),…,N(L) e medie m(1), m(2),…, m(L), allora la media del collettivo può essere così calcolata
• Dunque la proprietà associativa afferma che la media generale si ottiene come media ponderata delle medie dei sottoinsiemi, dove i pesi di ponderazione sono le proporzioni dei sottoinsiemi
L. Grilli - Statistica 1 - 2019 59
𝜇 1𝑁 𝜇 𝑁 𝜇 𝑁 ⋯ 𝜇 𝑁 𝜇 𝜇 ⋯ 𝜇 𝜇 𝑓 𝜇 𝑓 ⋯ 𝜇 𝑓
Esempio della proprietà associativa
• In una classe l’altezza media delle femmine è 170 cm, mentre l’altezza media dei maschi è 176 cm: qual è l’altezza media degli studenti della classe?• Forse 173 cm? Sì, ma solo se maschi e femmine sono in egual numero!
• Supponiamo vi siano 5 femmine e 15 maschi: in tal caso l’altezza media è 170*5/20+176*15/20 = 174.5
• Altro esempio: calcolare il reddito medio nazionale a partire dai redditi medi regionali
L. Grilli - Statistica 1 - 2019 60
La proprietà associativa è alla base di un paradosso poco noto:Grilli L. (2012). Un paradosso statistico: l’effetto Will Rogers. Sis‐Magazine ‐Online Magazine della Società Italiana di Statistica.http://old.sis‐statistica.org/magazine/spip.php?article213