quantili calcolo dei quantili - unifi

7
0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 0 2 4 6 8 10 12 14 16 18 0 0.02 0.04 0.06 0.08 0.1 0.12 0.14 0.16 0.18 0.2 0 2 4 6 8 10 12 14 16 18 Quantili p =0.5 Mediana p =0.25, 0.50, 0.75 Quartili p =0.1, 0.2, …,0.8, 0.9 Decili p =0.01, 0.02,…,0.98, 0.99 Percentili 1‐p F(x) p=Pr(Xq p ) Funzione di ripartizione Funzione di densità q p La mediana lascia alla sua sinistra una proporzione di osservazioni pari a p=0.5 (salvo arrotondamenti). In generale, possiamo considerare una proporzione p qualunque tra 0 e 1 … Esempi di quantili p q p L. Grilli - Statistica 1 - 2019 37 Calcolo dei quantili Data una variabile X quantitativa o qualitativa ordinale, indichiamo con x 1 ,x 2 ,…,x N la distribuzione statistica disaggregata e con x (1) x (2) x (N) la corrispondente successione in ordine non decrescente dei numeri o categorie osservati, es. {3,3,4,7,7,9} oppure {basso, basso, medio, medio, alto, alto, alto}. Il quantile di ordine p (cioè che lascia a sinistra una proporzione p di osservazioni) si calcola nel seguente modo. Posto h=Np il quantile di ordine p è ( ) ( 1) ([ ] 1) se è un numero intero 2 altrimenti dove [ ] indica la parte intera di h h p h x x h Np q x h h Sul libro di Cicchitelli corrisponde alla definizione in nota 3 p. 120 L. Grilli - Statistica 1 - 2019 38 Calcolo dei quantili: tramite la funzione di ripartizione X = numero atti aggressivi in un’ora di gioco N =138 bambini x i 1 2 3 4 5 6 7 8 9 10 tot n i 3 8 30 45 22 12 10 5 2 1 138 N i 3 11 41 86 108 120 130 135 137 138 F(x i ) 0.02 0.08 0.30 0.62 0.78 0.87 0.94 0.98 0.99 1.00 Esempio, calcoliamo i quartili: dobbiamo trovare il primo valore di x i per cui vale F(x i )> p, per p=0.25, 0.50, 0.75 In questo caso Q 1 =3 Q 2 =4 Q 3 =5 Attenzione: se esiste x i per cui vale F(x i )= p, allora il corrispondente quantile è tra x i e x i+1 (se X è quantitativa si calcola la semisomma: con i dati di questo esempio il quantile p=0.30 è 3.5) L. Grilli - Statistica 1 - 2019 39 Calcolo dei quantili: dati raggruppati (ipotesi dell’istogramma) (0,1) : ( ) p p p p q prop X q Fq p *1 *1 * ( ) i p i i p Fc q c h 1) Trovare la classe (c i*-1 , c i* ) in cui F supera p 2) Calcolare

Upload: others

Post on 25-Jul-2022

10 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Quantili Calcolo dei quantili - UniFI

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

0 2 4 6 8 10 12 14 16 18

0

0.02

0.04

0.06

0.08

0.1

0.12

0.14

0.16

0.18

0.2

0 2 4 6 8 10 12 14 16 18

Quantili

p =0.5 Medianap =0.25, 0.50, 0.75 Quartilip =0.1, 0.2, …,0.8, 0.9 Decilip =0.01, 0.02,…,0.98, 0.99 Percentili

1‐p

F(x)p=Pr(Xqp) Funzione di 

ripartizione

Funzione di densità

qp

La mediana lascia alla sua sinistra una proporzione di osservazioni pari a p=0.5 (salvo arrotondamenti). In generale, possiamo considerare una proporzione p qualunque tra 0 e 1 …

Esempi di 

quantili

p

qpL. Grilli - Statistica 1 - 2019 37

Calcolo dei quantili

Data una variabile X quantitativa o qualitativa ordinale, indichiamo con x1, x2, … ,xN la distribuzione statistica disaggregata e con x(1) x(2) … x(N) la corrispondente successione in ordine non decrescente dei numeri o categorie osservati, es. {3,3,4,7,7,9} oppure {basso, basso, medio, medio, alto, alto, alto}. Il quantile di ordine p (cioè che lascia a sinistra una proporzione p di osservazioni) si calcola nel seguente modo. Posto h=Np il quantile di ordine p è

( ) ( 1)

([ ] 1)

se è un numero intero2

altrimenti

dove [ ] indica la parte intera di

h h

p

h

x xh Np

qx

h hSul libro di Cicchitelli corrisponde alla definizione in nota 3 p. 120

L. Grilli - Statistica 1 - 2019 38

Calcolo dei quantili:tramite la funzione di ripartizione

X = numero atti aggressivi in un’ora di giocoN =138 bambinixi 1 2 3 4 5 6 7 8 9 10 tot

ni 3 8 30 45 22 12 10 5 2 1 138Ni 3 11 41 86 108 120 130 135 137 138

F(xi) 0.02 0.08 0.30 0.62 0.78 0.87 0.94 0.98 0.99 1.00

Esempio, calcoliamo i quartili: dobbiamo trovare ilprimo valore di xi per cui vale F(xi) > p, per p=0.25, 0.50, 0.75 In questo caso  Q1=3   Q2=4    Q3=5

Attenzione: se esiste xi per cui vale F(xi) = p, allora il corrispondente quantile è tra xi e xi+1 (se X è quantitativa si calcola la semisomma: con i dati di questo esempio il quantile p=0.30 è 3.5)

L. Grilli - Statistica 1 - 2019 39

Calcolo dei quantili:dati raggruppati (ipotesi dell’istogramma)

(0,1)

: ( )p p p

p

q prop X q F q p

* 1* 1

*

( )

i

p ii

p F cq ch

1) Trovare la classe (ci*-1, ci*) in cui F supera p

2) Calcolare

Page 2: Quantili Calcolo dei quantili - UniFI

Esempio: decili di reddito in Scozia

L. Grilli - Statistica 1 - 2019 40

Single person with no

children

Couple with no

children

Single person

with children aged 5 and 14

Couple with

children aged 5 and 14

UK median income (before housing costs) 14600 21800 26200 3340060% of UK median income (before housing

costs) - relative poverty threshold 8800 13100 15700 20000

Scottish 1st income decile 7800 11600 13900 17800Scottish 2nd income decile 9700 14400 17300 22100Scottish 3rd income decile 11300 16900 20200 25800Scottish 4th income decile 12900 19300 23100 29500Scottish 5th income decile 14500 21700 26000 33200Scottish 6th income decile 16600 24800 29800 38000Scottish 7th income decile 19000 28300 34000 43400Scottish 8th income decile 22100 33000 39700 50600Scottish 9th income decile 27500 41100 49300 62800

Annual income thresholds for different family types (income after tax and BHC)Scotland 2010/11 ‐ http://www.scotland.gov.uk/Publications/2012/06/7976/4

Esempio: trend del reddito USA

41

Evolution of US household income at the 20th 50th 80th and 95th percentile from 1976 to 2011 in 2011 constant (CPI‐U‐RS adjusted) dollars.

http://en.wikipedia.org/wiki/Household_income_in_the_United_States#Distribution

Percentile 1976 1988 2000 201120th 19426 20794 23404 20262 4.3%50th 45595 49737 54841 50054 9.8%80th 79322 92427 106790 101582 28.1%95th 125794 156454 189665 186000 47.9%

0

20000

40000

60000

80000

100000

120000

140000

160000

180000

200000

1970 1975 1980 1985 1990 1995 2000 2005 2010 2015

95th80th50th20th

L. Grilli - Statistica 1 - 2019

Esempio: curve di crescita

42L. Grilli - Statistica 1 - 2019 43L. Grilli - Statistica 1 - 2019

Page 3: Quantili Calcolo dei quantili - UniFI

L. Grilli - Statistica 1 - 2019 44

Medie di potenze: proprietà e principali esempi 

ovvero media quadratica media aritmetica media geometrica media armonica 

45

Medie di potenze

• s = 1 M1 =M media aritmetica• s = 2 M2 =Mq media quadratica• s = 1 M-1=Ma media armonica• s 0 M0 =Mg media geometrica

sN

i

sis x

NM

/1

1

1

X Y

Ms(X)

f

f 1M(Y)

Media aritmetica

L. Grilli - Statistica 1 - 2019

Media di potenze(o momento)

di ordine s

L. Grilli - Statistica 1 - 2019 46

Media quadratica

f(x)=x2

M2: valore che sostituito agli N termini della successione ne lascia invariata la somma dei quadrati

1/22 2

1 12

N N

i ii i

x xM

N N

Media quadratica: esempio

Una superficie è coperta da 3 mattonelle, i cui lati misurano 10, 15 e 20 centimetri. Calcolare il valore medio del lato. Ovvero: se si sostituissero le 3 mattonelle attuali con 3 nuove mattonelle della stessa dimensione, qual è il valore del lato per cui verrebbe coperta la stessa superficie?

L. Grilli - Statistica 1 - 2019 47

22 2 2

12

10 15 20 241.6667=15.54563

N

ii

xM

N

Nota: la media quadratica (15.5456) è maggiore della media aritmetica (15) – vedremo che è sempre così

Page 4: Quantili Calcolo dei quantili - UniFI

Problema: calcolare la velocità media

• Un’automobile da corsa fa due giri di pista, il primo ad una velocità di 100 km/h e il secondo ad una velocità di 300 km/h

• Qual è la velocità media?

L. Grilli - Statistica 1 - 2019 48 L. Grilli - Statistica 1 - 2019 49

Media armonica

f(x)=1/x

La media armonica si usa quando il reciproco di x ha un significato e l’obiettivo è lasciare invariata la somma dei reciprociTipicamente si usa per calcolare la media della velocità o della produttività

1

1a N

i i

NM

x

spazio quantitàvelocità produttivitàtempo tempo

L. Grilli - Statistica 1 - 2019 50

Media armonica: esempio

• Tempo impiegato da tre falegnami per realizzare una sedia: 1h 2h 2h

• In un’ora i 3 falegnami realizzano 2 sedie mediamente ognuno realizza 2/3 di sedia in un’ora, ovvero per una sedia impiega 3/2 di ora (cioè un’ora e mezzo)

x (ore per una sedia) 1/x (sedie in un’ora)1 12 1/22 1/2

1

3 3 1.51 1 11 21 2 2

a N

i i

NM

x

L. Grilli - Statistica 1 - 2019 51

Media geometrica

f(x)= log x (logaritmo naturale, la cui inversa è exp)

• Mg: valore che sostituito agli N termini della successione ne lascia invariato il prodotto

• Mg applicata ad una progressione geometrica (con N dispari) fornisce il termine centrale della progressione

1

1

N N

g ii

M x

11 1 1

1 1 1 1 1

1exp log exp log exp(log )N N NN N N

N N Ng i i i i i

i i i i i

M x x x x xN

0limg ss

M M

La media geometrica fa parte delle medie di potenze, anche se in un modo particolare: infatti, non si ottiene ponendo s uguale a un valore, ma facendo tendere s a zero

Page 5: Quantili Calcolo dei quantili - UniFI

L. Grilli - Statistica 1 - 2019 52

Media geometrica: esempio

• La media geometrica consente di calcolare il tasso medio di crescita

• Esempio: un capitale investito per tre anni ha fatto registrare i seguenti rendimenti: 2%, 18%, 10%. Qual è il tasso di rendimento medio?

3

1.02 1.18 1.10

1finale iniziale

iniziale

C C

C r

3

13

Obiettivo: trovare tale che

1 1.02 1.18 1.10

1 1.02 1.18 1.10 1.098057

0.098057 (ovvero 9.8%)

r

r

r

r

Media geometrica dei fattori

di capitalizzazione

L. Grilli - Statistica 1 - 2019 53

Ordinamento delle medie di potenze

• Per una successione di valori strettamente positivi si possono calcolare tutte le medie di potenze

• Si dimostra che tra le medie di potenze esiste un ordinamento:

• Ordinamento delle medie più utilizzatemedia quadratica (s = 2) 

media aritmetica   (s = 1) media geometrica (s 0) media armonica    (s = 1)

se allora s ts t M M con uguaglianza se e

solo se la distribuzione è degenere (cioè i

valori sono identici)

Ordinamento delle medie di potenze: esempio

L. Grilli - Statistica 1 - 2019 54

ordine di potenzaxi ‐1 0 1 21 1 0.0000 1 12 0.5 0.6931 2 45 0.2 1.6094 5 258 0.125 2.0794 8 64

0.4563 1.0955 4.0000 23.50002.1918 2.9907 4.0000 4.8477

media aritmetica dei valori trasformati

trasformazione inversa (= media di potenze)

armonica geometrica aritmetica quadratica

L. Grilli - Statistica 1 - 2019 55

Medie: ulteriori argomenti

Page 6: Quantili Calcolo dei quantili - UniFI

Come scegliere il tipo di media?

• Le medie calcolabili dipendono dal tipo di variabile: se nominale si può calcolare solo la moda, se quantitativa si possono calcolare moda, mediana e medie analitiche

• La scelta mediana vs medie analitiche dipende dalla asimmetria della distribuzione e dalla presenza di outliers

• La media analitica più comune è la media aritmetica• Tuttavia in alcuni casi il principio di invarianza suggerisce l’uso di una media diversa da quella aritmetica: es. la media armonica dei tempi lascia invariata la produttività totale, oppure la media geometrica lascia invariato il montante finale di un investimento a interesse composto

L. Grilli - Statistica 1 - 2019 56 L. Grilli - Statistica 1 - 2019 57

Trasformazioni di media e mediana

Abbiamo visto che la media aritmetica di una trasformazione lineare dei dati è uguale alla trasformazione lineare della media aritmetica originale; questa proprietà vale solo per trasformazioni lineari:Y=f(X) MY = f(MX) se f è lineareY=g(X) MY g(MX) se g non è lineareAd esempio, la media aritmetica del logaritmo naturale dei dati è diversa dal logaritmo naturale della media originale.Per la mediana, invece, vale la seguente proprietà:Y=h(X) mY = h(mX) se h è monotonaNota: una funzione lineare è un caso speciale di funzione monotona(una funz. monotona crescente preserva l’ordinamento, mentre una funz. monotona decrescente inverte l’ordinamento, in entrambi i casi l’unità mediana è invariata)

L. Grilli - Statistica 1 - 2019 58

originale lineare monotona non monotona10 105.000 2.303 49.00012 106.000 2.485 25.00015 107.500 2.708 4.00018 109.000 2.890 1.00020 110.000 2.996 9.00030 115.000 3.401 169.00035 117.500 3.555 324.000

somma 140 770.000 20.338 581.000media 20 110.000 2.905 83.000

mediana 18 109.000 2.890 25.000

100+0.5*(media) 110.000100+0.5*(mediana) 109.000log(media) 2.996log(mediana) 2.890(media-17)^2 9.000(mediana-17)^2 1.000

logy x100 0.5y x 2( 17)y x Media aritmetica: proprietà associativa

• Se un collettivo statistico di N unità viene suddiviso in L sottoinsiemi disgiunti aventi numerosità N(1), N(2),…,N(L) e medie m(1), m(2),…, m(L), allora la media del collettivo può essere così calcolata

• Dunque la proprietà associativa afferma che la media generale si ottiene come media ponderata delle medie dei sottoinsiemi, dove i pesi di ponderazione sono le proporzioni dei sottoinsiemi

L. Grilli - Statistica 1 - 2019 59

𝜇 1𝑁 𝜇 𝑁 𝜇 𝑁 ⋯ 𝜇 𝑁 𝜇 𝜇 ⋯ 𝜇 𝜇 𝑓 𝜇 𝑓 ⋯ 𝜇 𝑓

Page 7: Quantili Calcolo dei quantili - UniFI

Esempio della proprietà associativa

• In una classe l’altezza media delle femmine è 170 cm, mentre l’altezza media dei maschi è 176 cm: qual è l’altezza media degli studenti della classe?• Forse 173 cm? Sì, ma solo se maschi e femmine sono in egual numero!

• Supponiamo vi siano 5 femmine e 15 maschi: in tal caso l’altezza media è 170*5/20+176*15/20 = 174.5

• Altro esempio: calcolare il reddito medio nazionale a partire dai redditi medi regionali

L. Grilli - Statistica 1 - 2019 60

La proprietà associativa è alla base di un paradosso poco noto:Grilli L. (2012). Un  paradosso statistico: l’effetto Will Rogers.  Sis‐Magazine ‐Online Magazine della Società Italiana di Statistica.http://old.sis‐statistica.org/magazine/spip.php?article213