I TEST STATISTICI

dott.ssa Gabriella Agrusti

Dulcis in fundo..

come scegliere un test statistico in base all’ipotesi

come stabilire se due variabili sono associate (correlazione di Pearson)

come stabilire se una differenza è statisticamente significativa (t-test)

Test, test, test…

Test = prova in generale (non una serie di quesiti a scelta multipla)

Origine: testum (lat.) => saggiare la qualità

Test psicologici ≠ test docimologici perché i primi dovrebbero verificare capacità originarie, culture free mentre i secondi verificano abilità trasmesse per via culturale

Un test è fatto di item o quesiti, ha uno svolgimento collettivo in un tempo determinato

(Se ben fatto) sarà più facile che sia attendibile se è strutturato (stimolo chiuso/risposta chiusa)

..e i test statistici?

Che cos’è e come si sceglie un test statistico

Test statistico: verifica su base probabilistica della

significatività statistica dei risultati ottenuti

Significatività ≠ “importanza”, indica invece che i risultati

non sono dovuti al caso, non sono accidentali

Prima di effettuare test statistici, è necessario

conoscere bene i propri dati (statistiche descrittive)

La scelta del test statistico dipende da:

Le domande della ricerca

Il disegno della ricerca

La natura dei dati che si intende analizzare

Domande della ricerca

Le differenze sono

significative?

Chi quadrato, t-test, ANOVA

Le variabili sono associate?

Correlazione, Chi quadrato

Si vogliono misurare variabili latenti?

Si vogliono predire i

punteggi o le categorie?

Si vogliono ricavare i

parametri della popolazione da un campione?

Strade tortuose..

Le differenze sono significative?

Quante condizioni sperimentali?

ANOVA Che tipo di variabili?

Chi quadrato T-test su campioni

accoppiati o indipendenti

più di due

due

nominali/ordinali ordinali/continue

Le variabili sono associate?

Che tipo di variabili?

Correlazione di Pearson

Correlazione di Spearman

Quante variabili associate?

Chi quadrato su tavole di

contingenza Analisi log-lineare

ordinali/continue ordinali

più di due due

Non si può

applicare

correlazione

a variabili

nominali

Qualche «scorciatoia»

Componente aggiuntivo

Excel è dotato di un componente aggiuntivo per

l’analisi dei dati che ci permette di velocizzare il

lavoro

Cliccare su

simbolo di Office in alto a sinistra

Opzioni Excel

Componenti aggiuntivi

Strumenti di analisi

Esercizio 1

Utilizzando

Excel..

Calcolare le statistiche descrittive dei

punteggi in entrata e in uscita

Riportare i valori non interi a due sole

cifre decimali

Eliminare le celle contenenti: Errore

standard, Varianza campionaria,

curtosi, asimmetria e somma

Ancora il coefficiente di correlazione

Excel lo calcola con la funzione CORRELAZIONE

Come si interpreta:

>0,8 elevata

<0,8 sufficiente

<0,6 evidente ma non solida

<0,4 bassa

<0,2 nulla/debole

Per stabilire se è statisticamente significativa

bisogna consultare delle tavole di valori critici

Come si consultano le tavole

Studente Prova XYZ Criterio Pearson

1 22 24 0,957

2 23 26

3 26 26

4 18 20

5 15 18

6 19 19

7 27 28

1. Si calcolano i gradi di libertà

(Numero di studenti – 1)

2. Si sceglie il livello di

significatività (95%)

3. Si consulta la tavola (una coda)

4. Se il numero che si trova (.6215)

è inferiore alla correlazione

trovata (.957)…

5. …ciò vuol dire che 95 volte

su 100 la correlazione

trovata nei nostri 7 soggetti

si trova anche nella

popolazione di riferimento

ed statisticamente

significativa

Esercizio 2

Utilizzando

Excel..

Calcolare la correlazione di Pearson tra

la prova «ABC» e la prova criterio per

stabilirne la validità concorrente

Stabilire se la correlazione è

significativa o meno consultando la

tavola riportata nel foglio Excel

Uno dei diversi t-test possibili

T-test su campioni accoppiati

Due tipi di confronti

Gruppi INDIPENDENTI (composti da persone

diverse)

Gruppo sperimentale e gruppo di confronto

T-test su campioni indipendenti

Gruppi APPAIATI (composti dalle stesse persone)

Un solo gruppo sottoposto a test ripetuti

T-test su campioni accoppiati

Situazione di pre-test / post-test

Piccoli gruppi: min 5 - max 60 studenti

Prove parallele: pari punteggio minimo e massimo,

stessi obiettivi cognitivi per coppie di quesiti

Oppure la stessa prova (test-retest)

Otteniamo due medie diverse: come facciamo a

stabilire che queste medie siano significativamente

differenti? (ossia che la differenza non sia dovuta al caso?)

Significatività di differenza tra medie

Sperimentiamo…

www.socialresearchmethods.net

Le curve sono sempre

rappresentazioni

ideali e

approssimate di

distribuzioni reali,

che possono essere

raffigurate con

grafici a barre.

Il grafico ci mostra la differenza

tra due medie.

È abbastanza marcata.

Sarà significativa o no?

Quello che fa la differenza

www.socialresearchmethods.net

Il t test o t di Student confronta la differenza

tra le medie in relazione alla variabilità dei

punteggi in ognuna delle due distribuzioni

Le medie nei tre casi sono

equidistanti. Ma mentre la

alta variabilità interna del

secondo caso rende questa

differenza quasi nulla, la

bassa variabilità interna del

terzo caso rende la

differenza molto

significativa.

Le ipotesi

Hp1: le attività di storytelling porteranno ad un

incremento statisticamente significativo del

punteggio nella prova di comprensione della lettura

a scelta multipla

Hp0: le attività di storytelling NON porteranno a

nessun incremento statisticamente significativo nella

prova di comprensione della lettura

Assunto: il punteggi in entrata devono essere correlati

ai punteggi in uscita

(per essere certi che stiamo misurando la stessa cosa)

Esercizio 3

Utilizzando

Excel..

Calcolare la media della differenza tra

pt in Uscita e pt in Entrata

T-test due campioni accoppiati per

media

Diminuire i decimali

Interpretare la correlazione di Pearson

Interpretare il t-test

Come si riportano i risultati del t-test

“È stato effettuato un t-test su campioni appaiati

per stabilire se le attività di storytelling abbiano

contribuito all’incremento delle capacità di

comprensione.

La differenza media tra pre-test e post-test (M =

152, DS = 132,91) è significativamente maggiore

di zero con t(52) = 8.33, p (due code) <0,01.”

In alternativa si possono riportare i valori delle due

medie e delle due deviazioni standard

Quando il valore di p non è troppo piccolo (come nel nostro

caso) è sempre meglio riportarlo: ad es. p=0,021

CAVEAT

Bisognerebbe riportare anche l’intervallo di

confidenza della differenza media

di quanto potrebbe oscillare la mia differenza al

ripetere l’esperimento in condizioni simili?

Effetto della sovraesposizione della prova

siamo certi di aver isolato la variabile indipendente?

Quali correttivi potremmo introdurre per migliorare la

robustezza dell’esperimento?

RIEPILOGO E CONSIGLI PER L’ESAME

Che cosa bisogna studiare?

1. Origini e sviluppi della ricerca valutativa

2. Laboratorio Valutazione

Basi di dati in Excel scaricabili dalla bacheca

elettronica

3. Schemi delle lezioni per individuare alcuni dei

punti più importanti

Non basta studiare gli schemi delle lezioni

Ma non bisogna studiare senza il supporto degli schemi

4. Materiali di approfondimento su

http://lps.uniroma3.it

Come devo studiare?

Origini e sviluppi della ricerca:

Svolgere gli esercizi proposti in ciascun capitolo

Attenzione alle definizioni di termini specialistici

Attenzione alle informazioni fattuali più rilevanti

(quando si è svolta una determinata indagine

docimologica, su quali soggetti, con quali scopi, con

quali approcci..)

Attenzione agli aspetti tecnici (quali tipi di

scale/variabili/strumenti esistono? Per quali scopi sono

più adatti? ..)

Ipotizzare delle conclusioni relative a quanto letto

Come devo studiare?

Laboratorio di valutazione

Studiare le introduzioni ai capitoli di B. Vertecchi

Dagli schemi delle lezioni: le parti più importanti delle

sezioni “Problemi e procedure”

Leggere NON basta per le sezioni “Problemi e

procedure”: bisogna usare Excel MENTRE si studia =>

utilizzare i file in Excel scaricabili dalla bacheca

elettronica

Ma la parte più importante è cercare di interpretare i

risultati

Per ogni tecnica, indice, misura, test…

Trovare e annotare:

Una definizione (che cos’è e come si calcola? Esistono

più modi per calcolarlo/definirlo?)

A che cosa serve (si usa: con quale scopo? Con quali

tipi di dati/variabili?)

(almeno) Un esempio di come si interpreta (ho ottenuto

questo risultato: che vuol dire? È un risultato positivo o

negativo?)