i n le prove invalsi - comprensivoggalilei.edu.it · le prove invalsi uno strumento per il...
Post on 18-Jul-2020
2 Views
Preview:
TRANSCRIPT
Processi di miglioramento I risultati dell'istituto 0
I
N
V
A
L
S
I
S
N
V
Le prove INVALSI
Uno strumento per il coordinamento dei
processi di miglioramento dell’istituto
IC Scorzé – 23 marzo 2017
Prof. SANTE VELO
Incontri di formazione
Processi di miglioramento I risultati dell'istituto 1
I
N
V
A
L
S
I
S
N
V
Osservazioni in “ordine sparso” emergenti dalle discussioni in Collegio, Consiglio di
classe, Dipartimento ... [ 1 di 4 ]
La realtà e la complessità
dell’apprendimento (lettura,
comprensione del testo, matematica,
…) non può essere valutata con test a
crocette …
Le prove non sono valide
(statisticamente) e comunque, se i
docenti vogliono, possono far risultare
esiti “guidati” …
Processi di miglioramento I risultati dell'istituto 2
I
N
V
A
L
S
I
S
N
V
Osservazioni in “ordine sparso” emergenti dalle discussioni in Collegio, Consiglio di
classe, Dipartimento ... [ 2 di 4 ]
Le prove di aritmetica e/o
geometria (di comprensione del
testo) hanno domande che non
sono attinenti ai contenuti dei
programmi che io svolgo
solitamente nella mia classe, in
quella determinata annualità
Processi di miglioramento I risultati dell'istituto 3
I
N
V
A
L
S
I
S
N
V
Osservazioni in “ordine sparso” emergenti dalle discussioni in Collegio, Consiglio di
classe, Dipartimento ... [ 3 di 4 ]
Mancavano gli alunni
peggiori/migliori …
Processi di miglioramento I risultati dell'istituto 4
I
N
V
A
L
S
I
S
N
V
Osservazioni in “ordine sparso” emergenti dalle discussioni in Collegio, Consiglio di
classe, Dipartimento ... [ 4 di 4 ]
Processi di miglioramento I risultati dell'istituto 5
I
N
V
A
L
S
I
S
N
V
Indice dell’incontro
Laboratorio: lettura di tabelle e grafici
Finalità delle prove INVALSI
Pillole di … valutazione e statistica
Le decisioni all’interno dell’Istituto
I dati restituiti: le tabelle
I dati restituiti: i grafici
I dati restituiti: informazioni e domande-guida
Processi di miglioramento I risultati dell'istituto 6
I
N
V
A
L
S
I
S
N
V
Finalità delle prove INVALSI
Fornire alle singole scuole uno strumento di diagnosi
per migliorare il proprio lavoro e individuare le aree di
eccellenza e quelle problematiche nelle discipline
oggetto della rilevazione
I dati appartengono esclusivamente alla singola scuola alla
quale sono restituiti nel modo più disaggregato possibile, cioè
secondo la distribuzione delle risposte domanda per
domanda
La restituzione dei risultati della misurazione degli
apprendimenti avviene sia in forma grezza, sia dopo averli
opportunamente depurati dai dati di contesto
La pubblicazione di ulteriori analisi viene effettuata
dall’INVALSI solo ed esclusivamente su dati aggregati per
garantire l’anonimato degli allievi e delle singole scuole
Processi di miglioramento I risultati dell'istituto 7
I
N
V
A
L
S
I
S
N
V
Valutazione: mappa concettuale semantica
Processo
Valutazione
CONOSCENZA
è
produce
Decisioneconsente
Certificazione
Validazione
Modifica
suEvento
Fenomeno
“Oggetto”
Prodotto
Processo
Progetto
può essere
Strumenti
Misura
si serve di
producono
Confronto
Pillole di … valutazione e statistica [ 1 di 11 ]
Processi di miglioramento I risultati dell'istituto 8
I
N
V
A
L
S
I
S
N
V
Pillole di … valutazione e statistica [ 2 di 11 ]
Valutare: alcuni concetti “chiave”
La valutazione richiede un confronto, utilizzando parametri di
riferimento e modelli interpretativi
Alcuni tipi di valutazione in educazione
Criteriale (parametri soggettivi)
Normativo (parametri oggettivi)
Autocomparativo (due o più prestazioni del medesimo soggetto)
Processi di miglioramento I risultati dell'istituto 9
I
N
V
A
L
S
I
S
N
V
A proposito di … valutazione e statistica [ 3 di 11 ]
Valutazione criteriale
Definizione
Il criterio è dato dal docente in base ad una stima personale su: stile, n.
errori lievi-gravi, base percentuale ...
Vantaggi
Personalizzazione, facilità nella scelta, stima della qualità di
un’esecuzione ...
Svantaggi
Pericolo arbitrarietà, difficoltà di comunicazione/condivisione
dei criteri, valutazioni diverse se correttori diversi, effetto
alone …
Processi di miglioramento I risultati dell'istituto 10
I
N
V
A
L
S
I
S
N
V
A proposito di … valutazione e statistica [ 4 di 11 ]
Valutazione su norma
Definizione
La valutazione deriva dallo scostamento dalla media dei punteggi
ottenuti da parte di un campione significativo di soggetti nell’esecuzione
di una determinata prova ...
Vantaggi
Parametri precisi e confrontabili, oggettività dei risultati ...
Svantaggi
Difficoltà di costruzione, difficoltà di personalizzazione,
difficoltà di generalizzazione …
Processi di miglioramento I risultati dell'istituto 11
I
N
V
A
L
S
I
S
N
V
A proposito di … valutazione e statistica [ 5 di 11 ]
Valutazione auto-comparativa
Definizione
La valutazione di almeno due prove similari, eseguite in tempi diversi
dallo stesso soggetto (valutazione di processo, di trend, di
miglioramento; valutazione “formativa”, valutazione dinamica ...)
Vantaggi
Tiene conto della base di partenza, dell’evoluzione del
processo di apprendimento ...
Svantaggi
Per evitare l’arbitrarietà interpretativa, devono essere ben
definiti (o concordati, dichiarati, stimati su base di fattibilità) i
criteri di miglioramento; pericolo di sovrastima/sottostima
della differenza …
Processi di miglioramento I risultati dell'istituto 12
I
N
V
A
L
S
I
S
N
V
A proposito di … valutazione e statistica [ 6 di 11 ]
L’indice ESCS
L’indice ESCS (Economic, Social and Cultural Status) definisce
sinteticamente lo status socio-economico e culturale delle famiglie degli
studenti.
È elaborato sulla base delle informazioni ricavate dal Questionario
compilato dagli studenti stessi e dai dati comunicati dai genitori alla
segreteria (es. la condizione professionale dei genitori, il loro livello di
istruzione, le dotazioni e gli strumenti culturali in possesso della famiglia,
come il numero di libri a disposizione in casa, la possibilità di avere un
luogo tranquillo in cui studiare, un computer da utilizzare per lo studio ...).
La classificazione in quattro gruppi, “basso”, “medio-basso”, “medio-alto”,
alto”, è stata definita a partire dall’intera popolazione scolastica italiana.
(da Glossario INVALSI)
L’indice ESCS consente di paragonare esiti di alunni (classi, istituti ...)
provenienti da stato socio-economico simile.
Processi di miglioramento I risultati dell'istituto 13
I
N
V
A
L
S
I
S
N
V
A proposito di … valutazione e statistica [ 7 di 11 ]
L'intervallo di confidenza
L'intervallo di confidenza può essere definito come il range di valori entro
cui è contenuto, con una probabilità solitamente indicata del 95%, il
valore reale di un dato statistico (es. media dei punteggi). In sostanza si
riferisce ad un intervallo delimitato da due limiti L inf [limite inferiore] ed L
sup [limite superiore] che abbia una definita probabilità (1-α) [ad es. (1-
0.05) = 0.95] di contenere il vero parametro della popolazione. (da
Glossario INVALSI)
L'intervallo di confidenza serve per:
- stimare la probabilità di errore statistico di un dato;
- valutare la significatività dello scostamento di un dato da quello della
media del campione.
Come si osserva nelle prove INVALSI: si vedano i grafici successivi.
Processi di miglioramento I risultati dell'istituto 14
I
N
V
A
L
S
I
S
N
V
A proposito di … valutazione e statistica [ 8 di 11 ]
La significatività statistica
La significatività è la probabilità che il valore osservato di un indicatore
sia o meno dovuto al caso.
Si dice che un certo indice è statisticamente significativo quando la
probabilità di ottenere casualmente un valore come quello rilevato è
inferiore a una soglia stabilita (ad es. 5%, 1%, 0,1%).
La significatività di un indice si calcola con formule che tengono conto
contemporaneamente dell'entità del valore osservato e della numerosità
del campione su cui è stato rilevato. (da Glossario INVALSI)
Come si osserva nelle prove INVALSI: nei grafici, valutando lo
scostamento del dato medio di una classe (di un istituto) rispetto al dato
medio del campione e considerando il range dell’intervallo di confidenza
(stima intervallare); nelle tabelle, verificando la direzione delle “frecce”
relative a ciascun parametro medio (es. media Istituto, media Nord-est,
media Italia).
Processi di miglioramento I risultati dell'istituto 15
I
N
V
A
L
S
I
S
N
V
A proposito di … valutazione e statistica [ 9 di 11 ]
Correlazione voti-risultati Invalsi
La correlazione è la relazione che esiste tra due variabili, ad esempio, tra
età di un insegnante e numero di anni di servizio. Quando due variabili
sono positivamente correlate fra loro in modo lineare, al crescere dell’una
crescono i valori dell'altra, mentre il contrario avviene se le due variabili
sono correlate negativamente. E’ espressa da un coefficiente di
correlazione (r), che oscilla da 0 a +1 in caso di relazione positiva e da 0 a
-1 in caso di correlazione negativa (da Glossario INVALSI)
Correlazione in INVALSI: vengono paragonati i voti quadrimestrali di
italiano e matematica con i risultati Invalsi relativi alle due discipline.
La correlazione consente di avere un parametro oggettivo rispetto alle
valutazioni date dai docenti di classi diverse di un istituto; consente di
verificare l’equità dell’offerta formativa di ciascun istituto.
Accortezze: vengono paragonati dati provenienti da valutazioni ottenute
con criteri diversi.
Processi di miglioramento I risultati dell'istituto 16
I
N
V
A
L
S
I
S
N
V
A proposito di … valutazione e statistica [ 10 di 11 ]
Variabilità
La variabilità è la tendenza di un fenomeno ad assumere modalità diverse
fra loro. Gli indici di variabilità (deviazione standard) permettono di
valutare la diseguaglianza dei dati in relazione al loro scostamento o
dispersione da una media.
Variabilità in INVALSI: viene calcolata la variabilità delle prestazioni delle
classi entro l’Istituto e del contesto socio-economico tra le classi.
Processi di miglioramento I risultati dell'istituto 17
I
N
V
A
L
S
I
S
N
V
A proposito di … valutazione e statistica [ 11 di 11 ]
Cheating
Il cheating (letteralmente: barare, imbrogliare) è un fenomeno rilevato
attraverso un controllo di tipo statistico sui dati e si riferisce a quei
comportamenti “impropri” tenuti nel corso della somministrazione delle prove
INVALSI.
È stato, infatti, osservato come in alcuni casi, e secondo modi e forme
differenti, gli studenti forniscano risposte corrette, non in virtù delle loro
conoscenze, ma perché copiate da altri studenti o da libri e altre fonti (student
cheating) o, persino, suggerite più o meno esplicitamente dai docenti (teacher
cheating).
Elevata percentuale di risposte corrette
Bassa variabilità della percentuale di risposte corrette all’interno della classe
Bassa variabilità nelle modalità di risposta a ciascun item
Basso tasso di mancate risposte
Fanno pensare ad un comportamento anomalo
Processi di miglioramento I risultati dell'istituto 18
I
N
V
A
L
S
I
S
N
V
Le decisioni all’interno dell’Istituto [ 1 di 2]
Un modello interpretativo di autovalutazione [RAV]
Processi di miglioramento I risultati dell'istituto 19
I
N
V
A
L
S
I
S
N
V
Le decisioni all’interno dell’Istituto [ 2 di 2 ]
Soggetti e ruoli [INVALSI]
Processi di miglioramento I risultati dell'istituto 20
I
N
V
A
L
S
I
S
N
V
SNV - Indice dei dati [tabelle e grafici]
Punteggi Generali
Dettagli della prova di italiano
Dettagli della prova di matematica
Distribuzione degli studenti per livelli di apprendimento
Correlazioni
Incidenza della variabilità
Andamento ultimi tre anni
Dettaglio risposte per Item - Italiano (valori percentuali)
Dettaglio risposte per Item - Matematica (valori percentuali)
Micro-dati
Effetto scuola
Processi di miglioramento I risultati dell'istituto 21
I
N
V
A
L
S
I
S
N
V
[Punteggi generali] Tavola 1 – Italiano e Matematica 1 # 2
Gli strumenti
Processi di miglioramento I risultati dell'istituto 22
I
N
V
A
L
S
I
S
N
V
[Punteggi generali] Tavola 1 – Italiano e Matematica 2 # 2
Le domande guida
a. Come risulta il dato d'Istituto e delle singole classi rispetto alle medie regionali,
di macroarea e nazionali?
b. Le medie delle diverse classi sono omogenee o variano in modo consistente?
c. Si rileva presenza di comportamenti non corretti (cheating)?
d. In quali classi i dati sono stati compromessi da comportamenti “non corretti”
(cheating)?
e. Come risulta il dato d'Istituto e delle singole classi rispetto a classi con il
medesimo indice ESCS?
f. Ci sono differenze fra le classi nei risultati di Italiano e Matematica?
g. Ci sono classi che presentano maggiori criticità in Italiano?
h. Ci sono classi che presentano maggiori criticità in Matematica?
i. Quali tendenze si possono individuare rispetto all'anno/agli anni precedenti?
Processi di miglioramento I risultati dell'istituto 23
I
N
V
A
L
S
I
S
N
V
Grafico 1 - Risultato complessivo della prova di ITALIANO – Scorzè 2016 [Seconde]
Processi di miglioramento I risultati dell'istituto 24
I
N
V
A
L
S
I
S
N
V
Grafico 1 - Risultato complessivo della prova di MATEMATICA – Scorzè 2016 [Seconde]
Processi di miglioramento I risultati dell'istituto 25
I
N
V
A
L
S
I
S
N
V
Grafico 1 - Risultato complessivo della prova di ITALIANO – Scorzè 2016 [Quinte]
Il QUA D R A T O R OSSO (se
presente) rappresenta il punteggio
medio delle 200 classi/scuole con
background (ESCS) simile
Processi di miglioramento I risultati dell'istituto 26
I
N
V
A
L
S
I
S
N
V
Grafico 1 - Risultato complessivo della prova di MATEMATICA – Scorzè 2016 [Quinte]
Il QUA D R A T O R OSSO (se
presente) rappresenta il punteggio
medio delle 200 classi/scuole con
background (ESCS) simile
Processi di miglioramento I risultati dell'istituto 27
I
N
V
A
L
S
I
S
N
V
Tecnico Professionale
[Dettagli Italiano] Grafico 3d – Cittadinanza 1 # 2
Gli strumenti
Processi di miglioramento I risultati dell'istituto 28
I
N
V
A
L
S
I
S
N
V
Tecnico Professionale
[Dettagli Matematica] Grafico 3d – Cittadinanza 1 # 2
Gli strumenti
Processi di miglioramento I risultati dell'istituto 29
I
N
V
A
L
S
I
S
N
V
[Distribuzione studenti per livelli di apprendimento ] Costruzione dei livelli
125% punti 85 punti 57
110% punti 74,8 punti 50,2
Media
95% punti 64,6 punti 43,3 nazionale
75% punti 51 punti 34,2
ITALIANO MATEMATICA
L i v
e l
l i
5
4
1
2
3
Media nazionale ITALIANO = punti 68,0
Media nazionale MATEMATICA = punti 45,6
Processi di miglioramento I risultati dell'istituto 30
I
N
V
A
L
S
I
S
N
V
[Distribuzione studenti livelli apprendimento ] Tavola Italiano-Matematica 1 # 3
Gli strumenti
Processi di miglioramento I risultati dell'istituto 31
I
N
V
A
L
S
I
S
N
V
[Distribuzione studenti livelli apprendimento ] Numerosità Italiano-Matematica 2 # 3
Gli strumenti
Processi di miglioramento I risultati dell'istituto 32
I
N
V
A
L
S
I
S
N
V
Le domande guida
a. Quanto differisce la distribuzione degli studenti nei 5 livelli rispetto alla
distribuzione del campione regionale/ di macroarea/ nazionale?
b. In quali livelli, nell'istituto, si concentra il maggior numero di studenti in termini
percentuali in italiano e in matematica?
c. Si rilevano differenze evidenti tra le diverse classi nella distribuzione degli
alunni nei livelli di apprendimento?
d. Quanti sono gli studenti collocati in livelli di apprendimento diversi in italiano /
matematica, e quanti invece sono quelli nel medesimo livello di apprendimento
per entrambe le materie? In altri termini, quale corrispondenza c'è tra le
prestazioni in italiano e quelle in matematica?
[Distribuzione studenti livelli apprendimento ] Italiano-Matematica 3 # 3
Processi di miglioramento I risultati dell'istituto 33
I
N
V
A
L
S
I
S
N
V
[Correlazioni ] Correlazione risultati prove INVALSI Matematica e voto di scuola 1 # 3
I
D
Gli strumenti
Processi di miglioramento I risultati dell'istituto 34
I
N
V
A
L
S
I
S
N
V
[Correlazioni ] Correlazione risultati prove INVALSI Matematica e voto di scuola 2 # 3
I
D
Gli strumenti
Processi di miglioramento I risultati dell'istituto 35
I
N
V
A
L
S
I
S
N
V
[Correlazioni ] Correlazione risultati prove INVALSI Matematica e voto di scuola 3 # 3
I
D
Le domande guida
a. Che corrispondenza c'è tra le valutazioni dei docenti e il punteggio ottenuto
nelle prove?
b. La correlazione risulta prevalentemente bassa/alta?
c. Si rilevano differenze tra le classi?
d. Classi considerate deboli dai loro professori ottengono buoni risultati nelle
prove Invalsi o viceversa?
Processi di miglioramento I risultati dell'istituto 36
I
N
V
A
L
S
I
S
N
V
Incidenza della variabilità TRA le classi rispetto alla variabilità totale, nel punteggio delle prove di
Italiano e Matematica e nell'indice di background familiare (ESCS) 1 # 2
Gli strumenti
Italiano
Matematica
Processi di miglioramento I risultati dell'istituto 37
I
N
V
A
L
S
I
S
N
V
Incidenza della variabilità TRA le classi rispetto alla variabilità totale, nel punteggio delle prove di
Italiano e Matematica e nell'indice di background familiare (ESCS) 2 # 2
Le domande guida
a. La variabilità tra le classi è più/meno elevata di quella nazionale?
b. Quanto sono omogenee tra loro le classi dell'Istituto per quanto riguarda le
prestazioni e la situazione socio-economica?
c. Qual è la tendenza rispetto agli anni precedenti?
d. I processi messi in atto per la formazione delle classi sono stati efficaci?
Processi di miglioramento I risultati dell'istituto 38
I
N
V
A
L
S
I
S
N
V
Grafico 4b Effetto scuola [valore aggiunto]
top related