le rilevazioni nazionali degli apprendimenti · i quadri di riferimento ! il qdr è un documento...

+

Le rilevazioni nazionali degli apprendimenti

Incontro formativo – “Invalsi: misurare le competenze” a.s. 2015/2016

4° Circolo Didattico – Acerra Prof.ssa Rosa Cassese

+A chi servono le rilevazioni?

La lettura dei dati forniti dall’INVALSI può essere fatta da tre punti di osservazione complementari, ma distinti: n Il punto di vista di coloro che hanno la responsabilità del

“governo” del sistema educativo (decisori politici, amministratori e autorità scolastiche ai vari livelli)

n Il punto di vista dei dirigenti scolastici e degli organismi d’indirizzo della scuola

n Il punto di vista degli insegnanti nella loro attività in classe

+Perché prove censuarie?

Restituiti a tutte le scuole, gli esiti delle prove forniscono un termine di confronto, un benchmark con: n  l’intero Paese, n  la propria regione, n  la propria macroarea, n  le scuole di tutti gli indirizzi e le scuole dello stesso indirizzo n  le scuole e le classi con una platea di studenti con background

socio-economico-culturale simile

+Lo scopo delle misurazioni

Le prove INVALSI n hanno lo scopo di fornire alle singole scuole uno strumento di

diagnosi per migliorare il proprio lavoro e individuare le aree di eccellenza e di criticità negli ambiti delle discipline oggetto della rilevazione

n Misurano i livelli di apprendimento raggiunti dagli studenti italiani relativamente ad alcuni aspetti di base di due ambiti fondamentali: la comprensione della lettura e la matematica.

+Struttura

n La composizione di una prova standardizzata rivolta all’accertamento su scala nazionale dei livelli di apprendimento NON risponde agli stessi criteri che guidano la costruzione delle verifiche di classe.

n  gli ambiti oggetto di misurazione delle prove INVALSI non esauriscono i saperi e le competenze prodotte dalla scuola. n Una prova standardizzata nazionale deve essere in grado di misurare i risultati degli studenti all’interno di una scala di abilità/competenza molto lunga, dai livelli più bassi a quelli di eccellenza.

+… inoltre …

L’INVALSI ha dichiarato la propria indisponibilità a creare graduatorie di scuole (leaguetables) che rischierebbero di enfatizzare la portata delle prove, sovraccaricandole di significati e distorcendone somministrazione e risultati

+Le prove “per” l’autovalutazione

n  Le prove rappresentano uno stimolo all’avvio dei processi di autovalutazione previsti nel Regolamento sul Sistema Nazionale di Valutazione

n  A tal fine vi è stato un potenziamento dei dati restituiti ed una nuova tempistica

n  I dati restituiti sono utili per analizzare e riflettere, in chiave autovalutativa, sui risultati conseguiti dagli studenti e possono essere finalizzati all’identificazione dei punti di forza e di criticità e all’individuazione di possibili interventi di miglioramento e potenziamento dell’offerta formativa e delle pratiche didattiche

n  L’autovalutazione deve, però, considerare: n  altre dimensioni degli esiti formativi ed educativi degli alunni n  il contesto ove la scuola opera n  focalizzarsi sui processi dalla stessa posti in essere, se vuole individuare come

migliorarli

+Le prove “per” l’autovalutazione

La Restituzione longitudinale (diacronica) prospettiva e retrospettiva

n Per alcuni gradi scolastici, si inizierà a fornire informazioni che tengano conto non solo del background familiare e del contesto socio-economico, ma anche dei risultati pregressi dei propri studenti (misure di valore aggiunto), in modo da consentire, non solo una comparazione col resto del sistema, ma anche una comparazione con il proprio passato, essendo ancorate alle rilevazioni svolte in passato.

n Ciò consentirà anche di precisare in termini assoluti, e non esclusivamente in termini di comparazione con la media nazionale complessiva, il significato della presenza di studenti con livelli bassi o alti di competenza.

+Le rilevazioni degli apprendimenti: la ratio

La rilevazione e la misurazione degli apprendimenti, nonché la pubblicizzazione dei dati sugli apprendimenti è dovuta: n  alla grande espansione dei sistemi d’istruzione nel secondo dopoguerra,

con conseguente esplosione della spesa pubblica

n  alla crisi dell’istruzione e alla messa in discussione dell’esistenza di una relazione semplice e diretta fra risorse investite nell’istruzione (input) e risultati ottenuti (output) e conseguentemente delle politiche scolastiche basate sul semplice aumento della spesa

n  al passaggio da modelli burocratici di governo della scuola a modelli “post‐burocratici”, in un quadro di decentralizzazione dei poteri e delle competenze (Autonomia) che impone di monitorare i risultati al fine di rendicontare (accountability) ai «portatori di interesse» (amministratori, utenti, società in generale).

+La rendicontazione

In un sistema di autonomia è dovere istituzionale delle scuole:

n  “render conto”, in modo trasparente, a tutti gli stakeholders del proprio operato ed, in particolare, degli apprendimenti degli alunni

n  informare i genitori su quali siano le scuole “migliori” per facilitare la scelta della scuola da parte delle famiglie (open enrolment), appoggiandola su una base obiettiva e razionale

n  spingere le scuole, sotto la pressione della concorrenza, a migliorarsi, migliorando i risultati dei propri studenti

+Un sistema di accountability e il suo nodo principale

Perché si possa parlare, però, dell’esistenza di un sistema di Accountability è necessaria la compresenza di due elementi (Hanushek, 2002): n  la pubblicità dei risultati di apprendimento delle singole scuole;

n  l’imputazione della responsabilità dei risultati degli alunni alle scuole; Per fare ciò occorre: n  separare l'effetto della scuola da tutte le altre influenze, pregresse e attuali, che

agiscono sui livelli di apprendimento degli alunni e stabilire il “ valore aggiunto ” dell’istruzione impartita da ciascun istituto scolastico.

n  Nella restituzione dei risultati INVALSI il valore aggiunto è rappresentato dal confronto dei risultati con le 200 scuole (o classi) che hanno un ESCS simile.

n  Da qui l’importanza del questionario studenti e del questionario scuola

+I quadri di riferimento

n  Il QdR è un documento “dinamico” che nasce: n  dall’analisi sia dei contenuti dell’insegnamento primario e

secondario (Indicazioni, Linee guida, …) n  dai quadri di riferimento PIRLS, TIMSS e PISA n  dalle prassi didattiche.

n  Il QdR costituisce il documento fondamentale per gli autori delle prove, per gli esperti che preparano i fascicoli, per i docenti che sono chiamati a interpretare i risultati dei loro allievi e per i cosiddetti stakeholder che utilizzano i risultati delle rilevazioni standardizzate nazionali per valutare i livelli di apprendimento.

+Quadri di Riferimento: il contesto

Le prove Invalsi, infatti, sono costruite sulla base dei QdR. Essi, quindi, delimitano il campo dell’oggetto della rilevazione, definendo e circoscrivendo il loro valore informativo e chiarendone la portata e i limiti. In particolare, i QdR: n  definiscono, quali oggetti di rilevazione:

n  gli ambiti n  i processi cognitivi n  i compiti.

n  esplicitano i punti di riferimento concettuali e i criteri operativi utilizzati nella costruzione della prova per i vari livelli scolari coinvolti nelle rilevazioni n  II e V Primaria n  III Secondaria di I grado n  II Secondaria di II grado

+Quadri di Riferimento: lo scopo

I QdR n forniscono il punto di riferimento nella costruzione delle

prove per gli esperti che hanno questo compito

n chiariscono agli interessati (scuole, insegnanti, studenti, genitori, cittadini): n  i contenuti e gli aspetti che la prova intende verificare n  i tipi di quesiti utilizzati

n cercano di rendere trasparente l’impostazione della prova per favorire la successiva analisi e l’interpretazione dei risultati da parte delle scuole e dei docenti

+Cosa testano le prove?

Le prove sono costruite con riferimento ai traguardi fissati dalle Indicazioni Nazionali per i gradi scolastici oggetto di rilevazione n  enfatizzano le competenze più che le mere conoscenze scolastiche, misurando la

comprensione del testo e le competenze matematiche in quanto fondamenta trasversali delle diverse discipline, e non l’insegnamento di italiano e matematica tout cour

n  forniscono stimoli cognitivi, cui lo studente è sollecitato a rispondere mobilitando le proprie conoscenze e non quiz nozionistici a cui predisporsi tramite esercizi di tipo mnemonico o tramite l’addestramento al test (teaching to test)

n  non possono e non vogliono essere il metro di giudizio sul singolo alunno

n  anche nel caso della prova nazionale, parte dell’esame di Stato, il suo peso è solo parziale (al massimo un sesto del totale), con voti per ciascuno studente ristretti nell’intervallo tra 4 e 10.

+La comprensione del testo: la prova di italiano La prova INVALSI di italiano è una prova di comprensione del testo, cui si aggiunge una parte di riflessione sulla lingua.

n  La sua finalità è misurare se, e in quale misura, gli allievi padroneggiano gli strumenti linguistici che consentono la comprensione di un testo

n  Le prove sono circoscritte alla valutazione: n  7 aspetti della competenza di lettura intesa come comprensione,

interpretazione, riflessione su e valutazione del testo scritto (letterario e non letterario)

n  6 ambiti delle conoscenze e competenze grammaticali

n  L’apprendimento della competenza di lettura e delle competenze grammaticali è previsto nelle indicazioni curricolari dei vari gradi di scuola.

+La padronanza linguistica

La padronanza linguistica è il possesso strutturato della lingua congiunto alla capacità di servirsene per i vari scopi comunicativi. Può essere articolata in “interdipendenti”: n  conoscenze n  abilità n  competenze

+La competenza di lettura

Leggere e capire ciò che si legge è una competenza complessa n  che evolve nel tempo n  che si articola in diverse sotto‐competenze Alcune sotto-competenze: n  si esercitano su parti o elementi del testo, n  si esercitano sul testo nel suo insieme, n  implicano un’interazione tra comprensione locale e globale.

+I 7 aspetti della comprensione del testo

1.  Comprendere il significato, letterale e figurato, di parole ed espressioni e riconoscere le relazioni tra parole.

2.  Individuare informazioni date esplicitamente nel testo. 3.  Fare un’inferenza diretta, ricavando un’informazione implicita da una o più informazioni date

nel testo e/o tratte dall’enciclopedia personale del lettore. 4.  Cogliere le relazioni di coesione e di coerenza testuale (organizzazione logica entro e oltre la

frase). 5.  Ricostruire il significato

a.  di una parte più o meno estesa del testo, integrando più informazioni e concetti, anche formulando inferenze complesse.

b.  globale del testo, integrando più informazioni e concetti, anche formulando inferenze complesse.

6.  Sviluppare un’interpretazione del testo, a partire dal suo contenuto o dalla sua forma, andando al di là di una comprensione letterale.

7.  Riflettere sul testo e valutarne il contenuto e/o la forma alla luce delle conoscenze ed esperienze personali.

+I 6 ambiti grammaticali

1.  Ortografia

2.  Morfologia

3.  Formazione delle parole

4.  Lessico e semantica

5.  Sintassi

6.  Testualità

+Ambiti grammaticali

+La prova di matematica

….”Uno degli obiettivi fondamentali per gli allievi, esplicitato nelle Indicazioni di legge di tutti i livelli scolastici, è l'acquisizione della capacità di utilizzare la matematica per leggere e rappresentare la realtà, nonché l'acquisizione degli strumenti matematici necessari per effettuare questa matematizzazione e ricavarne dei risultati da interpretare nel contesto di partenza.

n  Questa operazione di matematizzazione viene abitualmente schematizzata in tre fasi: 1.  il passaggio dalla situazione di problema reale al modello matematico, 2.  il lavoro sul modello matematico, 3.  l’interpretazione dei risultati rispetto alla situazione di partenza.

n  Queste tre fasi, presenti negli obiettivi delle Indicazioni di legge, vengono indicate nel Framework dell'indagine OCSE-PISA, con i termini “Formulare” (Formulate), “Utilizzare” (Employ) e “Interpretare” (Interpret)

+Cosa testano le prove?

+La costruzione di una prova standardizzata: il pre-test

n La costruzione di una prova standardizzata è il frutto di un lungo e articolato processo tecnico-scientifico.

n Per costruire una prova standardizzata sono necessari circa 15-18 mesi, tempo richiesto per la realizzazione di tutto il processo.

Gli autori esperti n  individuano gli stimoli su cui costruire la prova n Producono le domande n svolgono un’analisi qualitativa ex ante n Selezionano e classificano le domande n elaborano il pre-test

+La costruzione di una prova standardizzata: la prova nazionale

Poi: n svolgono un’analisi quantitativa ex post: analisi statistica n svolgono un’analisi qualitativa ex post: analisi didattica n composizione dei fascicoli definitivi n Elaborano la prova nazionale n Costruiscono la guida per l’attribuzione dei punteggi e

calcolo del voto finale

+ Individuazione degli stimoli su cui costruire la prova (proposte degli autori esperti) Per costruire una prova per ogni livello scolastico interessato dal Servizio nazionale di valutazione (SNV) è necessario selezionare stimoli adeguati (principalmente per quanto riguarda la prova di italiano) e un numero di domande molto elevato. n  Di norma, per la costruzione di una prova serve un numero di quesiti tre o

quattro volte superiore a quello che effettivamente compare nella prova stessa somministrata agli allievi.

n  A questo scopo collaborano esperti del mondo della scuola e dell’università per garantire: n  la possibilità di reperire una grande varietà di stimoli e di quesiti (sia nella modalità di

formulazione che nei contenuti) n  allo stesso mondo della scuola la conoscenza approfondita dei programmi, delle prassi,

dei processi cognitivi e delle difficoltà degli studenti

+La prova INVALSI – Analisi qualitativa ex ante

n  Raccolta e classificazione di stimoli e domande n  Il gruppo di esperti effettua una prima valutazione qualitativa in funzione

della rispondenza delle domande al QdR, al livello scolastico per il quale devono essere proposte le prove e alla composizione del fascicolo che dovrà essere inviato al pre‐test.

n  Il gruppo di esperti è composto sia da ricercatori dell’INVALSI che da esperti nazionali (docenti e disciplinaristi) ed internazionali nell’ambito della costruzione di prove oggettive e delle analisi statistico‐psicometriche.

n  Questa prima fase permette di escludere stimoli e domande non coerenti con le finalità del SNV e di effettuare un primo adattamento (modifica di alcune opzioni di risposta nel caso di MC, trasformazione di item chiusi in item aperti e viceversa, modifica dello stem, ecc.) di quelle ritenute idonee per essere inviate al pre‐test.

+La prova INVALSI: il Pre‐test n  Costruzione di almeno due fascicoli da pre testare

n  Somministrazione dei fascicoli agli allievi con caratteristiche analoghe a quelle di coloro che dovranno svolgere le prove SNV

n  Il pre‐test viene realizzato durante l’anno scolastico precedente a quello dello studio principale.

n  Si cerca di rappresentare adeguatamente tutte le principali tipologie di scuole e di studenti.

n  Per garantire il rispetto di un protocollo di somministrazione uniforme in tutte le scuole, le prove sono svolte dagli studenti alla presenza di un somministratore dell’INVALSI e corrette direttamente dall’INVALSI.

+La prova INVALSI: il Pre‐test

n  Costruzione del dataset per l’analisi dei dati

n  Le analisi vengono realizzate attraverso l’applicazione di modelli statistico-psicometrici ascrivibili alla teoria classica dei test (TCT) e alla teoria della risposta (Item Response Theory)

n  La capacità misuratoria di ogni domanda viene analizzata mediante modelli statistici in grado di stabilire la coerenza di ciascuna opzione di risposta rispetto al costrutto oggetto di valutazione, rispetto al livello di abilità/competenza del rispondente e rispetto alla difficoltà specifica della domanda stessa.

n  I richiamati modelli statistici permettono, inoltre, di valutare il cosiddetto potere discriminante di ciascuna domanda, ovvero la capacità di ogni quesito di distinguere adeguatamente gli allievi in termini di abilità/competenza in funzione della risposta fornita (Falocci et al., 2010).

+La prova INVALSI: Analisi qualitativa ex post

n  Solo quei quesiti che mostrano adeguati requisiti di chiarezza, affidabilità e validità possono entrare a far parte dei cosiddetti fascicoli definitivi.

n  Sulla base delle analisi statistiche il gruppo di esperti procede alla seconda analisi qualitativa delle domande.

n  Composizione dei fascicoli che saranno somministrati durante la rilevazione principale

n  Il gruppo di esperti compone i fascicoli definitivi tenuto conto di alcuni ulteriori elementi

n  i fascicoli devono essere composti in funzione dei tempi di compilazione, stimati sulla base dei risultati del pre‐test, e il livello complessivo di difficoltà, dati i vincoli di composizione definiti dai quadri di riferimento per la valutazione

+Come vengono restituiti i dati?

n  I dati, aggregati, sono restituiti alle scuole sotto forma di tabelle e di grafici.

n  Tabelle e grafici si completano e concorrono a descrivere i risultati conseguiti dalla scuola e dalle singole classi.

n  Le tabelle offrono una rappresentazione sistematica dei dati e facilitano la lettura della singola informazione

n  I grafici rappresentano in modo sintetico i dati, mettendoli a confronto in modo diretto e consentendo una percezione globale e immediata degli esiti conseguiti dalla scuola e dalle classi

+A chi vengono restituiti i dati?

n  al Dirigente e al Referente per la Valutazione che visualizzano tutte le tavole e i grafici disponibili

n  al Presidente del Consiglio di Istituto che può visualizzare i dati della scuola con le informazioni sul cheating, i dati sul cheating delle singole classi e sullo stato socio-economico del contesto familiare

n  Ai Docenti delle singole classi che possono avere a disposizione i risultati conseguiti dalle singole classi

n  a tutti i Docenti che, come componenti del Collegio dei Docenti, possono accedere ai dati della scuola nel suo complesso

+Cosa ci dicono i dati?

I dati riguardano tre aspetti: n  l’andamento complessivo dei livelli di apprendimento degli studenti della scuola

rispetto alla media dell’Italia, dell’area geografica e della regione di appartenenza;

n  l’andamento delle singoli classi nelle prove di italiano e di matematica nel loro complesso;

n  l’andamento della singola classe e del singolo studente analizzato nel dettaglio di ogni singola prova.

n  La lettura e l’interpretazione di tavole e grafici possono essere: n  Uno strumento di diagnosi per migliorare l’offerta formativa all’interno della scuola, n  un mezzo per individuare aree di eccellenza e di criticità al fine di potenziare e

migliorare l’azione didattica.

+Sette diverse tipologie di restituzione

Le tavole rappresentano sette diverse tipologie di restituzione dei dati: n  alcune tavole riportano gli esiti generali di ciascuna delle due prove,

n  alcune tavole riportano i risultati conseguiti nelle singole parti delle stesse.

In tutte le tavole:

n  le classi sono identificate dal codice Invalsi che è stato loro attribuito quando hanno sostenuto la prova

n  la scuola è identificata dal suo codice meccanografico.

+Sette diverse tipologie di restituzione

+Punteggi generali

n  Le prime due tavole restituiscono i risultati generali conseguiti dagli alunni nella prova di italiano e nella prova di matematica, riferiti agli alunni che non hanno bisogni educativi speciali

n  Dalla percentuale sono esclusi gli studenti disabili per i quali la prova non è obbligatoria

n  Nella prima colonna è riportata la percentuale di risposte corrette delle singole classi e della scuola nel suo complesso.

+Il cheating

Cheating significa barare, imbrogliare n  è un fenomeno che si rileva attraverso un controllo di tipo statistico sui dati e si

riferisce ai comportamenti “impropri” tenuti nel corso della somministrazione delle prove, ovvero quando gli studenti forniscono risposte corrette, non in virtù delle loro conoscenze, ma perché: n  copiano da altri studenti o da libri e altre fonti (student cheating) n  ricevono suggerimenti più o meno esplicitamente dai docenti (teacher cheating).

n  Per fornire dati il più possibile reali, quindi, la percentuale di risposte corrette è riportata al netto del cheating, ed è ottenuta sottraendo dalla percentuale di risposte corrette rilevata (punteggio grezzo) la percentuale di risposte corrette attribuite al cheating

n  Il valore del cheating è indicato nell’ultima colonna della tavola.

n  In tutte le tavole i dati percentuali sono sempre riportati al netto del cheating.

+Sul cheating

L’INVALSI sta accentuando il contrasto al cheating differenziando l’ordinamento di domande e risposte all’interno della stessa classe: dal 2013 i fascicoli sono predisposti in 5 versioni differenti (ordine quesiti e ordine risposte)

L’INVALSI non restituisce i risultati:

n  Delle classi in cui più del 50% degli studenti non ha compilato il fascicolo delle prove, ad es. perché assenti.

n  Delle classi con un elevato indice di propensione al cheating, ovvero per quelle classi in cui più del 50% del punteggio osservato è da attribuire a comportamenti anomali.

n  La scuola non riceverà l’esito complessivo della rilevazione se più del 50% delle classi si trova nelle situazioni descritte, ma riceverà solo i risultati delle classi con comportamenti corretti.

+Criteri per la rilevazione del cheating

Il controllo di tipo statistico sui dati avviene sulla base dei seguenti criteri:

n Elevata percentuale risposte corrette

n Bassa variabilità della percentuale di risposte corrette all’interno dell’unità minima di aggregazione

n Bassa variabilità nelle modalità di risposta a ciascun item

n Basso tasso di mancate risposte

MA ….. c’è il rischio di falsi positivi

+Il contrasto al cheating in Cina

+ L’indice ESCS (Economic, Social and Cultural Status)

n  L’ESCS definisce sinteticamente lo status socio-economico e culturale delle famiglie degli studenti, classificandoli in quattro gruppi (basso, medio-basso, medio-alto, alto) definiti a partire dall’intera popolazione scolastica italiana.

n  E’ elaborato sulla base delle informazioni ricavate dal Questionario studente e riporta:

n  la condizione professionale dei genitori, n  il loro livello di istruzione, n  le dotazioni e gli strumenti culturali in possesso della famiglia: n  il numero di libri a disposizione in casa, n  la possibilità di avere un luogo tranquillo in cui studiare, n  un computer da utilizzare per lo studio con il relativo software, ecc...

n  Viene riportato nella seconda colonna della tavola è riportata la differenza tra il punteggio della classe (o della scuola) e il punteggio ottenuto dalla classe (o dalla scuola) del campione statistico, le cui condizioni socio-economico-culturali sono simili

+n Nella terza colonna la tavola riporta l’indice dello stato socio-

economico-culturale degli studenti (ESCS) di ciascuna classe e della scuola nel suo complesso, considerato in rapporto all’indice nazionale.

n La “differenza nei risultati rispetto a classi/scuole con

background familiare simile” è calcolata rispetto al risultato medio delle 200 classi/scuole con background socio-economico più simile a quello della classe/scuola considerata.

n L’indice ESCS che si riferisce alle singole classi risulta non disponibile (n.d.) per gli studenti della II primaria e della III secondaria di primo grado in quanto in queste classi non è prevista la somministrazione del questionario studente.

+Il confronto dei dati

n  I punteggi ottenuti nelle prove sono infine messi a confronto con la percentuale di risposte corrette del campione statistico: n  della regione di appartenenza,

n  del campione della macroarea geografica di riferimento

n  del campione nazionale.

n  Le macro aree di riferimento per il confronto sono 5: n  il Nord Ovest comprende Piemonte, Lombardia, Liguria e Valle d’Aosta;

n  il Nord Est comprende Veneto, Friuli Venezia Giulia, Trentino, Alto Adige ed Emilia Romagna;

n  il Centro comprende Toscana, Lazio, Marche, Umbria;

n  il Sud comprende Abruzzo, Molise, Campania e Puglia;

n  il Sud Isole comprende Calabria, Basilicata, Sicilia e Sardegna.

+Il confronto dei dati

n Attraverso la posizione delle frecce è possibile ottenere un’immediata indicazione del risultato di tale confronto n se la freccia è in posizione orizzontale, la percentuale di

risposte corrette della classe (o della scuola) non si discosta in modo statisticamente significativo dalla percentuale di risposte corrette delle classi appartenenti al campione statistico,

n  se la freccia è disposta verso l’alto o verso il basso, i punteggi ottenuti dalla classe o dalla scuola di interesse si discostano in modo statisticamente significativo, rispettivamente in positivo o in negativo, dal dato medio del campione.

+Il campione statistico

n  Il campione statistico su cui si opera il confronto è costituito da circa 1300 classi per la Prova Nazionale e da circa 1700/2000 classi per le altre rilevazioni nazionali individuate con opportune e complesse tecniche statistiche.

n Nelle classi/scuole campione il rispetto del protocollo di somministrazione, durante lo svolgimento delle prove INVALSI, è garantito dalla supervisione di un osservatore esterno.

n  In questo modo le risposte date dagli studenti possono considerarsi realmente attendibili, indicative delle loro effettive conoscenze e quindi esenti dal fattore cheating.

+Il campione statisticamente significativo

n Il campione statistico presenta sempre un certo margine di errore, quindi il risultato medio di una classe o di una scuola è significativamente diverso dal campione solo quando si posiziona al di fuori dell’intervallo di errore del campione.

n Ad esempio, nella tavola 1b, la percentuale di risposte corrette per la regione è di 46,1, mentre per la classe 212099970805 è di 49,8.

n Il fatto che la differenza di 1,7 non sia statisticamente significativa vuol dire che tale differenza è inferiore all’errore del campione della regione.

+Dettagli delle prove

n  Le tavole seguenti restituiscono gli esiti conseguiti in ciascuna delle parti del testo (per l’italiano) o in ciascuno degli ambiti (per la matematica) della prova e consentono, nello stesso tempo, un confronto con il dato medio nazionale.

n  Nelle tavole 2a e 3a sono indicate le percentuali di risposte corrette date dalle singole classi e dalla totalità degli studenti della scuola, insieme a quelle dell’Italia nel suo complesso.

n  Nell’ultima colonna di ciascuna tavola, infine, sono riportati i risultati complessivi della prova, già presenti nelle tavole dei punteggi generali.

+Dettagli delle prove

n Le tavole seguenti restituiscono gli esiti conseguiti in ciascuna delle parti del testo (per l’italiano) o in ciascuno degli ambiti (per la matematica) della prova e consentono, nello stesso tempo, un confronto con il dato medio nazionale.

n Nelle tavole 2a e 3a sono indicate le percentuali di risposte corrette date dalle singole classi e dalla totalità degli studenti della scuola, insieme a quelle dell’Italia nel suo complesso.

n Nell’ultima colonna di ciascuna tavola, infine, sono riportati i risultati complessivi della prova, già presenti nelle tavole dei punteggi generali.

+Processi

n  Nelle tavole 2b e 3b sono forniti i risultati degli studenti rispetto ai diversi processi indagati nelle due prove, processi che sono stati individuati sulla base dei Quadri di Riferimento curati e pubblicati dall’INVALSI.

n  La lettura dei Quadri di Riferimento può consentire di definire e circoscrivere il valore informativo dei risultati rappresentati nelle tavole.

+Processi

n Nelle tavole 2b e 3b sono forniti i risultati degli studenti rispetto ai diversi processi indagati nelle due prove, processi che sono stati individuati sulla base dei Quadri di Riferimento curati e pubblicati dall’INVALSI.

n La lettura dei Quadri di Riferimento può consentire di definire e circoscrivere il valore informativo dei risultati rappresentati nelle tavole.

+Solo nativi

n  Alcune tavole, relative alle parti del testo (o agli ambiti) e ai processi indagati, sono restituite scorporando i risultati degli studenti stranieri;

n  I dati forniti consentono di valutare l’eventuale incidenza sugli apprendimenti della classe della presenza di alunni stranieri.

n  Il dato deve essere analizzato tenendo conto del numero di studenti stranieri presenti.

n  Sono considerati stranieri gli studenti nati all’estero oppure nati in Italia da genitori nati all’estero.

+Solo regolari

n  L’INVALSI restituisce anche le percentuali di risposte corrette date dagli studenti “regolari”

n  Sono considerati studenti “regolari” gli studenti che frequentano una classe corrispondente alla loro età anagrafica, secondo la normativa vigente, e che non hanno mai ripetuto un anno scolastico, né hanno anticipato il loro ingresso nel percorso formativo.

n  La restituzione dei risultati delle classi e della scuola, disaggregati per nazionalità e regolarità di studi, consente alla scuola di acquisire informazioni utili per riflettere sull’efficacia delle scelte operate nella composizione delle classi.

+Distribuzione studenti per livello di apprendimento

Sulla base della media dei risultati nazionali, l’INVALSI ha definito cinque livelli di apprendimento, identificati in base alla media dei livelli di apprendimento nazionale:

n  Livello 1 = studenti con risultati inferiori al 75% della media nazionale n  Livello 2 = tra il 75 e l’95% della media nazionale n  Livello 3 = tra l’95 e il 110% della media nazionale n  Livello 4 = tra il 110 e il 125% della media nazionale n  Livello 5 = oltre il 125% della media nazionale

n  Il Dirigente scolastico e il Referente per la Valutazione possono visualizzare due tavole (italiano e matematica) che consentono di conoscere il numero di studenti di ogni singola classe per ciascun dei livelli di apprendimento definiti.

n  Per favorire il confronto con realtà esterne, sono riportate nelle tavole le distribuzioni percentuali complessive della scuola nei diversi livelli e quelle del campione della regione di appartenenza, della macroarea e dell’Italia.

+Livelli di apprendimento: numerosità

+Livelli di apprendimento: numerosità

n  I dati riportati in questa tavola, visualizzata da tutti i profili previsti dall’INVALSI, sintetizzano i risultati esplorati nelle tavole 4a e 4b e consentono di confrontare direttamente, a livello di scuola, le performance degli studenti nelle due discipline oggetto della rilevazione. n  In questo caso, per semplificare la rappresentazione, i cinque livelli sono stati organizzati in tre raggruppamenti: il primo raggruppamento comprende il numero di studenti di livello 1 e 2, il secondo quelli di livello 3 e il terzo quelli di livello 4 e 5. n  Ogni riquadro della tavola riporta il valore della distribuzione degli studenti in ciascun raggruppamento. Osservando le intersezioni tra righe e colonne è possibile verificare se gli studenti con risultati positivi nella prova di italiano confermano un buon livello di apprendimento anche in quella di matematica e viceversa.

n  Nell’esempio proposto, si può vedere come fra gli studenti risultati a livello alto nella prova di matematica, 14 siano risultati invece a livello basso nella prova di italiano, 21 al livello medio e 44 a livello alto.

+Restituzione dei dati per distribuzione nei cinque livelli: domande n Gli studenti della scuola hanno conseguito risultati

omogenei nelle due prove?

n Quanti sono gli studenti i cui risultati sono molto diversi?

n Ci sono differenze significative fra le due discipline?

n Quali ipotesi si possono fare?

+Correlazione risultati Invalsi e voti scuola

+Correlazione risultati invalsi e voti scuola

n  In questa tavola è indicata la correlazione, per ogni classe, tra la media dei voti assegnati agli studenti nel primo quadrimestre dall’insegnante di italiano (o di matematica) e il punteggio conseguito dalla classe nella prova. Più la correlazione è alta, più la valutazione del docente risulta in linea con il risultato conseguito nelle prove. Il grado di correlazione, se significativo, può essere debole, medio-basso, medio, medio-alto o forte.

n  Se questo dato non è presente, vuol dire che non è stato possibile calcolare la correlazione per due diversi motivi: n  uno dei due voti è mancante

n  uno dei due voti è costante per tutta la classe

n Per la Prova Nazionale, il voto preso in considerazione è il voto globale di ammissione all’esame.

+Correlazione risultati Invalsi e voti scuola: domande n Due punti di vista: nella classe e tra le classi

n Come si leggono? Cosa ci possono dire?

n Come si correlano i voti assegnati dai docenti agli studenti con i loro risultati nelle prove INVALSI?

n Classi considerate deboli dai loro professori ottengono buoni risultati nelle prove INVALSI o viceversa?

n ci sono differenze nei “metri” di valutazione degli insegnanti della scuola?

+Risultati risposte per singolo item

n  La tavola consente un’analisi, dettagliata e approfondita, in ambito didattico-disciplinare, delle risposte date dagli studenti ai singoli quesiti di italiano e di matematica.

n  In essa sono riportate, per ciascun quesito della prova, sia le percentuali di risposte corrette (evidenziate in grigio) sia, limitatamente alle domande a scelta multipla, le percentuali di scelta dei singoli distrattori. I distrattori sono le alternative di risposta errata nelle domande a scelta multipla.

n  Vengono inoltre fornite le percentuali di risposte non date o non raggiunte. n  Le risposte non raggiunte sono le risposte che lo studente non è riuscito a dare perché il

tempo a disposizione per la prova era scaduto n  le risposte non date sono le risposte che lo studente ha omesso, continuando a rispondere

alle successive domande. n  Sulla base dell’analisi di questi dati, i docenti, anche all’interno dei dipartimenti

disciplinari, potranno avviare un lavoro di riflessione sugli errori più comuni commessi dagli studenti.

+Risultati risposte per singolo item

+Incidenza variabilità


n  I grafici consentono una lettura immediata dei dati e offrono una serie di informazioni utili per avviare un percorso di autovalutazione della scuola.

n  Il primo grafico mette a confronto la variabilità dei risultati della prova TRA le classi della scuola, rispetto alla variabilità dei risultati della stessa prova del campione nazionale.

n  Un basso livello di variabilità tra le classi indica un alto tasso di omogeneità e di equilibrio nella loro composizione e quindi una complementare maggiore variabilità al loro interno dove saranno presenti tutti i livelli di rendimento, dalle eccellenze fino alle difficoltà conclamate.


n  Le colonne a destra indicano la variabilità dell’indice del background socio economico e culturale tra classi di un determinato livello scolastico della scuola rispetto alla variabilità tra classi dello stesso livello scolastico del campione nazionale.

n  Questo grafico, nel suo complesso, evidenzia le scelte operate dalla scuola rispetto alla formazione delle classi.

n  Per la seconda classe della scuola primaria e per la III classe della scuola secondaria di I grado, dove non viene somministrato il questionario studente, la seconda coppia di colonne si riferisce alla variabilità dei risultati della prova di italiano (o della prova di matematica) DENTRO le classi della scuola (rettangolo verde), rispetto alla variabilità degli stessi risultati DENTRO le classi del campione nazionale (rettangolo blu).

+Variabilità dentro e tra punteggi/escs

n  I risultati delle classi sono omogenei all’interno della scuola? n Le classi sembrano “ben formate”? n Lo status socio-economico è omogeneo tra le classi? n Quali ipotesi si possono fare in caso di variabilità diversa nei

punteggi conseguiti nelle due prove? n Quali ipotesi si possono fare se ci sono discrepanze fra gli

andamenti della variabilità rispetto ai risultati e rispetto all’ESCS? n Perché ci sono andamenti diversi fra le classi? n Perché la differenza fra MAT e IT? n Fanno riferimento ad indirizzi diversi? A “storie” diverse? n Lo status socio-economico ha un peso sui risultati delle classi n Come mai le medie del gruppo di riferimento (200 classi) sono così

diverse?

+Confronto livelli scolastici

n  In questa rappresentazione, i punteggi delle diverse classi (livelli) presenti nella scuola sono restituiti e analizzati nel confronto con diversi campioni di riferimento.

n Nel caso di questa scuola, si può notare come i suoi risultati siano inferiori alla media nazionale nella I classe, ma risultano superiori rispetto a una scuola simile, e che gli studenti nel tempo migliorano le loro prestazioni visto che la differenza con il campione nazionale diventa positiva nella III classe.

n Questo grafico, dietro consenso del dirigente, può essere pubblicato sul sito Scuole in chiaro del MIUR e quindi è destinato al confronto pubblico tra scuole.


•  Il grafico rappresenta la differenza in percentuale di risposte corrette di ciascun livello, calcolata rispetto alla media italiana.

•  Nell’esempio, la percentuale di risposte corrette date dagli studenti della classe prima è inferiore del 6%, mentre la percentuale di risposte corrette date dagli studenti della classe terza è superiore dell’8% rispetto al campione nazionale.

+ In questo grafico sono state messe a confronto le percentuali di risposte corrette date dagli studenti nativi della scuola con quelle degli studenti nativi del campione nazionale. Come si può vedere, la differenza per la prima classe è del 2% in meno rispetto agli studenti nativi del campione nazionale e dell’11% in più per la terza classe.

+ In questo grafico la differenza in percentuale di risposte corrette è calcolata tra gli studenti di ciascun livello della scuola e gli studenti di ciascun livello di una scuola con indice ESCS simile. Nel caso di questa scuola, si può notare come i suoi risultati siano inferiori alla media nazionale nella I classe, ma risultano superiori rispetto a una scuola simile, e che gli studenti nel tempo migliorano le loro prestazioni visto che la differenza con il campione nazionale diventa positiva nella III classe.

+ In questo grafico il confronto è effettuato tra i punteggi delle classi dei diversi livelli scolastici presenti nella scuola e il campione regionale. Nel caso di questa scuola, si può notare come i suoi risultati siano inferiori alla media nazionale nella I classe, ma risultano superiori rispetto a una scuola simile, e che gli studenti nel tempo migliorano le loro prestazioni visto che la differenza con il campione nazionale diventa positiva nella III classe.

+ n  Questo grafico consente di effettuare un confronto immediato tra i punteggi conseguiti dalle singole classi (e dalla scuola nel suo complesso) e una classe (o una scuola) con pari condizioni socio-economiche (con lo stesso indice ESCS) e con il campione regionale, della macro-area e nazionale.

n  Il quadratino rosso indica il punteggio della classe o della scuola simile, mentre il simbolo nero corrisponde a ciascuna classe o alla scuola.

n  I segmenti neri verticali in corrispondenza dei risultati dei diversi campioni rappresentano l’intervallo di confidenza, ossia l’insieme dei valori all’interno del quale si presume sia situata la media effettiva del campione. Affinché la differenza tra la singola scuola e il campione sia significativa, il punteggio medio della scuola deve essere rappresentato da un punto che cade al di fuori del segmento. Il segmento è tanto più lungo quanto più il campione è poco numeroso. L'intervallo di confidenza può essere definito come il range di valori entro cui è contenuto, con una probabilità solitamente indicata del 95%, il valore reale.

n  Un estratto di questo grafico, relativo ai soli risultati complessivi della scuola confrontati con quelli di una scuola simile, sarà pubblicato sul sito “Scuole in chiaro”, su consenso del Dirigente.

+Punteggio complessivo

+Confronto item per item

Questo grafico consente lo studio dell’andamento degli esiti nei singoli quesiti proposti nelle diverse sezioni delle prove, permettendo di confrontare, per ciascun item della prova, la differenza percentuale di risposte corrette rispetto alla media nazionale.


n  Nell’esempio, le linee orizzontali nere indicano la differenza di punteggio della classe X per le singole parti della prova rispetto all’intero Paese, identificato dalla linea orizzontale rossa, in corrispondenza del punto 0 sull’asse verticale.

n  Notiamo che: n  in ciascuna parte della prova i risultati di questa classe sono superiori a quelli

nazionali

n  a livello di singolo item, in alcuni casi la classe X consegue percentuali di risposte corrette più basse della media nazionale

n  La linea blu tratteggiata rappresenta la differenza, per la prova nel suo complesso, tra la media del punteggio di classe e il punteggio medio nazionale.

n  Il grafico, quindi, permette di comprendere dove occorre rafforzare l’azione didattica perché visualizza con un’unica rappresentazione le domande che hanno presentato maggiori difficoltà per gli studenti.

+Lettura quesito per quesito n  Nell’analisi quesito per quesito è innanzitutto necessario concentrarsi

sulle risposte corrette della classe e sulla modalità di risposta degli allievi. n  E’ importante valutare le risposte degli studenti (quali domande sono

state più facili o difficili, come hanno affrontato i distrattori) in modo contestuale, sia alla luce della programmazione svolta in classe, sia sulla base delle proprie valutazioni in itinere.

n  Alla base di una bassa % di risposte corrette della classe/scuola, vi possono essere diverse motivazioni. n  L’argomento in questione non è stato capito? n  Non è stato trattato in classe? n  I quesiti avevano un livello di difficoltà molto alto? n  Il testo della domanda era di difficile comprensione?

n  Le domande devono “sgranare la classe” e quindi è normale che ad alcune possano rispondere correttamente solo pochi studenti (talvolta nella classe nessuno).

+Confronto per genere, regolarità, cittadinanza


n  Una serie di grafici, restituiti singolarmente in un’unica cartella, offrono dati disaggregati e distinti per genere, regolarità del corso di studio e cittadinanza, sia per la prova di italiano che per la prova di matematica.

n  Anche in questo caso è possibile un confronto con le scuole del campione statistico dell’Italia, della regione e della macroarea.

n  Analizziamo il grafico sul risultato della prova di matematica rispetto al genere; con un simbolo nero sono rappresentati: il punteggio degli studenti maschi della scuola, della regione di appartenenza, della macroarea e infine dell’Italia.

n  Analoga modalità di rappresentazione è stata utilizzata per i punteggi conseguiti dalle studentesse.


n  I segmenti neri verticali in corrispondenza dei risultati dei diversi campioni rappresentano l’intervallo di confidenza ossia l’insieme dei valori all’interno del quale si presume sia situata la media effettiva del campione.

n  L'intervallo di confidenza può essere definito come il range di valori entro cui è contenuto, con una probabilità solitamente indicata del 95%, il valore reale.

n  Affinché la differenza tra la singola scuola e il campione sia significativa, il punteggio medio della scuola dovrà essere rappresentato da un punto che cade al di fuori del segmento.

n  I risultati delle prove, rispetto alla regolarità del percorso di studi e rispetto alla cittadinanza, sono rappresentati in modo analogo.

+Studenti stranieri: domande

n Quanti stranieri S1 e S2 ci sono? Sono un numero significativo?

n La presenza (consistente) di stranieri come ha inciso sui risultati degli studenti italiani?

n Perché le differenze fra matematica e italiano?

+ Confronto fra voto di scuola e punteggi nelle prove

Il grafico mette in relazione il voto medio (del I quadrimestre) di ciascuna classe in italiano e matematica e il punteggio medio che la stessa classe ha ottenuto nelle rispettive prove. Per le classi III della scuola secondaria di I grado, il voto medio è dato dalla media di tutti i voti di ammissione degli studenti di ciascuna classe.

+Confronto fra voto di scuola e punteggio nelle prove

Questo grafico, così come le tavole sulla correlazione, consente di capire se c’è coerenza tra i risultati conseguiti dalle singole classi alle prove INVALSI e l’andamento scolastico di quelle stesse classi.

+I risultati dei singoli studenti

n  Se il Dirigente Scolastico ne fa richiesta, l’INVALSI fornisce alle scuole una cartella con due file excel per ogni classe, ognuno dei quali contiene dati e risultati dei singoli studenti.

n  su richiesta delle scuole è possibile anche ottenere spiegazioni dettagliate sulla lettura e l’utilizzo di questi file

+Approfondire l’interpretazione dei dati: gli strumenti

+Approfondire l’interpretazione dei dati

La lettura e l’interpretazione dei dati restituiti alle scuole possono essere ulteriormente approfondite utilizzando i documenti e gli strumenti curati dall’INVALSI e disponibili sul sito www.invalsi.it Di fondamentale importanza sono: n  i Quadri di Riferimento di italiano e matematica che definiscono e

circoscrivono il valore informativo delle prove, rendendo trasparente l’impostazione delle stesse e favorendo la successiva lettura dei risultati.

n  Il Rapporto Nazionale dove i risultati delle scuole campione sono esaminati sia a livello di sistema sia disaggregati per regione,

n  Il Rapporto tecnico dove sono analizzate le caratteristiche psicometriche delle prove e di ciascun quesito.

n  Le guide alla lettura delle prove e i quaderni SNV che favoriscono una riflessione su aspetti positivi e criticità che emergono dalle risposte date dagli studenti alle singole domande delle prove disciplinari.

+Il processo di diagnosi come momento di riflessione 1.  Restituzione prove Invalsi (strumento diagnostico)

2.  Analisi dei risultati della classe e confronto con i risultati medi di altre classi della stessa scuola e con il campione per la comprensione globale dell’andamento della propria classe

3.  Analisi dettagliata dei singoli quesiti e delle risposte nei fascicoli degli studenti alla luce del programma svolto in classe e delle valutazioni contestualizzate dell’insegnante.

4.  Definizione dei punti di forza e debolezza della classe: n  individuazione delle aree su cui potrebbe essere utile svolgere azioni di

recupero o potenziamento n  Spunti di riflessione sul curricolo realizzato n  Riflessione sui quesiti, anche riprendendo i fascicoli dove possibile

+Riflessioni sui risultati: idee e piste di lavoro

n  Imparare a leggere analiticamente i dati della propria classe e a confrontarli, in gruppi disciplinari, con i dati di altre classi (non per uno sterile fine classificatorio, ma per capire se alcune tendenze sono specifiche della classe e dovute a determinate scelte didattiche, o piuttosto legate a condizioni di partenza e scelte curricolari dell’intera scuola)

n  Mettere in comune le buone pratiche e modificare quelle meno efficaci

n  Analizzare le domande per comprendere bene i processi sottesi (anche aiutandosi con la griglia e la guida alla lettura proposta dall’INVALSI)

n  Analizzare la scelta di determinati distrattori, soprattutto quando questa scelta sia stata fatta da numerosi allievi, per capire come abbiano ragionato.

le rilevazioni nazionali degli apprendimenti · i quadri di riferimento ! il qdr è un documento...

Documents