Progettare il miglioramento: Progettare il miglioramento: dalla scelta delle priorità dalla scelta delle priorità

alla realizzazione delle azionialla realizzazione delle azioni

Università degli Studi di Genova – Scuola di Scienze Sociali

Dipartimento di Scienze della Formazione

alla realizzazione delle azionialla realizzazione delle azioni

Mauro Palumbo e Valeria PandolfiniDipartimento di Scienze della Formazione (Di.Sfor.)Università di Genova

Convegno internazionale “Migliorare le scuola” - Napoli 14-15 maggio 2015

Il contestoIl contesto

• Sistema Nazionale di Valutazione (SNVSNV); Direttiva 11/2014;La Buona Scuola”;

• Sistemi di valutazionevalutazione ee accountabilityaccountability e miglioramento delservizio scolastico e della qualità dell’istruzione (Faggioli, 2014;FGA, 2014; Allulli, Farinelli, Petrolino, 2013; Castoldi, 2014; Palumbo,

2

FGA, 2014; Allulli, Farinelli, Petrolino, 2013; Castoldi, 2014; Palumbo,2013; Paletta, 2011; Scheerens, Mosca, Bolletta, 2011; Palumbo ePandolfini, in press a, b);

• Le due facce della valutazione: accountabilityaccountability ee learninglearning.

AccountabilityAccountability

� dovere che un soggetto responsabile diun’organizzazione (o di una politica, di un progetto) ha di“render conto” a particolari interlocutori esterni dellescelte fatte, delle attività e dei risultati di cui è autore oresponsabile

3

responsabile

� il rapporto di accountability contropartita di un rapporto didelega di responsabilità (dall’alto o dal basso)

� è la prima funzione della valutazione ad esseresottolineata

� rischia lo sconfinamento nella concezione di “controllo”

AccountabilityAccountability

4

� ha anche funzione di garanzia per il valutato

� tipica dell’approccio obiettivi-risultati, non sempre ècompatibile con la funzione di learning

L’ambiguità L’ambiguità dell’dell’accountabilityaccountability

� Verso l’alto: risorgente neocentralismo? Mortificazionedelle autonomie? Es. SNV della scuola, ANVUR …

Verso il basso: partecipazione e responsabilizzazione� Verso il basso: partecipazione e responsabilizzazionedei cittadini o creazione di mercato nel pubblico? Iservizi come imprese, gli utenti come clienti e il NewPublic Management

5

LearningLearning

� Connessa al principio del miglioramento continuo

� Non imparano solo gli attuatori o i decisori

6

� Anche le teorie (scientifiche o di senso comune) sottostantialla programmazione possono essere cambiate grazie allavalutazione (vedi Evidence based politics di Pawson)

Le possibili “Le possibili “logichelogiche” di SNV” di SNV

� a) Quasi-mercato: competizione fra scuole e scelta dellefamiglie => prospettiva NPM

� b) Forte controllo centrale attraverso la valutazione (e ilDS?) => prospettiva neocentralisticaDS?) => prospettiva neocentralistica

� c) Partecipazione consapevole dei diversi attori a migliorarela scuola (secondo i diversi punti di vista) => prospettivapartecipativa

7

EfficaciaEfficacia e e efficienzaefficienza

EfficaciaEfficacia� grado di conseguimento degli obiettivi previsti o dei risultati attesi

(efficacia interna (o gestionale ) – autovalutazione?� grado di assolvimento dei bisogni che costituiscono la ragion

d’essere dell’intervento o del servizio valutato (efficacia esterna (osociale) valutazione esterna?

8

EfficienzaEfficienza• grado di ottimizzazione dell’uso delle risorse e quindi la possibilità

di risparmiare risorse lasciando stabili gli obiettivi, ovvero diconseguire risultati migliori con le stesse risorse

• NON «ottenere i migliori risultati con le minori risorse possibili»

Rinvio a obiettivi e bisogni …Rinvio a obiettivi e bisogni …

� “gli obiettivi sono multipli (poiché vogliamo svariate cose enon una sola)

� contraddittori (perché vogliamo cose differenti)

� e vaghi (perché è così che riusciamo a trovare un accordosull'opportunità di procedere senza che sia necessarioanche un accordo su che cosa fare esattamente)”(Majone e Wildavsky, 1978)

9

Obiettivi e valoriObiettivi e valori

� La pluralità degli obiettivi si sovrappone alla pluralità dei valori

� I loro nessi non sono sempre chiari, per i diversi attoriimplicati

� I valori possono chiarire gli obiettivi ma anche complicarli

� Tutto ciò che il valutatore non chiarirà potrà costituireproblema nelle fasi successive

10

I valori permettono (ad es.) diI valori permettono (ad es.) di

� Gerarchizzare obiettivi– In termini logici– In termini di importanza

� Gerarchizzare indicatori

� Esplicitare obiettivi

� Argomentare e legittimare i giudizi valutativi

11

Rinvio al dibattito del 14/5/15Rinvio al dibattito del 14/5/15

� Risultati� Processi� Contesto

� Valutazione Realista: M + C = O� (meccanismo più contesto = Outcome)

12

Obiettivi dell’indagineObiettivi dell’indagine

• Fornire contributi teorici e metodologici volti ad approfondire ilrapportorapporto frafra autonomiaautonomia scolastica,scolastica, valutazionevalutazione ee miglioramentomiglioramento e sucome questi elementi possano interagire in maniera virtuosa permigliorare la perfomance di ciascuna scuola, sia nel campo degliesiti dell’apprendimento, sia nell’ambito educativo più ampio.

13

• Fornire strumentistrumenti didi supportosupporto ai Consulenti e alle scuole nellacomplessa e delicata fase in cui le scuole stesse sono chiamate apredisporre e realizzare i Piani di Miglioramento (PdM) alla luce delRapporto di Autovalutazione (R.A.V.) e del Rapporto di Valutazioneesterna (R.V.), declinando obiettivi e azioni da realizzare perraggiungerli, nonché modalità di valutazione in itinere e finale.

Predisporre strumenti e metodologie di analisiPredisporre strumenti e metodologie di analisi

• Ricognizione e analisi critica della letteraturaletteratura scientificascientifica

• indagare le modalità con le quali le scuole utilizzano i datidell’autovalutazione, della valutazione esterna e i relativi indicatori e indiciper progettare i PianiPiani didi MiglioramentoMiglioramento;;

• predisporre un percorso di ricercaricerca--azione,azione, coinvolgendo i Consulenti e lescuole in una ricercaricerca partecipatapartecipata, volta a far emergere “dal basso” ledimensioni ritenute prioritarie da ciascun Istituto per migliorare il proprio

14

dimensioni ritenute prioritarie da ciascun Istituto per migliorare il proprioservizio;

• definire e condividere metodi e strumenti per supportare le scuolenell’analisi e nell’impiego efficace dei dati emersi dall’autovalutazione edalla valutazione esterna per progettareprogettare ee realizzarerealizzare lele attivitàattività didimiglioramentomiglioramento;

• considerare attentamente e valorizzare le specificità di ciascuna scuola inrelazione a esiti,esiti, processiprocessi ee contestocontesto didi riferimentoriferimento.

Le scuole coinvolteLe scuole coinvolteRegione Denominazione scuola Città Tipo istituto

PON IPSIA SANTARELLA BARIOdontotecnico - abbigliamento e moda -meccanico - elettrotecnico

PON I.C. BOCCONE SILVIO PALERMO Istituto Comprensivo

PON L.CLAS.UMBERTO I-NAPOLI- NAPOLI Liceo classico

PON IC LAMEZIA T S. EUFEMIA LAMEZIA LAMEZIA TERME Istituto Comprensivo

15

PON IC LAMEZIA T S. EUFEMIA LAMEZIA LAMEZIA TERME Istituto Comprensivo

NORD I.C. - TORINO-C.SO REGIO PARCO TORINO Istituto Comprensivo

NORD GIOSUE' CARDUCCI PISA Istituto magistrale

Le fasi della ricerca (I)Le fasi della ricerca (I)� Strutturazione di strumentistrumenti da proporre alle scuole selezionate volti

a supportarle nel passaggio dalla valutazione (auto ed etero) almiglioramento:

• identificazione delle specifiche problematiche dell’Istituto;• conseguente declinazione di obiettivi di miglioramento;• identificazione delle modalità con cui realizzare il miglioramento desiderato,attraverso la definizione di specifiche attività da realizzare;• misurazione del livello di conseguimento degli obiettivi di miglioramento

16

• misurazione del livello di conseguimento degli obiettivi di miglioramentointermedi e finali attraverso la costruzione di indicatori valutativi (autovalutazionedelle azioni di miglioramento da parte della scuola).

� Prime visitevisite nellenelle scuolescuole (novembre-dicembre 2014):

• condivisione di finalità, metodi, strumenti e risultati attesi della ricerca con ilConsulente e il Team per il Miglioramento (TpM);• osservazione “sul campo” dei processi con cui le scuole predispongono i Pianidi Miglioramento;• compilazione assistita degli strumenti di indagine.

Le fasi della ricerca (II)Le fasi della ricerca (II)� Seconde visitevisite nellenelle scuolescuole (aprile-maggio 2015 ):

• focus group con i Team per il Miglioramento;• intervista al Consulente;• approfondimenti qualitativi su: a) valutazione complessiva progetto Vales; b)valutazione degli strumenti di ricerca proposti da UniGe.

� Somministrazione di un questionarioquestionario onlineonline rivolto ai TeamTeam perper ililMiglioramentoMiglioramento di tutte le scuole coinvolte in Vales (maggio-giugno

17

MiglioramentoMiglioramento di tutte le scuole coinvolte in Vales (maggio-giugno2015):

• cogliere il percorso compiuto da ciascuna scuola, a partire dalla progettazionedel miglioramento (definizione degli obiettivi) fino alla valutazione (auto-valutazione) della sua realizzazione;• focus specifico sul processo;• valutazione complessiva del progetto Vales.

� Domande online a tutti gli insegnantiinsegnanti Vales:

• rilevare concordanze/discordanze fra risposte TpM e insegnanti.

Gli strumenti forniti alle scuoleGli strumenti forniti alle scuole• Modello del QuadroQuadro LogicoLogico (Logical Framework)

albero dei problemialbero degli obiettivistrategia di interventoazioni di miglioramento (nessi causali)costruzione di indicatori (di processo e di risultato)rendere misurabili gli esiti degli interventi

18

• Favorire una riflessioneriflessione condivisacondivisa su obiettivi e priorità della scuola

• Sollecitare una lettura in chiave di learninglearning

• Favorire una riflessione che assuma una concezioneconcezione generativagenerativa didicausalitàcausalità, ovvero ragionare in termini di concause che, a loro volta,influenzano solo parzialmente gli effetti che ci si prefigge diottenere come risultato

Prime evidenze emersePrime evidenze emerse� Significative difficoltà nella definizionedefinizione deglidegli obiettiviobiettivi dimiglioramento e di attività concretamente realizzabili

� FormulazioneFormulazione PianoPiano didi MiglioramentoMiglioramento: parafrasi della valutazione?

� Fase del rispecchiamentorispecchiamento R.A.V. e R.V.

� “Ulteriori elementi significativi integrati dalla scuola stessa”: nella

19

� “Ulteriori elementi significativi integrati dalla scuola stessa”: nelladefinizionedefinizione deglidegli interventiinterventi migliorativimigliorativi prende corpo e vigorel’autonomiaautonomia della scuola, apparentemente compressa nelle due fasidell’autovalutazione e della valutazione esterna

� Strumenti di monitoraggiomonitoraggio ee valutazionevalutazione

� Figura chiave del DSDS

� Cosa accadrà dopo?

Il progetto Il progetto ValesVales: punti di forza: punti di forza

• Opportunità di riflessioneriflessione condivisacondivisa sulla nostra realtà scolastica:“chi siamo? Dove siamo? Dove vogliamo andare?”“Vales ci ha costretto a riflettere e a confrontarci”“Vales ci ha fatto mettere in discussione”

• ValutazioneValutazione esternaesterna:: ulteriore opportunità per riflettere su noi stessi“abbiamo bisogno di qualcuno che ci guardi dall’esterno, che

20

“abbiamo bisogno di qualcuno che ci guardi dall’esterno, checi faccia sapere qualcosa su di noi ‘guardandoci da fuori’”

• Occasione per creare un maggior collegamentocollegamento fra i diversi ordini discuola (Istituti Comprensivi e curricolo verticale per es.)

• “è stato un ottimo stimolo, punto di partenza”, “ha dato il ‘la’ aprocessi di cambiamento che non sappiamo se porteranno o meno almiglioramento”

Il progetto Il progetto ValesVales: criticità: criticità• Mancanza di coinvolgimento/motivazionecoinvolgimento/motivazione degli insegnanti non facenti partedel TpM, “resistenza al cambiamento”, “c’è tanta indifferenza intorno a noi”;

• tempitempi troppo limitati e ritardi nel ricevere i fondi “abbiamo dovuto fare tutto intempi record, così impensabile!”;

• eccesso di documentidocumenti burocraticiburocratici da compilare (ricompilare il R.A.V.; bandiper selezionare i formatori);

21

• definizione di indicatori – mancanza di un linguaggiolinguaggio condivisocondiviso “la maggiorparte erano per noi vocaboli nuovissimi”;

• insegnanti non adeguatamente preparati, necessità di formazioneformazione;

• “è tutto basato sulla nostra buona volontà, nulla è remunerato nériconosciuto”;

• “siamo schiacciati da troppe cose...noi facciamo gli insegnanti!” – individuaree formareformare adad hochoc unauna risorsarisorsa internainterna allaalla scuolascuola

Osservazioni conclusive (I) Osservazioni conclusive (I)

� Dalla valutazione non emergono ricette, ma al più criticitàa) perché il valutatore non è (necessariamente) un progettistab) perché se anche lo fosse non è detto che conosca per intero finalità, vincoli e disponibilità all’azione del decisore

Dunque rinvio all’autonomia reale delle scuole e alla loro competenza

22

Dunque rinvio all’autonomia reale delle scuole e alla loro competenza valutativa e migliorativa:

- Che si costruisce sul campo- Non è data una volta per tutte- Richiede dialogo e riflessione continua- … e la costante connessione tra teoria e pratica, tra ricerca e azione

Partecipazione consapevole dei diversi attori a migliorare la scuolaPartecipazione consapevole dei diversi attori a migliorare la scuola

� “Comprendere per migliorare” (Palumbo, 2014a; 2014b), “valutare permigliorare” (Palumbo e Pandolfini, in press a), School Improvement

� Valutare per migliorare/innovare o valutare per premiare?Presunta automaticità del nesso virtuoso tra valutazione e miglioramento

Valutazione partecipata

Osservazioni conclusive (Osservazioni conclusive (IIII) )

23

� Valutazione partecipataConcezione della valutazione in termini negoziali (Ajello, 2012)

International School Inspection Project (Ehren et al., 2013)Gli attuatori sono “i migliori aiutanti del valutatore” (Pawson e Tilley, 1997)

� Valutazione multidimensionale“Valutare per l’apprendimento” (Graue e Johnson, 2011)Oltre un accountability basata sui test

� Approccio evidence based (Hattie, 2013)

“What works?”

Riferimenti bibliografici (Riferimenti bibliografici (II))Ajello A.M. (2012). La valutazione tra controllo e accountability: una sperimentazionea Trento. Scuola Democratica, N. 6 nuova serie, pp. 117-127.Allulli G., Farinelli F., Petrolino A. (2013). L’autovalutazione di istituto. Modelli estrumenti operativi. Milano: Guerini.Castoldi M. (2014). Capire le prove INVALSI. Una guida intelligente. Roma: Carocci.Ehren M.C.M., Altrichter G., Mcnamara G., O’hara J. (2013). Impact of SchoolsInspections on Improvement of Schools. Describing Assumptions on CasualMechanisms in six European Countries, Educational Assessment, Evaluation andAccountability, 25 (1/2013), pp. 3-43.

24

Faggioli M. (a cura di). Migliorare la Scuola. Autovalutazione, valutazione emiglioramento per lo sviluppo della qualità. Bergamo: Junior-Spaggiari.Fondazione Giovanni Agnelli (2014). La valutazione della scuola. A cosa serve eperché è necessaria all’Italia. Roma-Bari: Laterza.Graue E. e Johnson E. (2011). Reclaiming Assessment Through Accountability ThatIs “Just Right”. Teachers College Record, 113(8):1827-1862.Majone G., Wildavsky A. (1978). Implementation as evolution, Policy Studies ReviewAnnual 1978, Sage, Beverly Hills, pp. 103-117.Hattie J. (2013). Visible Learning: A Synthesis of over 800 Meta-analyses Relating toAchievement. London: Routledge.

Riferimenti bibliografici (Riferimenti bibliografici (IIII))Paletta A. (2011). Scuole responsabili dei risultati. Accountability e bilancio sociale. IlMulino, Bologna.Palumbo M. (2013), “Istruzione e formazione come ‘motore’ principale dello sviluppodel Paese. Quale identità e quali priorità?”, in A&D Autonomia e Dirigenza, XXI, 7-8-9, pp. 4-9.Palumbo M, Pandolfini V. (in press a). Valutare per migliorare tra retorica e ricerca.Rassegna Italiana di Valutazione, 59.Palumbo M, Pandolfini V. (in press b). Valutare e migliorare la scuola: il SistemaNazionale di Valutazione, in Landri P. e Maccarini A. (a cura di), Uno specchio per la

25

Nazionale di Valutazione, in Landri P. e Maccarini A. (a cura di), Uno specchio per lavalutazione della scuola: paradossi, controversie, vie di uscita. FrancoAngeli: MilanoPalumbo M. (2014 a). Come utilizzare i dati della valutazione esterna edell’autovalutazione per compiere scelte di miglioramento, in M. Faggioli (a cura di)Migliorare la Scuola. Autovalutazione, valutazione e miglioramento per lo sviluppodella qualità (pp. 93-111). Bergamo: Junior-Spaggiari.Palumbo M. (2014). Valutare per migliorare: il contributo della valutazione alla scuola.In Faggioli M., a cura di, Migliorare la Scuola. Autovalutazione, valutazione emiglioramento per lo sviluppo della qualità (pp. 155-171). Bergamo: Junior-Spaggiari.Pawson R. e Tilley N. (1997). Realistic evaluation. London: Sage.Scheerens J., Mosca S., Bolletta R. (a cura di) (2011). Valutare per gestire la scuola,Governance, leadership e qualità educativa. Milano: Mondadori.

Università degli Studi di Genova – Scuola di Scienze Sociali

Dipartimento di Scienze della Formazione

26

Mauro Palumbo e Valeria PandolfiniDipartimento di Scienze della Formazione (Di.Sfor.)Università di Genova

Convegno internazionale “Migliorare le scuola” - Napoli 14-15 maggio 2015