Corso diCorso diPROGETTAZIONE E VALUTAZIONE NELLE PROGETTAZIONE E VALUTAZIONE NELLE

POLITICHE FORMATIVE E SOCIALIPOLITICHE FORMATIVE E SOCIALI__________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

Introduzione alla Introduzione alla valutazione nei valutazione nei

servizi alla personaservizi alla persona

Le origini della valutazioneLe origini della valutazione Negli Stati Uniti Negli Stati Uniti nella metà degli anni ’60 per nella metà degli anni ’60 per constatare l’efficacia dei programmi socialiconstatare l’efficacia dei programmi sociali

In In Europa Europa per molto tempo non si è dubitato del per molto tempo non si è dubitato del risultato dell’intervento pubblico, parte risultato dell’intervento pubblico, parte integrante del sistema istituzionale. integrante del sistema istituzionale. Negli anni ’80 però la Negli anni ’80 però la crisi dello stato fiscalecrisi dello stato fiscale ha messo al centro dell’attenzione anche in ha messo al centro dell’attenzione anche in Europa il risultato e l’efficacia dei programmiEuropa il risultato e l’efficacia dei programmi

In In Italia Italia Crisi fiscale dello Stato Crisi fiscale dello Stato nec. nec. migliore migliore allocazione risorseallocazione risorse

RisorseRisorse di origine UE dedicate di origine UE dedicate Diffusione del concetto di Diffusione del concetto di centralità centralità dell’utentedell’utente, connesso alla qualità del servizio, connesso alla qualità del servizio

La valutazione è …La valutazione è …

… … un’un’attivitàattività cognitivacognitiva rivolta a fornire un rivolta a fornire un giudiziogiudiziosu di su di un’azione intenzionalmenteun’azione intenzionalmente svolta svoltae destinata a produrre e destinata a produrre effetti esternieffetti esterni,,che si fonda su che si fonda su attività di ricercaattività di ricerca delle scienze delle scienze socialisocialie che segue e che segue procedure rigorose e codificabiliprocedure rigorose e codificabili

(Palumbo)(Palumbo)

… … una una produzione di informazioneproduzione di informazione per dare per dare giudizigiudizisu su attività pubblicheattività pubbliche, con l’intento di, con l’intento di migliorarle migliorarle

(Martini)(Martini)

≠≠ Ricerca sociale di baseRicerca sociale di base Ricerca valutativaRicerca valutativa

Obiettivi Obiettivi ricercaricerca

Scoprire nuove Scoprire nuove conoscenze sotto forma conoscenze sotto forma di generalizzioni di generalizzioni teoriche, teoriche, indipendentemente indipendentemente dalla loro utilità per dalla loro utilità per produrre un produrre un cambiamento socialecambiamento sociale

Produrre conoscenze Produrre conoscenze contestualizzate e contestualizzate e orientate all’azioneorientate all’azione, , connesse con la connesse con la situazione concreta situazione concreta studiata; risolvere un studiata; risolvere un problemaproblema

OggettoOggetto

ricercaricerca

Lo decide il ricercatore Lo decide il ricercatore sulla base delle sue sulla base delle sue ipotesiipotesi

Deriva dal contestoDeriva dal contesto problematico specifico problematico specifico del del programma/interventoprogramma/intervento

Ruolo del Ruolo del giudizio giudizio

EvitatoEvitato Essenziale: Essenziale: la la valutazione è giudiziovalutazione è giudizio

LegittimaLegittima

zionezioneComunità scientifica, Comunità scientifica, criteri accademicicriteri accademici

Il contesto decisionale, Il contesto decisionale, spt i finanziatori, spt i finanziatori, criteri criteri di utilitàdi utilità

GeneralizGeneraliz

zabilitàzabilitàPossibile Possibile Difficile, si riferisce a un Difficile, si riferisce a un

setting specificosetting specifico

Valutare perché …Valutare perché …“Sia che ci occupiamo di programmi o politiche, riguardo gli ammalati o i poveri, le vittime di abusi, gli alcolisti o gli abbandoni scolastici, noi valutatori abbiamo un'opportunità per: aiutare la politica e i programmi della nostra comunità a raggiungere un miglior fine aiutare la società a meglio distribuire le sue risorseaiutare un vasto pubblico a comprendere la natura dei problemi sociali e trovare il modo giusto di affrontarliBen fatta, la valutazione è un nobile impegno”

(Carol Weiss)

Principali finalità:

MIGLIORARE

(learning)

RENDICONTARE

(accountability)Nel settore dei servizi è importante che la valutazione si distingua dalla

verifica e e dal controllo poiché non si limita a individuare errori o a ratificare l’esistente, ma si pone in un’ottica strategica con finalità di

apprendimento e miglioramento. Deve configurarsi come un processo dinamico che “costruisce correggendo” (De Ambrogio)

Quando si valuta?Quando si valuta?

EX EX ANTEANTE

PrimaPrima dell’avvio di un dell’avvio di un programma/interventoprogramma/intervento Per capire se vale la pena intraprenderloPer capire se vale la pena intraprenderlo Ha funzioni organizzative e Ha funzioni organizzative e programmatorieprogrammatorie

IN IN ITINERITINEREE

DuranteDurante un programma/intervento un programma/intervento Per correggere eventuali errori, per Per correggere eventuali errori, per verificare severificare se

la situazione è cambiatala situazione è cambiata Ha funzioni di controllo, decisione, Ha funzioni di controllo, decisione, apprendimentoapprendimento

EX EX POSTPOST

DopoDopo la conclusione di un la conclusione di un programma/intervento programma/intervento Per imparare dall’esperienza e Per imparare dall’esperienza e documentare documentare

quanto fatto a fini conoscitivi, democraticiquanto fatto a fini conoscitivi, democratici Ha funzioni di controllo, decisione, Ha funzioni di controllo, decisione, apprendimentoapprendimento

Cosa si valuta?Cosa si valuta? Tra le Tra le dimensionidimensioni di interesse: di interesse:

EFFICACIA:EFFICACIA: il grado di conseguimento degli obiettivi il grado di conseguimento degli obiettivi

INTERNAINTERNA (o gestionale): crf risultati ottenuti / obiettivi (o gestionale): crf risultati ottenuti / obiettivi inizialiiniziali

ESTERNAESTERNA (o sociale): crf risultati ottenuti / bisogni del (o sociale): crf risultati ottenuti / bisogni del contestocontesto

EFFICIENZA: EFFICIENZA: l’impiego ottimale delle risorse disponibili per il l’impiego ottimale delle risorse disponibili per il raggiungimento degli obiettivi prefissatiraggiungimento degli obiettivi prefissati

Tra gli Tra gli oggetti oggetti di interesse: di interesse:

PolitichePolitiche Programmi di carattere eminentemente pubblico Programmi di carattere eminentemente pubblico Progetti Progetti

Gli attori della valutazioneGli attori della valutazioneSTAKEHOLDER:STAKEHOLDER: chiunque ha un interesse in giocochiunque ha un interesse in gioco

DecisoriDecisoriChi partecipa direttamente al processo Chi partecipa direttamente al processo definitorio e decisionale di un definitorio e decisionale di un programma/intervento (politici, programma/intervento (politici, funzionari pubblici, ecc.)funzionari pubblici, ecc.)

OperatoriOperatori Chi gestisce un programma/interventoChi gestisce un programma/intervento

BeneficiariBeneficiari chi è direttamente o indirettamente chi è direttamente o indirettamente coinvolto nel programma/interventocoinvolto nel programma/intervento

EspertiEsperti chi è depositario di un sapere, di chi è depositario di un sapere, di un’esperienzaun’esperienza

ValutatoreValutatore diventa un ulteriore attore del processodiventa un ulteriore attore del processo

…… …… (Leone Prezza)

GLI APPROCCI ALLA GLI APPROCCI ALLA VALUTAZIONEVALUTAZIONE

POSITIVISTA POSITIVISTA

Elemento di confronto sono gli Elemento di confronto sono gli obiettivi obiettivi del programma, la valutazione consiste del programma, la valutazione consiste nel vedere se e in che modo sono stati nel vedere se e in che modo sono stati raggiunti grazie al programmaraggiunti grazie al programma I risultati corrispondono agli obiettivi?I risultati corrispondono agli obiettivi?

PRAGMATISTA - PRAGMATISTA - DELLA DELLA QUALITA’QUALITA’

Elemento di confronto sono degli Elemento di confronto sono degli standard di qualitàstandard di qualità, la valutazione , la valutazione consiste nel dare un parere su quanto ci consiste nel dare un parere su quanto ci si avvicini a quegli standardsi avvicini a quegli standard I risultati corrispondono al criterio di I risultati corrispondono al criterio di qualità?qualità?

COSTRUTTIVISCOSTRUTTIVISTA TA

Elemento di confronto è ciò che viene Elemento di confronto è ciò che viene considerato un considerato un “successo” dagli “successo” dagli stakeholderstakeholder, la valutazione consiste , la valutazione consiste nello spiegare perché in quella nello spiegare perché in quella situazione quel risultato sia da situazione quel risultato sia da considerare taleconsiderare taleCos’è accaduto? Quello che è accaduto Cos’è accaduto? Quello che è accaduto è buono?è buono?

(Stame)

Il disegno della ricerca Il disegno della ricerca valutativavalutativa

Le cinque-sette tappe (Bezzi)Le cinque-sette tappe (Bezzi)1.1. Definizione del mandatoDefinizione del mandato (chi chiede la valutazione? Perché? (chi chiede la valutazione? Perché?

chi altro è coinvolto? Quali gli obiettivi della valutazione? ecc.)chi altro è coinvolto? Quali gli obiettivi della valutazione? ecc.)

2.2. Analisi obiettivi evaluando e/o formulazione domande Analisi obiettivi evaluando e/o formulazione domande valutativevalutative (cosa analizzare? Quale valutazione?) (cosa analizzare? Quale valutazione?)

3.3. Accertamento delle risorseAccertamento delle risorse

4.4. Ricerca valutativaRicerca valutativa 4.1. Esplorazione spazio semantico (cosa valutiamo 4.1. Esplorazione spazio semantico (cosa valutiamo

esattamente?)esattamente?) 4.2. Stipulazione valori valutativi (da quale punto di vista 4.2. Stipulazione valori valutativi (da quale punto di vista

valuto?)valuto?) 4.3. Raccolta e analisi dei dati4.3. Raccolta e analisi dei dati

5. Sostegno all’utilizzo della valutazione5. Sostegno all’utilizzo della valutazione (a cosa è servita?) (a cosa è servita?)

Prerequisiti per la valutazione Prerequisiti per la valutazione nel settore socialenel settore sociale

Non è opportuno intraprendere un percorso di Non è opportuno intraprendere un percorso di valutazione se …valutazione se …

Lo staff impegnato nel progetto è Lo staff impegnato nel progetto è contrario contrario alla alla valutazionevalutazione

Si prevede che Si prevede che i risultatii risultati della valutazione della valutazione non saranno non saranno utilizzatiutilizzati o lo saranno solo strumentalmente o lo saranno solo strumentalmente

Le Le risorse nonrisorse non sono sono sufficienti sufficienti

Se gli obiettivi del progetto o le modalità per Se gli obiettivi del progetto o le modalità per raggiungerli sono confuse, vaghe, non coerenti: la raggiungerli sono confuse, vaghe, non coerenti: la valutazione potrà essere usata per chiarire, definire, valutazione potrà essere usata per chiarire, definire, modificare questi aspetti e solo in seguito si valuterà il modificare questi aspetti e solo in seguito si valuterà il progetto e i suoi esitiprogetto e i suoi esiti

Particolarità dei servizi alla Particolarità dei servizi alla personapersona I I servizi alla persona servizi alla persona sonosono tutte quelle attività che tutte quelle attività che

coinvolgono gli operatori in un rapporto diretto coi coinvolgono gli operatori in un rapporto diretto coi beneficiari, beneficiari,

tale che il tale che il prodotto e il processo coincidono prodotto e il processo coincidono

Si caratterizzano per:Si caratterizzano per:

Intangibilità:Intangibilità: forniscono prestazioni non materiali,quindi forniscono prestazioni non materiali,quindi difficilmente misurabili difficilmente misurabili la valutazione deve assumere la valutazione deve assumere diversi punti di vista e la loro contingenzadiversi punti di vista e la loro contingenza

Negoziabilità: Negoziabilità: possibilità di consentire una possibilità di consentire una contrattazione tra erogatore e fruitore di un servizio, per contrattazione tra erogatore e fruitore di un servizio, per realizzarlo con un margine di flessibilità (rispetto al realizzarlo con un margine di flessibilità (rispetto al programmato e ad aspettative e bisogni)programmato e ad aspettative e bisogni)

IrripetibilitàIrripetibilità(Bezzi)

Valutare la qualità nei Valutare la qualità nei serviziservizi

Qualità:Qualità: L’insieme delle L’insieme delle proprietà e delle proprietà e delle caratteristiche di un caratteristiche di un prodotto o di un servizio prodotto o di un servizio che conferiscono ad esso che conferiscono ad esso la la capacità di soddisfare capacità di soddisfare esigenze espresse o esigenze espresse o implicite implicite (norme ISO)(norme ISO)

Centralità Centralità utente/clienteutente/cliente

Il servizio veramente Il servizio veramente fruito è sempre una fruito è sempre una mediazione mediazione fra il servizio fra il servizio erogato dal fornitore e erogato dal fornitore e quello percepito dal quello percepito dal fruitorefruitore

Punto di vista organizzazione

OBIETTIVI

(strutture)

(processi)

STANDARD

Punto di vista operatore

(risultati)

BISOGNI

Punto di vista utente

Valutazione

Qualità

La valutazione partecipataLa valutazione partecipataÈ una modalità che coinvolge È una modalità che coinvolge alcunialcuni attori implicati attori implicati nell’evaluando (l’oggetto della nell’evaluando (l’oggetto della valutazione), per ricevere valutazione), per ricevere informazioni più complete. Ha informazioni più complete. Ha forti connotazioni formative forti connotazioni formative

(Bezzi)(Bezzi)

““è un processo di è un processo di produzione produzione collettiva di conoscenza e di collettiva di conoscenza e di cooperazionecooperazione nel quale gli nel quale gli stakeholder prendono parte stakeholder prendono parte sostanzialmente sostanzialmente all’identificazione delle all’identificazione delle questioni valutative, al disegno questioni valutative, al disegno della valutazione, alla raccolta e della valutazione, alla raccolta e all’analisi dei dati e alla scelta all’analisi dei dati e alla scelta delle azioni da intraprendere in delle azioni da intraprendere in base ai risultati della base ai risultati della valutazione” valutazione”

(Jackson and Kassam,1998)(Jackson and Kassam,1998)

Grado di partecipazione

Coproduzione totale

Valutazione esterna

Estensione partecipazion

e

CittadiniCommittenti

(Riquier)

Alcuni pregi e limitiAlcuni pregi e limitidella valutazione della valutazione

partecipatapartecipata Favorisce l’Favorisce l’innovazioneinnovazione

attraverso l’interazione tra attraverso l’interazione tra diverse competenzediverse competenze

IntegraIntegra diverse dimensioni diverse dimensioni di analisidi analisi

Sviluppa un Sviluppa un senso di senso di appartenenzaappartenenza nei nei partecipanti alla partecipanti alla valutazionevalutazione

Facilita quindi la sua Facilita quindi la sua utilità utilità e il suo e il suo utilizzoutilizzo

RichiedeRichiede risorse risorse (tempo, disponibilità, $)(tempo, disponibilità, $)

Richiede capacità di Richiede capacità di mediazionemediazione

Rischio di Rischio di strumentalizzazionestrumentalizzazione

Rischio di Rischio di autoreferenzialitàautoreferenzialità

Tipi di coinvolgimento degli Tipi di coinvolgimento degli stakeholderstakeholder

PARTECIPAZIOPARTECIPAZIONENE

(++)(++)

CONSULTAZIOCONSULTAZIONENE

(+-)(+-)

RELAZIONI RELAZIONI PUBBLICHE PUBBLICHE

(--)(--)

Definizione Definizione collettiva di collettiva di finalità, finalità, obiettivi, metodi obiettivi, metodi ed elaborazione ed elaborazione giudizi condivisigiudizi condivisi

Ricerca di Ricerca di opinioni opinioni finalizzate a finalizzate a raccogliere info raccogliere info per la per la valutazionevalutazione

Restituzione in Restituzione in modo esplicito modo esplicito dei risultati dei risultati delle valutazionidelle valutazioni

Attori: Attori: esprimono esprimono interessi e interessi e competenze competenze rispetto al rispetto al problema problema

Attori: opinione Attori: opinione ritenuta di ritenuta di interesse interesse rispetto al temarispetto al tema

Attori: formali e Attori: formali e opinione opinione pubblicapubblica

(De Ambrogio)

Perché la partecipazione Perché la partecipazione nei servizi e nel settore nei servizi e nel settore

socialesociale Nei servizi alla persona non si può prescindere dal Nei servizi alla persona non si può prescindere dal sapere professionale delle persone coinvoltesapere professionale delle persone coinvolte, prima , prima fra tutte quello dell’operatore, dalla storia a dal fra tutte quello dell’operatore, dalla storia a dal contesto specifici del servizio, dalla contesto specifici del servizio, dalla cultura generale cultura generale del serviziodel servizio..

Le informazioni possedute dagli attori non sono mere Le informazioni possedute dagli attori non sono mere descrizioni, ma descrizioni, ma chiavi interpretativechiavi interpretative, che conferiscono , che conferiscono senso alle attività e ai datisenso alle attività e ai dati

La La soddisfazione dei beneficiarisoddisfazione dei beneficiari resta una resta una componente della valutazione, ma:componente della valutazione, ma:

Possiedono informazioni limitate su modalità di erogazione di Possiedono informazioni limitate su modalità di erogazione di un servizio, su vincoli normativi, finanziari, ecc.un servizio, su vincoli normativi, finanziari, ecc.

Orientamento centrato sul loro bisognoOrientamento centrato sul loro bisogno Per la loro condizione a volte sono nell’impossibilità di Per la loro condizione a volte sono nell’impossibilità di

esprimere un parereesprimere un parere

BibliografiaBibliografia Bezzi Claudio, Bezzi Claudio, Il disegno della ricerca valutativa. Nuova edizione rivista e Il disegno della ricerca valutativa. Nuova edizione rivista e

aggiornataaggiornata, Franco Angeli, Milano, 2003, Franco Angeli, Milano, 2003

De Ambrogio Ugo (2003), De Ambrogio Ugo (2003), Valutare gli interventi e le politiche socialiValutare gli interventi e le politiche sociali, , Carocci, RomaCarocci, Roma

Leone Liliana e Prezza Miretta (1999), Leone Liliana e Prezza Miretta (1999), Costruire e valutare progetti nel Costruire e valutare progetti nel sociale. Manuale operativo per chi lavora su progetti in campo sanitario, sociale. Manuale operativo per chi lavora su progetti in campo sanitario, sociale, educativo e culturale,sociale, educativo e culturale, Franco Angeli, Milano Franco Angeli, Milano

Palumbo Mauro (2001), Palumbo Mauro (2001), Il processo di valutazioneIl processo di valutazione, Franco Angeli, Milano, Franco Angeli, Milano

Tomei Gabriele (2004), Tomei Gabriele (2004), Valutazione partecipata della qualitàValutazione partecipata della qualità, Franco , Franco Angeli, MilanoAngeli, Milano

Ugolini Paolo (a cura di) (2005), Ugolini Paolo (a cura di) (2005), Qualità e outcome nelle dipendenzeQualità e outcome nelle dipendenze, , Franco Angeli, MilanoFranco Angeli, Milano

Sito web : Sito web : www.valutazione.it