La retorica della valutazione e le politiche pubbliche in Italia

Questioni di metodo e di sostanza

di

Dora Gambardella Rosaria Lumino

Paper for the Espanet Conference “Sfide alla cittadinanza e trasformazione dei corsi di vita:

precarietà, invecchiamento e migrazioni” Università degli Studi di Torino, Torino, 18 - 20 Settembre 2014

Dora Gambardella, Dipartimento di Scienze Sociali, Università degli Studi di Napoli Federico II, dogambar@unina.it Rosaria Lumino, Dipartimento di Scienze Politiche, Università degli Studi di Napoli Federico II, rosarialumino@gmail.com

Introduzione

"Evaluation is an incredibly widespread governance formula [...]. The simple message is this. If you carefully examine and assess the results of what you have done and the paths toward them, you will be better able to orient forward. Good intentions, increased funding and exciting visions are not enough; it is real results that count" (Vedung 2010, p. 263).

Con questa formula Vedung riassume efficacemente il crescente richiamo alla valutazione come strumento di governo della cosa pubblica e, insieme, l'enfasi attribuita ad una “cultura dell’evidenza” o della “prova” che offra ai decisori politici “certezze” scientifiche in grado di orientare le decisioni pubbliche. Un'enfasi che ha suscitato una crescente attenzione anche in Italia, dove si assiste alla diffusione e al consolidamento di nuovi temi e nuove arene del discorso pubblico, che contribuiscono a plasmare i contenuti della valutazione e a definirne la legittimità, in un più ampio processo di istituzionalizzazione, che parafrasando Bourdier (2003), ha finito per trasformare la pratica valutativa "nell'idea che se ne fa chi non ne ha esperienza" (p. 55).

Come noto, il tema della valutazione entra nel discorso pubblico italiano, innestandosi in una più ampia tradizione giuridico- amministrativa che, privilegiando controlli formali e di legittimità delle procedure, ha finito per trasformarla in un'attività prescrittiva, spesso imposta per decreto, che evoca confusamente temi che vanno dalla trasparenza al merito, dalla qualità alla produttività, dal controllo alla misurazione. La valutazione viene così ad assumere i contorni di un concetto polimorfo, nel quale la stratificazione di “sedimenti” di dottrine della governance di stampo diverso, dal New Public Management al movimento dell’Evidence Based Policy (Vedung 2010), pare tradursi in un melange retorico, che ne svilisce l’intrinseca natura di attività riflessiva di supporto alle decisioni pubbliche.

Da un lato, si assiste al mutamento delle basi di conoscenza e di informazione - oggettive, quantificabili e misurabili - abilitate a fornire le evidenze per la legittimazione delle politiche, sulla base dell’assunto che, in qualche modo, i “numeri parlino da sé” e che non sia necessario alcuna interpretazione o accompagnamento alla loro lettura, meno che mai la loro integrazione con altri elementi, informazioni, dati. Dall’altro lato, tale metamorfosi conduce ad una progressiva tendenza alla produzione di visioni iper- semplificate di fenomeni complessi, entro cui le caratteristiche dei contesti di implementazione e il punto di vista delle persone coinvolte nella realizzazione delle politiche pubbliche assumono una crescente irrilevanza. Un esito in contrasto con il dibattito internazionale che, invece, rivolge a questi aspetti una crescente attenzione (Sanderson 2002, Stern et al. 2012).

Tale metamorfosi si accompagna ad un cambiamento del rapporto tra potere politico e competenze tecnico scientifiche, che attraverso la crescente inserzione dei

vocabolari esperti nel registro politico del discorso sulle scelte, tende ad offuscare la natura sociale e politica di molti dei problema affrontati, rendendo apparentemente neutro il registro delle decisioni (Borghi, de Leonardis, Procacci 2013). Si pensi all’enfasi attribuita alla misurabilità degli esiti delle politiche o al frequente richiamo alla necessità della costruzione di grandi basi dati, indipendentemente da ogni considerazione sulle implicazioni insite nelle prescrizioni metodologiche o nei processi di produzione di dati e classificazioni. "Come ricorda Porter (1995): "a decision made by the numbers (or by explicit rules of some other sort) has at least the appearance of being fair and impersonal. Scientific objectivity thus provides an answer to a moral demand for impartiality and fairness. Quantification is a way of making decisions without seeming to decide" (p. 8). Ma le argomentazioni a sostegno dei processi decisionali pubblici non sono mai neutre, anche quando sostenute da "evidenze" scientifiche, incorporano il sostegno più o meno esplicito ad un qualche principio/valore e il rifiuto di altri (Fisher 1993).

Il tema del rapporto tra potere politico (processi decisionali) e competenze tecnico scientifiche non è di certo un tema recente, né secondario. Come sostengono Weiss e Bucuvalas (1980): "discovering the extent to which the evidence and analysis it supplies compete successfully with other source of information and contribute to the shaping of policy will able us to know more about the bases on which policy is made. And social science supplies more than data, it also supplies perspectives on events, generalizations about cause and effect, theories about the ways in which people and institutions interact, constructions of the nature of social, political and economic systems" influenzando "not only discrete decisions but the whole framework within which issues are defined and policy responses considered" (p. 2).

Su questo terreno si incrociano numerosi interrogativi, non ultimo quello tra conoscenza e democrazia (Fisher 1993, de Leonardis 2009). Tale tema assume particolare rilevanza quando riferito alla pratica valutativa, chiamata per sua natura a sostenere i processi decisionali, ma anche a rispondere “all’esigenza di una società democratica che vuole conoscere le proprie capacità nel fornirsi dei beni e dei servizi di cui ha bisogno, e che affronta difficoltà e limiti imparando dalla propria esperienza” (Stame 1998, p. 34).

In queste pagine l’attenzione è rivolta al modo in cui il richiamo alla valutazione si traduca nel nostro paese in una "retorica della valutazione" che tende a ridurla a pura attività ritualistica, sganciata da percorsi di riflessività istituzionale, o a mera produzione di dati quantitativi che sviliscono la sua intrinseca natura di attività di ricerca disegnata sul campo, in relazione a specifici obiettivi cognitivi ma anche a risorse e strumenti disponibili. Non si tratta, dunque, di riflettere sull’uso né sull'utilizzabilità della valutazione a sostegno del policy making, o dei fattori che ne facilitano o ne ostacolano la diffusione1, ma mostrare come il richiamo alla

1 Su questo tema si rinvia a: Weiss 1998, 1999; Saunders 2012.

valutazione si traduca, non solo nella scelta preconfezionata di strumenti, ma anche nella ridefinizione delle basi informative delle politiche, producendo "selezioni, definizioni, classificazioni, e scelte di ciò che deve essere considerato pertinente" (de Leonardis 2009, p. 75), o ciò che invece assume carattere di irrilevanza.

Tra i molti esempi possibili, il paper ricostruisce il caso delle politiche di contrasto alla povertà e, in particolare, della Carta acquisti sperimentale, in cui a nostro avviso sono rintracciabili elementi di una svolta nel discorso pubblico sulla valutazione che, scontato il riconoscimento della rilevanza della valutazione, che può essere fatto risalire al RMI, interviene sulla costruzione tecnica del suo disegno definita per via normativa. Dalla cultura della valutazione alla retorica della valutazione

Per spiegare il ritardo con cui la valutazione ha fatto ingresso nel nostro paese si è fatto ricorrentemente riferimento alla mancanza di una cultura della valutazione. Con questo termine si evoca sostanzialmente la mancanza dell’abitudine “a confrontare i risultati ottenuti da politiche, programmi e progetti con gli obiettivi individuati in partenza e con i problemi sociali ed economici che essi intendevano affrontare, e quindi definire i punti di forza e di debolezza dei programmi” (AIV – statuto), che a sua volta chiama in causa l’attitudine tipicamente pragmatista di analizzare “l’interazione tra valori e fatti, tra indirizzi e gestione […], tra motivazioni e punti di vista dei diversi attori che si autovalutano nel loro processo di apprendimento” (Stame 2002, p. 146). In un contesto come quello italiano in cui la debolezza della tradizione pragmatista si coniuga con il predominio del paradigma positivista e con la prevalenza della dimensione normativa, più che discutere della diffusione della cultura della valutazione, si è costretti a fare i conti con l’introduzione della valutazione per decreto, in una versione che è stata definita “iper-istituzionalizzata” (ib.), che tende a tramutare la valutazione da sapere esperto a pratica burocratico- manageriale (Toulemonde 2000). Dei tratti caratteristici segnalati dalla Stame già più di un decennio fa, sopravvivono sicuramente alcuni, utili da richiamare ai fini del nostro discorso:

la creazione delle istituzioni anticipa le idee e le pratiche: il caso forse più emblematico è quello dei Nuclei di valutazione delle amministrazioni pubbliche, istituiti con la L. 144/99; un esempio più recente potrebbe essere quello dei Presidi di qualità degli Atenei, la cui costituzione anticipa qualsiasi riflessione in merito a cosa si intenda per “qualità” del sistema universitario e alle strategie per la sua promozione;

la valutazione imposta per decreto è ridotta ad una mera attività amministrativa, che si esercita – spesso senza le necessarie competenze, che non sono mai oggetto di provvedimenti legislativi – in un micro-sistema di

regole, molto spesso associate a sanzioni che traducono il giudizio valutativo in sentenze definitive e senza appello. Quando applicate a organizzazioni, invece che a programmi, ne deriva un giudizio in grado di pregiudicare la vita stessa delle organizzazioni, come previsto per i corsi di studio universitari o i Dottorati di ricerca che non superano la soglia dell’accreditamento;

la normativa non crea solo le istituzioni preposte alla valutazione, ma legifera sugli approcci e sui metodi della valutazione: il Fondo investimenti occupazione doveva fare, come ricorda Stame (2002), analisi costi-benefici e la Sanità doveva occuparsi di Analisi partecipata della qualità (Apq). Ad oggi, si potrebbe aggiungere, questo carattere può assumere due forme contrapposte: la valutazione può solo essere evocata in modo ritualistico senza schemi metodologici di riferimento e senza verifiche di implementazione a posteriori (il caso del RdC campano ne è un esempio) o, al contrario, fortemente disciplinata ex ante, suggerendo specifici metodi di valutazione, come nel caso della Carta acquisti sperimentale di cui diremo tra breve.

Più controverso è, a nostro avviso, associare alla versione più recente della iper-istituzionalizzazione della valutazione italiana il carattere di settorialità dell’intervento legislativo, che, negando valore alla valutazione come forma di apprendimento, la istituzionalizza come micropratica specifica, con risultati poco utili ad avviare processi riflessivi di più ampia portata. Crediamo piuttosto che ad oggi si possano rintracciare elementi comuni alla istituzionalizzazione della valutazione, piuttosto trasversali a settori e organizzazioni molto diversi tra loro, in grado di permettere l’individuazione di una comune retorica della valutazione che costruisce un unico discorso pubblico sul tema.

La retorica è qui intesa in riferimento al suo uso tecnico come “produzione di segni e dunque come fattore di interazione sociale” (Battistelli 2002, p. 27), ovvero come “forma di rappresentazione del reale elaborata dal vertice e da questo trasmessa (proposta, imposta, negoziata, etc.) alla base” (ib. p. 29). Il questa accezione il termine evoca la direzione del flusso comunicativo che procede chiaramente dall’alto verso il basso, diffondendo un sistema di segni comprendenti un insieme di tecniche per la produzione e lo scambio di significati. La definizione risulta debitrice alle riflessioni intorno alla “nuova retorica” che, a partire dalla metà del Novecento, riformula il concetto mettendo l’accento sul carattere pragmatico e relativista di un discorso che, partendo da premesse solo probabili, mira ad ottenere il consenso del destinatario. Va da sé che quando queste premesse non sono riconosciute nel loro carattere di parzialità e di dipendenza da condizioni specifiche di contesto, la retorica perde la sua funzione tecnica per assumerne una ideologica, politicamente connotata, spesso all’origine dei significati negativi associati al termine.

In questa accezione il termine retorica è stato ampiamente usato negli studi sui cambiamenti organizzativi e sull’innovazione che, spesso richiamando il lavoro di Czarniawska e Joerges (1996), riconoscono centralità alla dimensione discorsiva e si propongono di leggere il cambiamento attraverso le ristrutturazioni di senso, culturali e cognitive, degli attori coinvolti sul campo, attraverso approcci costruttivisti vocati alla ricerca qualitativa. Da Foucault (1988) viene ampiamente ripreso la modalità di analisi del discorso, e, in particolare, il legame tra discorso sul cambiamento e potere e la logica del doppio condizionamento, cioè i legami reciproci tra trasformazioni locali e logiche di cambiamento globale. Da Laclau e Mouffe (1985) l’idea che il discorso si sviluppi intorno a “punti nodali”: come spiega bene Ricotta (2002) “per divenire egemonico uno specifico discorso ha bisogno di dominare il campo di discorsività entro cui prende forma, arrestando il flusso delle differenze di significato e strutturandosi come centro dei processi interpretativi” (p. 205-206). Di qui l’attenzione per l’uso ripetuto di significati, di metafore, etichette e luoghi comuni.

Proprio il legame tra analisi micro e visioni globali del cambiamento consente di contenere il rischio di una analisi che enfatizza la dimensione tecnica, ponendosi come neutra o a-politica, e sconfinando nell’uso negativo del termine retorica come sinonimo di discorso non esplicito e, dunque, non onesto: “la pratica della valutazione diventa essa stessa una retorica quando diventa una sorta di ideologia della misurazione del merito e della qualità […] e nel momento in cui in qualche modo pretende di assumersi il peso di una scelta e di una responsabilità che non spettano in realtà al congegno valutativo in quanto tale, ma che in qualche modo il congegno – soprattutto se non avvertito criticamente – tende a inglobare su di sé” (Illetterati 2012 www.roars.it). Il rischio, insomma, è che una volta inserita massicciamente la valutazione in ogni ambito della vita pubblica, “nessuno è responsabile di nulla perché a decidere è stata, appunto, la Valutazione” (ib.). Al contrario, “nessuna azione di riforma amministrativa si esaurisce nelle sue componenti tecnico organizzative, ma chiama sempre in causa una dimensione “politica” […] ed è interpretabile nell’ambito di una precisa scelta di campo per un modello di società rispetto ad un altro” (Ricotta, 2002, p. 204). D’altra parte come sottolinea Foucalt (2005) «bisogna ammettere che il potere produce sapere (e non semplicemente favorendolo perché lo serve o applicandolo perché è utile); che potere e sapere si implicano direttamente l'un l'altro; che non esiste relazione di potere senza correttiva costituzione di un campo di sapere, né di sapere che non supponga e non costituisca nello stesso tempo relazioni di potere. Questi rapporti “potere-sapere” non devono essere quindi analizzati a partire da un soggetto di conoscenza che sia libero o no in rapporto al sistema di potere, ma bisogna al contrario considerare che il soggetto che conosce, gli oggetti da conoscere e le modalità della conoscenza sono altrettanti effetti di queste implicazioni fondamentali del potere-sapere e delle loro trasformazioni storiche» (p. 31).

La valutazione delle politiche di contrasto alla povertà

Le politiche di contrasto alla povertà rappresentano un caso particolarmente emblematico per indagare le retoriche della valutazione nella misura in cui il richiamo al concetto di efficacia, e per molti versi a quello di efficienza, appare per molti versi più problematico rispetto ad altre politiche pubbliche. Si tratta, infatti, come è già stato notato (Martini 1997), di un caso in cui la “presunzione di efficacia” spingerebbe a fare a meno di valutazioni specifiche, dal momento che si può sufficientemente dare per scontato che una famiglia povera che riceva un sussidio economico, o anche qualche forma di servizio, non può che migliorare la propria condizione. E’ pur vero che i cambiamenti nella condizione economica dei poveri appaiono temporanei e strettamente legati ai tempi di erogazione del sussidio, con la conseguenza che la prestazione appare, non solo poco efficace nel garantire l’uscita dalla povertà e l’autonomia dal sistema di welfare, ma anche costosa e dunque poco efficiente. Su questo dilemma sembrano pesare, come il dibattito pubblico ha reso evidente, posizioni politiche precostituite, poco legate agli esiti del lavoro di valutazione, come ha ben reso evidente il caso del RMI la cui fine è stata decretata ben prima che venisse reso pubblico il rapporto di valutazione conclusivo. Eppure, nonostante queste ambiguità, il richiamo alla valutazione nella normativa che disciplina le diverse misure nazionali e regionali è frequente se non obbligato, sebbene declinato in termini molto diversi. Sulla valutazione delle politiche di contrasto alla povertà pesa, infine, il “sovraccarico funzionale” (Sacchi 2005) che finisce costantemente per produrre una ambigua definizione dell’oggetto della valutazione sempre oscillante tra il cambiamento della situazione economica, auspicabile effetto della componente passiva della misura, cioè del sussidio economico, e il recupero delle capacità autonome di inclusione sociale, associato, invece, alla componente attiva, e dunque ai programmi personalizzati di presa in carico dei beneficiari.

Il primo riconoscimento del ruolo della valutazione applicata alle politiche di contrasto alla povertà si deve associare alla sperimentazione del Reddito Minimo di Inserimento; l’art. 13 del D.lgs 238/97, nel circoscrivere i limiti dell’incarico da assegnare ad un valutatore esterno, riconosce innanzitutto l’importanza dell’implementazione e il ruolo cruciale dei diversi contesti della sperimentazione nazionale, assegnando alla valutazione il compito di indagare “gli aspetti relativi alle modalità di realizzazione della sperimentazione ed i relativi costi, anche in comparazione fra i diversi contesti”. A questo primo importante riconoscimento segue, come prevedibile, il compito di indagare il grado di conseguimento degli obiettivi “con particolare riferimento all'effettivo contrasto della povertà e dell'esclusione sociale e alla promozione dell'integrazione sociale e dell'autonomia

economica delle persone e delle famiglie” senza mai dimenticare la necessità che la distanza tra obiettivi e realizzazioni o effetti venga analizzata in rapporto a “situazioni di contesto differenziate”. Infine alla valutazione spetta il compito di fornire indicazioni per la possibile generalizzazione della misura all’intero territorio nazionale, in relazione “ai benefici, alle modalità della sua organizzazione ed ai costi”.

L’ingresso della valutazione nelle politiche di contrasto alla povertà si caratterizza dunque per pochi ma importanti elementi, destinati ad essere trascurati dalle normative successive: l’attenzione ai contesti, il riconoscimento dell’importanza dell’analisi dell’implementazione, la rinuncia a fornire indicazioni metodologiche troppo stringenti, l’assegnazione della responsabilità di valutare ad un soggetto esterno.

Il rapporto di valutazione che ha faticosamente dato seguito al mandato evidenzia, come è stato notato (Lumino 2013), una ridefinizione del mandato valutativo non adeguatamente esplicitata che, prescindendo dagli obiettivi ambiziosi ad essa associati, limita la valutazione ad una analisi del profilo socio demografico degli enti locali, del sistema di offerta preesistente, delle caratteristiche in ingresso dei beneficiari e dei percorsi di inserimento sociale e lavorativo. Non vi è dubbio che molti dei limiti del rapporto di valutazione finale siano da ricondurre al carattere disomogeneo dei dati raccolti, il cui grado di attendibilità e la cui completezza risultano fortemente variabili in relazione ai contesti della sperimentazione. Pur contenendo una chiara sintesi degli elementi di criticità e indicazioni per una revisione della misura, il rapporto si configura come una valutazione dell’implementazione più che come una vera analisi degli effetti, come la normativa sembrava auspicare.

Il richiamo alla valutazione nelle leggi regionali successive al RMI dà origina a due soli gruppi: le leggi che evocano la valutazione in termini generici e spesso contraddittori (ne sono un esempio i casi della Campania, Basilicata e Lazio) e quelle che aspirano ad una sua più rigorosa e puntuale definizione (come nei casi di Trento e del Friuli)2. Tra i casi del primo gruppo il RdC campano costituisce un chiaro esempio di uso ambiguo dei termini, tanto che l’art. 10 del Regolamento attuativo è intitolato “Monitoraggio, valutazione e verifiche” ed è parzialmente dedicato a chiarire che spetta ai comuni ad effettuare “controllo diretto anche tramite le forze di polizia municipale, su un campione pari ad almeno il 10% delle domande accolte. Il numero degli accertamenti e l’esito è comunicato ai Comuni capofila, che procedono ad immediata sospensione della misura in presenza di irregolarità e ne danno comunicazione ai settori della Giunta regionale di cui all’art.8 comma 1 della L.R. n. 2/2004 e all’Osservatorio di cui all’articolo 11.”. La restante parte dell’articolo è dedicata a stabilire i compiti assegnati agli attori istituzionali - i comuni, la giunta

2 Per una comparazione esaustiva dell'architettura dei provvedimenti regionali successivi al RMI si rinvia a: Granaglia, Bolzoni 2010, Morlicchio, Lumino 2013, Spano et al. 13.

regionale e un non meglio specificato Osservatorio regionale (di fatto nominato ma mai attivo) - riducendo la valutazione ad una relazione annuale da inviare alla giunta regionale, della quale si ignorano obiettivi, tempi e contenuti. La legge regionale del Lazio (l.r. 4/2009) contiene un timido tentativo di definire i contenuti della relazione che la giunta è tenuta a presentare al consiglio regionale che deve contenere indicazioni relative a “il numero dei beneficiari, lo stato degli impegni finanziari e le eventuali criticità”; le prescrizioni metodologiche sono affidate ad un veloce riferimento alla necessità di valutare “i risultati degli interventi effettuati, anche dal punto di vista dell’analisi costi-benefici” (art. 8), che sembra lasciare aperto ogni possibile disegno di valutazione, imponendo solo, per così dire, l’obbligo di un’analisi costi-benefici. Nel caso della Basilicata si prevede che la sperimentazione sia oggetto di verifica e valutazione da parte dell’Osservatorio Regionale sulle Politiche Sociali, con il supporto tecnico del Nucleo Regionale di Verifica e Valutazione degli Investimenti Pubblici, esprimendo la necessità di una attribuzione di compiti e di responsabilità interne, senza alcun riferimento ad eventuali valutatori esterni, come era chiaro nel caso RMI.

Nel caso del Friuli Venezia Giulia il Regolamento attuativo della Legge Regionale 6/2006 (art. 11) prefigura la realizzazione di un sistema di monitoraggio e valutazione (intermedia e finale) volto ad indagare "i risultati ottenuti e le modalità organizzative adottate", con verifiche annuali, cui tutti i soggetti coinvolti nella sperimentazione sono tenuti a partecipare in nome di un debito informativo obbligatorio. Il provvedimento individua quali informazioni rilevanti per la suddetta attività: "le caratteristiche dei nuclei familiari beneficiari; il superamento della condizione di iniziale difficoltà; lo stato di attuazione degli accordi stipulati (per la realizzazione delle misure integrative al sostegno economico); e un generico riferimento a "operatori e servizi coinvolti nell’attuazione della misura". La definizione "dei valori obiettivo da raggiungere, nonché delle modalità per l’effettuazione delle verifiche annuali sull’andamento della misura" così come del "piano di valutazione" spetta alla Direzione centrale salute e protezione sociale, che a tale scopo affida l'attività di valutazione ad un ente terzo: l'Istituto per la Ricerca Sociale di Milano3.

Nel caso trentino, l'approvazione del Reddito di Garanzia è inscritto nella normativa di riordino delle politiche sociali provinciali (L.P. 13/ 2007), che dedica alla valutazione una sezione molto ampia e articolata (capo IV), finalizzando l'attività di valutazione all'accertamento di criteri di qualità delle prestazioni, congruità dei risultati, efficacia dell'utilizzo delle risorse impiegate. A tal fine prescrive attività di valutazione di impatto, sia ex ante che ex post, dell'efficacia della risposta ai bisogni espressi, dell'efficienza in termini di rapporto costi-benefici, nonché della ricaduta

3 Indipendentemente dalle indicazioni fornite dal rapporto di valutazione, la misura è sostituita nel 2008 da un Fondo

per il contrasto ai fenomeni della povertà e disagio sociale, con uno stanziamento di risorse inferiore e privo della componente di reinserimento e attivazione.

sul territorio e sulla collettività, con particolare attenzione alle famiglie e alle donne. Più sfumato il riferimento alla necessità di tener conto della diversità dei contesti di implementazione e di valutare il ruolo degli enti coinvolti nella gestione dei servizi. La valutazione del RdG è, nello specifico, affidata con successiva delibera (DGP n. 2216 del 2009) ad un ente terzo, l’Istituto per la ricerca valutativa sulle politiche pubbliche (IRVAPP) della Fondazione Bruno Kessler.

Le clausole valutative appena richiamate mostrano con evidenza come il richiamo alla valutazione si traduca confusamente nella prefigurazione di un'attività amministrativa, spesso confusa con il controllo di legittimità dei criteri di eleggibilità dei beneficiari, e insieme nel tentativo di definire ex ante metodi e procedure attraverso un processo di produzione di dati fortemente centralizzato, affidato a direzioni tecniche o osservatori ad hoc, spesso mai attivati, trascurando tutte le questioni legate alla partecipazione degli attori coinvolti o alle condizioni di fattibilità di disegni di valutazione di "impatto", prestando poca o nulla attenzione alla variabilità dei contesti di implementazione o dei sistemi di offerta locale entro cui si calano le sperimentazioni regionali4. Scarsa attenzione è pure dedicata alla valutazione dei processi di implementazione, pure rilevanti nel caso di interventi innovativi, come quelli disegnati attraverso le leggi regionali, salvo il richiamo a poche informazioni di taglio rendicontativo delle attività realizzate dagli attori coinvolti (come ad esempio il numero di protocolli attivati per la realizzazione dei percorsi di integrazione sociale nel caso friulano). Netta, appare la predilezione per informazioni di tipo quantitativo, senza indicazione alcuna sul tipo di "attese" sull'uso dei dati così raccolti o sul modo in cui possano influenzare il proseguo delle sperimentazioni. In nessun caso si prevede uno stanziamento ad hoc per le attività previste, quasi si trattasse di un dettaglio irrilevante ai fini della definizione di un disegno di valutazione, o dell'adozione di alcuni metodi a scapito di altri. La carta acquisti sperimentale

Si tratta della misura più recente per il contrasto alla povertà assoluta introdotta con il decreto Semplifica Italia (poi convertito nella L. 35/2012) che viene sperimentata – come sempre più spesso si usa dire - per un anno in dodici città italiane in affiancamento alla vecchia Social Card. Si rivolge a famiglie residenti in condizioni di comprovato disagio economico (Isee pari a 3mila euro massimi, limiti sul patrimonio mobiliare e immobiliare e su altri trattamenti economici fiscalmente esenti) cui si aggiungono vincoli derivanti dalla presenza tra i componenti familiari di almeno un minore sotto i 18 anni e vincoli relativi alla condizione lavorativa del

4 La stessa disattenzione è rintracciabile anche nella Carta acquisti sperimentale, di cui si dirà tra breve, che prevede

genericamente per i non beneficiari l’accesso al sistema locale di welfare, prescindendo dal fatto che in alcuni contesti può trattarsi di un’offerta inesistente.

richiedente, quali la cessazione di un rapporto di lavoro nei 36 mesi precedenti la richiesta o il tetto di 4mila euro fissato per i redditi da lavoro percepiti nei sei mesi precedenti. Non entreremo qui nel merito delle molte riflessioni possibili intorno alla Nuova carta acquisti per concentrare invece la nostra attenzione sul modo con cui la valutazione viene declinata e inserita nel disegno complessivo della misura, sulla base dell’analisi dei documenti ufficiali e di poca “documentazione grigia” (Martini e Sisti 2009) che siamo riusciti faticosamente ad ottenere, data l’indisponibilità dell’amministrazione napoletana a consentire a chi scrive di esaminare documenti di lavoro e bozze di strumenti valutativi. Le osservazioni che seguono vanno perciò intese come una preliminare definizione di una pista di lavoro, che necessita di un ulteriore fase di lavoro di campo.

La Carta acquisti costituisce, a nostro avviso, un caso particolarmente emblematico per discutere di retoriche della valutazione, nella misura in cui essa segna un netto spartiacque rispetto al ritualistico richiamo ai temi del monitoraggio e valutazione che si trova, a partire dal RMI, in tutte le politiche locali di contrasto alla povertà. Alla valutazione viene dedicato un solo articolo – il n.9 – sufficiente a dare vita, almeno nelle intenzioni, ad un nuovo corso della valutazione delle politiche di contrasto alla povertà che si configura come un unico e centralizzato social experiment, simile, per così dire, a quelli realizzati qualche decennio fa in altri paesi su politiche pubbliche di questo tipo, tra i quali l’esempio più noto è forse quello del NSWD statunitense5. Su questo ipotetico parallelismo torneremo tra poco.

Il punto 5 dell’art. 9 afferma che la valutazione della sperimentazione “deve basarsi sull'adozione di approcci di tipo contro-fattuale”, fissando di fatto l’obbligo per i comuni che beneficiano del finanziamento nazionale dedicato alla misura (50mln di euro complessivi) a partecipare alla valutazione nel ruolo di “collezionatori di dati”, ma non di ideatori, co-costruttori di un disegno di valutazione6, tant’è che le metodologie della valutazione partecipata “potranno altresì adottarsi, ove opportuno”, ad intendersi che il disegno unico della valutazione può eventualmente essere integrato, ma non modificato nei suoi tratti essenziali. In queste poche righe la retorica della valutazione fa un clamoroso salto di qualità:

assume che c’è un unico modo di valutare gli effetti di una politica antipovertà (o meglio “di misurare l’efficacia dell’intervento”), in grado di fornire dati oggettivi, misurabili, comparabili che coincide con il metodo sperimentale, riportando la valutazione italiana al primo degli approcci diffusi in valutazione, quello positivista-sperimentale appunto, che ha segnato l’ingresso della valutazione nelle politiche pubbliche di paesi diversi dal nostro ormai alcuni

5 Il National Supported Work Demonstration è un esperimento di accesso protetto al mercato del lavoro per alcune

categorie di poveri assistiti (madri single, drop out, ex tossicodipendenti, ex detenuti) realizzato tra il 1975 e il 1979 in 14 centri urbani degli USA su un totale di circa 10mila persone, avviate al lavoro e retribuite per 7 mesi circa. 6 Ovviamente i referenti dei comuni hanno partecipato ad una serie di incontri, ma, a quanto ci risulta, senza grandi possibilità di incidere sulle scelte metodologiche cruciali.

decenni fa (Stame 2001), stabilendo implicitamente un netto disinteresse per quella corposa letteratura sul tema che associa gli esiti della valutazione – e soprattutto la loro utilizzabilità ai fini del cambiamento - alla puntuale e specifica costruzione del disegno della valutazione, legandola al cosiddetto “mandato” e alle relative domande di valutazione (Bezzi 2003);

assume l’irrilevanza dei contesti della sperimentazione (che nel caso della Carta acquisti sperimentale vanno da Torino a Palermo e da Bologna a Napoli), la stessa che invece era chiaramente evocata nel progetto della valutazione del RMI, anche in questo caso trascurando una lunga serie di approcci valutativi che invece ne assumono la centralità, TBE e valutazione realistica in primis. Come direbbero Pawson e Tilley “I programmi non possono essere considerati come una sorta di soluzione esterna e in se stessa efficace alla quale i soggetti trattati reagiscono. Piuttosto essi funzionano se gli attori scelgono di farli funzionare e si trovano nelle condizioni appropriate per riuscire a realizzare questo obiettivo” (1997, p. 52).

svilisce il ruolo dei comuni responsabili della traduzione operativa del modello sperimentale che di fatto si sobbarcano del peso della rilevazione dei dati senza avere alcuna possibilità di incidere sul contenuto del questionario o sui tempi della somministrazione. Nel carico assunto dai comuni assume un peso rilevante la questione della randomizzazione dei potenziali aventi diritto e la conseguente definizione del gruppo di controllo, non solo per le prevedibili ricadute etiche di questa scelta che, come la letteratura insegna, costituisce uno dei più potenti ostacoli al ricorso al metodo sperimentale, ma anche per il fatto che, come prevedibile, solo i beneficiari assumono un obbligo informativo e sono dunque tenuti alla compilazione dei questionari, previa decadenza del beneficio. Non a caso uno dei referenti del comune di Napoli, a seguito della partecipazione ad una delle riunioni convocate presso la sede del Ministero competente, si chiede “se e come è possibile definire il gruppo di controllo (dei non trattati) senza che questo crei difficoltà nel rapporto con i beneficiari e nello stesso tempo sia effettivamente realizzabile?”. Non trascurabile è infine l’estraneità degli stessi comuni al lavoro di analisi e interpretazione dei dati raccolti che resta del tutto centralizzato e presumibilmente condotto senza il concorso dei comuni o di altri attori che partecipano al processo di valutazione, che semmai la normativa si interessa a mantenere estranei alla proprietà dei dati7, pur riconoscendo la possibilità a Università e enti di ricerca di accedere agli stessi dati a fini di analisi di valutazione. La costruzione centralizzata del processo di analisi valutativa costituisce il più grande ostacolo alla valutazione vocata all’apprendimento

7 Il Soggetto attuatore, l’Inps, svolge un ruolo cruciale nel processo di rilevazione delle informazioni, dovendo curare il

trasferimento dei dati provenienti dai diversi comuni e integrarli con altri dati in proprio possesso prima di inviarli al Ministero competente per le necessarie analisi. All’atto dell’invio l’Inps è tenuto a cancellare i dati dai propri archivi.

(Stame 2006) e al cambiamento organizzativo: come è stato già osservato a proposito del caso Invalsi, la valutazione ha poco senso se non utilizzata in maniera autonoma e magari integrata con altre informazioni proprie, cioè se non integrata “in un processo di riflessività istituzionale che conduca tutti gli attori del sistema a riflettere sui nessi tra definizione degli obiettivi educativi, programmazione e progettazione dell’azione educativa e valutazione della stessa” (documento Ais Edu). E’ oltremodo scontato ribadire l’importanza che “le informazioni raccolte e le analisi svolte sull’azione di contrasto alla povertà siano diffuse correntemente e in maniera tempestiva” (Spano e al. 2013, p. 47), garantendo un migliore equilibrio tra protezione della privacy e lavoro di ricerca scientifica.

La parte restante dell’articolo è dedicata ad una descrizione sintetica del controfattuale basato sul “confronto dei risultati raggiunti (dato fattuale) con la situazione che si sarebbe verificata in assenza della Sperimentazione (dato contro fattuale), utilizzando a tal fine le informazioni riferite ai gruppi di controllo”, introducendo un linguaggio squisitamente tecnico che non si limita ai consueti efficacia o qualità, ma introduce termini come effetti, controfattuale, trattati, randomizzazione.

La valutazione ha l’obiettivo di “accertare l'efficacia della integrazione del sussidio economico con servizi a sostegno dell'inclusione attiva nel favorire il superamento della condizione di bisogno”, ritenendo secondari altri obiettivi, quali la valutazione della capacità di intercettare le fasce di popolazione in condizione di maggior bisogno e delle “modalità attuative, con riferimento al processo di implementazione della sperimentazione, nonché agli aspetti gestionali e finanziari” (lett. e).

In questo passaggio si compie un errore ricorrente nelle politiche di contrasto alla povertà, cioè l’impropria assegnazione a queste politiche di un obiettivo di protezione sociale di “ultima istanza” cui si sovrappone una funzione vicaria di politiche del lavoro e di sviluppo locale assenti o comunque inadeguate. Come scrivono Spano e al. (2013) una delle spie della “veduta corta” delle politiche nazionali di contrasto alla povertà è “l’eccessiva enfasi posta in alcuni interventi sull’obiettivo del recupero al lavoro e all’autonomia economica, come se esso fosse proponibile per tutti i poveri” (p. 38). D’altra parte l’aver assegnato alla valutazione il compito di indagare l’effetto dato dal sussidio economico coniugato all’inclusione in progetti individualizzati di presa in carico complica il disegno sperimentale inducendo a costruire ben più di due soli gruppi di trattati e non trattati. La normativa impone, infatti, di valutare l’effetto differenziale di diverse modalità di contrasto alla povertà (beneficio economico e progetto di presa in carico, solo beneficio economico, solo presa in carico) e di diversi modelli di presa in carico (interventi a titolarità comunale, a titolarità di altre amministrazioni competenti, a titolarità privata), dando vita ad un disegno fattoriale a più variabili-trattamento

indipendenti, che porta a sette il numero dei gruppi sperimentali e a otto il numero complessivo dei gruppi su cui effettuare le rilevazioni. Se alla complessità del disegno si aggiunge il fatto che i dodici comuni sono responsabili delle operazioni di randomizzazione e del controllo dell’integrità dei gruppi ai fini dell’esperimento, oltre che ovviamente della somministrazione dei questionari ripetuta nel tempo, ne deriva un quadro sufficientemente problematico, in grado di violare il disegno sperimentale ipotizzato.

Sottovalutando le questioni aperte e i nodi problematici lasciati irrisolti, l’articolo si dedica a numerosi altri dettagli tecnici, soffermandosi sulla selezione e la numerosità dei gruppi (ricorso alla selezione casuale, predisposizione di progetti personalizzati per metà e non oltre due terzi dei nuclei beneficiari, definizione del gruppo di controllo dato dalla somma dei non beneficiari e della quota dei beneficiari esclusa dai progetti di presa in carico), ma anche sui tempi e sugli strumenti per la rilevazione dei dati (i comuni somministrano ai nuclei componenti i due gruppi i questionari predisposti dal Ministero del lavoro e delle politiche sociali all’inizio e alla fine della sperimentazione, secondo modalità stabilite dall’alto). Al punto 4 si individuano anche le cosiddette variabili risultato, distinte se in riferimento agli adulti (partecipazione al mercato del lavoro, cambiamento della condizione lavorativa), ai bambini (benessere del bambino con riferimento alle aree della salute, dell'istruzione, della socializzazione-tempo libero) o nucleo familiare (standard di vita con riferimento all'accesso ai beni essenziali). In un documento di lavoro8 si precisano alcuni indicatori che operativizzano le variabili risultato: per esempio il cambiamento nella condizione lavorativa degli adulti viene riportato alla tutela contrattuale, al salario, alle opportunità di carriera e alle condizione lavorative; l’area della salute del bambino viene riportata all’iscrizione dal pediatra e alle relative visite; l’area dell’istruzione dei minori alla frequenza e partecipazione dei genitori agli incontri con gli insegnanti9.

Linguaggio tecnico e prefigurazione del disegno si accompagnano ad una certa enfasi posta sull’utilità del lavoro di valutazione, che si configura come un’attività in grado di “fornire elementi” utili alla potenziale proroga della sperimentazione e alla possibile generalizzazione della misura per il contrasto alla povertà assoluta, sebbene in un prevedibile quadro di vincoli di finanza pubblica. Sulla solidità del social esperiment ipotizzato non pesa solo, come anticipato, la questione della complessità del disegno e del numero elevato di attori responsabili della sua traduzione operativa, ma anche la contestuale disattenzione per la precisa definizione dei beneficiari, su cui la normativa fornisce pochi indicatori di riferimento, lasciando di fatto i comuni liberi di scegliere se procedere secondo una logica a bando o selezionare direttamente una parte degli utenti del welfare locale,

8 Incontro Ministero- Comuni coinvolti nella sperimentazione, 13 settembre 2012.

9 Anche su questo punto i referenti del comune di Napoli evidenziano che “Vanno definiti meglio gli indicatori per valutare l'efficacia della misura”.

anche con forme di comunicazione personalizzata. Proprio questa deroga alla definizione dei beneficiari della misura è in grado di inficiare l’esperimento ipotizzato nella misura in cui mette in discussione proprio il prerequisito della equivalenza statistica dei gruppi su cui si basa la possibilità della comparazione tra trattati e non trattati e di misurare l’effetto causale del trattamento sulla o sulle variabili risultato.

Il tentativo di costruzione di un disegno sperimentale si scontra, infine, con alcuni altri ostacoli di un certo rilievo, che segnano la differenza rispetto al NSWD prima richiamato e pregiudicano, oltre che la fattibilità, anche la solidità del disegno. In primo luogo la normativa non dedica alcuna attenzione al tema dei costi della valutazione, che di fatto sembrano confluire nel più ampio capitolo della presa in carico dei beneficiari; nel NSWD alla valutazione furono assegnati 11 milioni di dollari che, rispetto al costo complessivo dell’esperimento pari a 80 milioni di dollari, costituiscono poco meno del 14%. In secondo luogo il numero delle rilevazioni nel tempo, cinque a distanza di nove mesi l’una dall’altra nel caso del NSWD con l’ultima a 27-36 mesi dalla conclusione dell’esperimento. Si tratta, come è evidente, della più forte minaccia alla capacità di intercettare gli effetti di un trattamento: ridurre l’esperimento ad un semplice confronto prima- dopo significa di fatto misurare le realizzazioni piuttosto che indagare gli effetti (Bezzi 2007) che sono leggibili solo ad una certa distanza di tempo dalla conclusione di un esperimento di questo tipo. Infine il riconoscimento del ruolo della valutazione esterna, già presente nella normativa del RMI e qui trascurato, in una inesorabile burocratizzazione della valutazione interna, poco capace di rispondere agli ambiziosi obiettivi di valutazione dichiarati. Conclusioni

La retorica della valutazione di cui abbiamo provato fin qui a ricostruire alcuni tratti salienti produce numerosi effetti perversi, che pregiudicano la promozione di una diffusa cultura della valutazione e ancor più il riconoscimento di una competenza specifica e di un sapere esperto associato alla figura del valutatore o agli organismi incaricati della valutazione. Le riflessioni avviate in queste pagine costituiscono solo l’avvio di un lavoro più complesso, attualmente in corso, che rende necessario sviluppare e riannodare i numerosi temi che qui siamo stati solo in grado di richiamare in maniera sintetica.

Tra gli effetti perversi va citata la confusione terminologica, la tendenza cioè a chiamare allo stesso modo attività sostanzialmente diverse o, al contrario, lo schiacciamento del termine su uno solo dei tanti modi con cui la valutazione può essere progettata e realizzata. Come osserva Martini (2006), “anche attività che fino ad alcuni anni fa non venivano citate come “valutazione” – quali ad esempio la

selezione dei progetti, il controllo di gestione, gli studi di fattibilità, la certificazione di qualità – oggi ricevono maggiore attenzione se si richiamano a questo termine altamente evocativo. Valutazione infatti evoca molte cose positive, che ad una lettura attenta e disincantata si rivelano però molto diverse tra loro” (p. 2). D’altra parte schiacciare il termine su un particolare approccio alla valutazione suggerisce significati fortemente negativi fino ad accostare “valutare e punire” (Pinto 2012).

Un secondo effetto perverso è identificabile nello spostamento dell’attenzione dal “cosa” al “come” , quasi si trattasse di ricercare – come è già stato notato - le evidenze nel rigore delle metodologie adatte per afferrarle, in linea con le indicazioni dell’Evidence Based Policy (Bonvin, Rosenstein 2009). Sembrano qui tornare tutti gli elementi che hanno alimentato a lungo il dibattito nelle scienze sociali tra ricerca quantitativa e ricerca qualitativa, dei quali è forse opportuno ricordare il richiamo alla necessità di prestare maggiore attenzione alla fase di costruzione del dato, con il suo corredo di selezione degli indicatori e delle opportune definizioni operative, più che su quella di analisi e di mera produzione di statistiche sofisticate e talvolta poco comprensibili al vasto pubblico (Marradi 1980). A partire dalla lezione weberiana dovrebbe essere sufficientemente chiaro, almeno ai sociologi, che “l’oggettivismo gnoseologico condiziona il ricercatore a conformarsi ad una logica che imbalsama la scienza nell’illusoria pretesa della ‘neutralità’, tradendone la natura sostanziale di impresa umana, e che, di conseguenza, conduce, alla feticizzazione delle tecniche e ad un mistificante abuso di esse in nome di una malintesa Metodologia” (Statera 1974, p. 22).

Un ulteriore effetto perverso è rintracciabile nella disattenzione posta sui prodotti finali della valutazione, quasi che il richiamo alla valutazione si esaurisse nella sua stessa pratica, indipendentemente da ogni capacità di costruire solide argomentazioni e altrettanto solide base dati per sostenere il giudizio valutativo. Da questo punto di vista la valutazione prende la forma di un rito che, come scrive Damonte (2009), “proietta comunque legittimità sul policy making” assicurando “standard di credibilità” (p. 32) apparentemente neutri, senza alcun legame con il destino delle politiche valutate come dimostrano, ad esempio, i casi del RMI e del programma friulano. Solo per fare qualche esempio ci soffermeremo brevemente sul report intermedio del Reddito di Garanzia trentino e su quello della Cittadinanza Solidale della regione Basilicata. Il primo è basato su un’analisi controfattuale e più precisamente sul ricorso al metodo della differenza nelle differenze, con l’obiettivo di analizzare l'impatto della misura sui consumi e la partecipazione al mercato del lavoro. I valutatori scoprono che la prima indagine campionaria (4mila famiglie trentine) realizzata prima dell’avvio della misura non rappresenta che in misura ridotta i beneficiari del RG e che occorre procedere ad una seconda rilevazione retrospettiva su campione di soli beneficiari estratti dai database per la gestione amministrativa della misura, mettendo a rischio l’attendibilità dei dati così raccolti, nonché la loro comparabilità. Del secondo, se si esclude l’accanimento nel ricercare

effetti della misura sul Pil regionale10, colpisce la profonda disattenzione per la figura del beneficiario cui la misura era rivolta, tanto da commentare il giudizio negativo espresso frequentemente dai beneficiari sulle misure di integrazione sociale proposte (corsi di formazione di informatica, inglese e cultura di base) appellandosi all'incapacità dei beneficiari di capire "appieno l’utilità del percorso che veniva suggerito loro" o la "poca propensione allo studio". Allo stesso modo si ritiene "bizzarra" o "provocatoria" la posizione degli intervistati che abbiano considerato inutile l'orientamento formativo tanto da chiedersi "perché tali rispondenti abbiano fatto domanda di partecipazione al programma".

Pare insomma piuttosto paradossale che la valutazione sia capace di produrre analisi sofisticate (spesso poco comprensibili) e grandi basi dati (spesso inutilizzate), ma solo una immagine sfuocata del beneficiario (povero), dimenticando che i beneficiari sono il motivo per cui i programmi sono stati pensati e il livello su cui si realizza il cambiamento che gli stessi programmi assumono come obiettivo ultimo. Ma soprattutto dimenticando che spiegare le ragioni del cambiamento indagando i “perché” delle catene causali costituisce un modo per apprendere dai casi di successo in vista di una possibile generalizzazione, molto più di quanto possa dire la misurazione di un effetto statisticamente significativo.

10

Questa scelta è largamente spiegabile alla luce del ruolo assunto dal Nucleo regionale di verifica e valutazione degli investimenti pubblici nella valutazione della misura, del quale si colgono tutte le competenze macroeconomiche più che quelle valutative.

Riferimenti bibliografici Battistelli, F., a cura di (2002), La cultura delle amministrazioni tra retorica e innovazione, Milano:

Franco Angeli Bezzi, C. (2003) Il disegno della ricerca valutativa, FrancoAngeli, Milano Bezzi C. (2007) Cos’è la valutazione, FrancoAngeli, Milano Bonvin, J.M., Rosenstein, E. (2009), Al di là delle politiche basate sull'evidenza. Strutture cognitive e

impliczioni normative nelle politiche di integrazione sociale, Rivista delle Politiche Sociali, 3, pp: 85- 106

Borghi, V., de Leonardis, O., Procacci, G., a cura di (2013), La ragion politica. Volume secondo. I discorsi delle politiche, Napoli: Liguori

Bourdier, P. (2003), Il mestiere di scienziato, Feltrinelli, Milano. Czarniawska, B., Jeorgeos B. (1996), Travels of ideas, in Czarniawska, B., Sevon, G., eds, Translating

Organizational Change, pp: 13-48, Berlin: de Gruyter Damonte, A. (2009), Sapere e politiche pubbliche. Come è cambiato il discorso sulla «buona

conoscenza per le politiche», e cosa implica, Rivista delle Politiche Sociali, 3, pp. 23- 45 de Leonardis, O. (2009), Conoscenza e democrazia nelle scelte di giustizia: un'introduzione, Rivista

delle Politiche Sociali, 3, pp. 73- 84 Fisher, F. (1993), Citizens Participation and Democratization of Policy Expertise: from Theoretical

Inquiry to Practical Cases, Policy Sciences, 26, pp. 165- 187 Foucault, M. (2005), Sorvegliare e punire. Nascita della prigione, Torino: Einaudi Foucault, M. (1988), La volontà di sapere, tr. it., Milano: Feltrinelli Granaglia, E., Bolzoni, M. (a cura di) (2010), Il reddito minimo di inserimento. Analisi e valutazioni

di alcune esperienza locali, Quaderni Cies, 3 Laclau, E., Mouffe, C. (1985), Hegemony and Socialist Strategy: Towards a Radical Democratic

Politics, Londra: Verso Lumino, R. (2013), Valutazione e teorie del cambiamento. Le politiche locali di contrasto alla

povertà, Milano: Franco Angeli Lumino, R., Morlicchio E. (2013), Gli schemi regionali di reddito minimo: davvero una esperienza

fallimentare?, Autonomie Locali e Servizi Sociali, 2, pp: 235- 248 Martini A. (1997), Valutazione dell’efficacia di interventi pubblici contro la povertà: questioni di

metodo e studi di casi, Commissione di Indagine sulla povertà e sull’emarginazione sociale, Roma: Istituto Poligrafico di Stato

Martini, A. (2006), Una lettura minimalista del ruolo della valutazione nella pubblica amministrazione, in Forte, F. e Robotti, L., a cura di, La gestione manageriale nella pubblica amministrazione, Milano: Franco Angeli

Martini A. e Sisti M. (2009) Valutare il successo delle politiche pubbliche, Il Mulino, Bologna. Marradi, A. (1980), Concetti e metodo per la ricerca sociale, Giuntina, Firenze Pawson R., Tilley N. (1997) Realistic evaluation, Sage, Thousand Oaks, Ca Pinto, V. (2012). Valutare e punire. Una critica alla cultura della valutazione, Napoli: Edizioni

Cronopio Porter, T.M. (1995), Trust in numbers. The Pursuit of Objectivity In Science and Public Life,

Princeton: Princeton University Press Ricotta, G. (1998), Controllo di gestione e valutazione in tre grandi comuni italiani: i punti nodali

del discorso manageriale, in Battistelli, a cura di, pp. 203- 223 Sacchi, S. (2005), Reddito minimo e politiche di contrasto alla povertà in Italia, URGE, Working

Paper, 1

Sanderson, I. (2002), Evaluation, Policy learning and Evidence based policy making, Public Administration, 1, pp: 1- 22

Saunders, M. (2012), The use and usability of evaluation outputs: A social practice approach, Evaluation, 18(4) 421– 436

Spano, P., Trivellato, U., Zanini, N. (2013), Le esperienze italiane di misure di contrasto della povertà: che cosa possiamo imparare?, IRVAPP; Paper tecnico, 1

Stame, N.(1998), L’esperienza della valutazione, Roma: SEAM Stame, N. (2001), Tre approcci principali alla valutazione, in Palumbo, M., Il processo della

valutazione, pp: 21- 46, Milano: Franco Angeli Stame, N.(2002), La cultura della valutazione tra pragmatismo e istituzionalizzazione in Battistelli,

a cura di, pp. 203- Stame N. (2006) Valutazione come apprendimento, Rassegna Italiana di Valutazione, a. x, n. 34 Stern, E., Stame, N., Mayne, J., Forss, K., Davies, R., Befani, B. (2012), Broadening the range of

designs and methods for impact evaluations, Report of a study commissioned by the Department for International Development, Working paper 38

Toulemonde, J. (2000), Evaluation culture(s) in Europe: Differences and convergences between national policies, Vierteljahrshefte Zur Wissenschaftforshung, 3, pp: 150- 157

Vedung, E. (2010), Four Waves of Evaluation Diffusion, Evaluation, 16, pp: 263- 277 Weiss, C.H., (1998), Have we learned anything new about the use of evaluation, American Journal

of Evaluation, 19 (1), pp: 21- 33 Weiss, C.H., Bucuvalas, M.J. (1980), Social Science Research and decision making, New York:

Columbia University Press