metodi e tecniche di valutazione dei progetti · metodi e tecniche di valutazione dei progetti...

Metodi e tecniche

di valutazione dei progetti

Prof.ssa Isabella Santini

Parte A.

2

A. I processi di valutazioneMartini A., Sisti M., 2009, Valutare il successo delle politiche pubbliche , Il Mulino, Bologna.

B. Le politiche strutturali dell’UEMateriale distribuito dal docente

3

Parte A.

4

Finalità

Trattazione dei metodi analitici utili a dare un

giudizio empiricamente fondato sul successo di

una politica pubblica che persegue finalità di

cambiamento

Concetti generali

Analisi di implementazione (implementation analysis)

Analisi degli effetti (impact analysis)

5

I concetti generali

6

Definizione di valutazione

Attività tesa alla

produzione sistematica di informazioni

per dare giudizi su azioni pubbliche

con l’intento di migliorarle

7

i. Sistematicità nella produzione di informazioniFondamento empirico della valutazione

ii. Individuazione di un termine di confronto utile alla

formulazione di un giudizioQuale ?Perché ? Obiettivo da raggiungereCome ?

iii. Intento migliorativoSupporto alle decisioni per scelte più informate e consapevoli

iv. Attenzione alle esigenze conoscitive dei possibili

utilizzatoriSpecificità delle domande

8

Perché valutare ?

A quali domande si vuole dar risposta

per adottare quali decisioni

9

1.

2.

3.

4.

5.

10

1. Valutare per scegliere (Choice- ex ante)

Giudizio comparativo

Iter : scelti n oggetti (alternative) sottoposti a valutazione

* si stabiliscono i criteri di valutazione ;

* si assegna un valore a ciascun criterio

predefinito per ogni oggetto analizzato ;

* si aggregano i valori assegnati per ottenere

la valutazione finale.

Analisi costi-benefici

Analisi multi criteri

Decisione allocativa

11


Segue

Es.

Richiesta dall’UE per i Fondi Strutturali, il Fondo di Coesione

a) Definizione degli obiettivi

b) Identificazione del progetto

c) Analisi di fattibilità e delle opzioni

d) Analisi finanziaria

e) Analisi economica

f) Analisi multicriterio

g) Analisi di sensibilità e di rischio

13

Segue


Es.

Progetto comunitario volto a modificare

il sistema di trasporto e distribuzione di energia

0,4

3,0

14

2. Valutare per gestire (performance)

questa organizzazione sta svolgendo bene il compito che le è

stato affidato?

* individuazione degli aspetti dell’agire dell’organizzazione ;

* definizione degli indicatori utili a descrivere la performance ;

* determinazione degli standard per ciascun indicatore ;

* raccolta dei dati e costruzione degli indicatori ;

* interpretazione dei risultati .Controllo di gestione

Certificazione di qualità

Forme di accreditamento

Indagini di soddisfazione

15

3. Valutare per rendere conto

Trasparenza

Bilancio sociale

cosa è stato fatto dall’amministrazione per affrontare certi problemi collettivi?

Apparato informativo Fondi Strutturali Europei

es.

http://www.uniroma1.it/ateneo/governo/normativa-e-documenti/bilancio-sociale

www.poste.it/azienda/chisiamo/bilanciosociale.shtml

(es. www.dps.tesoro.it )

http://www.uniroma1.it/ateneo/governo/normativa-e-documenti/bilancio-sociale

http://www.poste.it/azienda/chisiamo/bilanciosociale.shtml

http://www.dps.tesoro.it/

16

4. Valutare per apprendere (Learning)

a. Apprendimento rivolto alla collettivitàServe o non serve adottare questa soluzione per limitare l’entità di questo problema ?

b. Valenza retrospettivaGiudica decisioni ed attività del passato

c. Non ha finalità gestionali;

d. Non nasce per testimoniare all’esterno il corretto utilizzo delle risorse .

Attori esterni

Analisi di implementazione

Analisi degli effetti

17

5. Valutare per motivare

Partecipazione e motivazione

come è possibile motivare una certa collettività a muoversiverso una comune direzione di cambiamento ?

Action-Research

18

Politica

Policy

Politics

Sistema di relazioni competitive che si

instaurano tra soggetti (gruppi od individui ) che

ambiscono a conquistare il potere di assumere

delle decisioni in nome e per conto di una certa

comunità

Insieme di azioni decise da un attore o da un

gruppo di attori al fine di affrontare un

problema collettivo

Situazione che sia socialmente percepita come negativa, o

comunque insoddisfacente, e perciò meritevole di

cambiamento.

19

Valutare una politica pubblica

Valutare la capacità della politica

pubblica di ridurre le cause o di

alleviare i sintomi di una patologia che

essa tenta di combattere

Trattamento somministrato [….] per

curare/prevenire una malattia sociale

20

Valutare una politica pubblica

Individuare:

i. La patologia che motiva l’esistenza dell’intervento ;

ii. La specifica terapia adottata ;

iii. I pazienti da curare ;

iv. Il miglioramento che l’intervento intende produrre ;

v. I beneficiari dell’intervento.

21

Pazienti ≠ Beneficiari

Pazienti = Beneficiari

22

Modalità di lettura delle politiche

1. Livello di aggregazione

2. Attenzione che si intende dedicare al processo decisionale;

3. Politiche intese come

soluzioni volte ad affrontare problemi collettivi .

Specificità

Sommatorie di interventi

23

i) Analisi di implementazione

Produce giudizi su come l’intervento è stato

attuato

ii) Analisi degli effetti

Stima gli effetti prodotti dall’intervento

Ricerca sociale

Policy analysis

Economia

Statistica

Come valutare il successo delle politiche pubbliche

24

L’analisi d’implementazione

25

II. QUANDO SI DELEGA

TUTTO (O QUASI)

Interventi dalle finalità ampie

ed attuati con bando o altre modalità

di delega

I. QUANDO TUTTO CAMBIA

Grandi politiche di riforma

III. QUANDO SI SPERIMENTA

Progetti pilota

ed interventi dimostrativi

IV. QUANDO SI SA GIA’ SE LE COSE

STANNO FUNZIONANDO

Soluzioni mirate

di cui si conoscono i risultati

Composite

Uniformi

Di nuova adozione Da tempo a regime

26

i. La riforma è stata applicata come previsto ?

ii. Gli obiettivi erano chiari a tutti i soggetti coinvolti ?

iii. Quali comportamenti sono stati adottati per agevolare l’adozione di nuove regole ?

iv. Quali per contrastarle ?

v. Chi ha tenuto tali comportamenti ?

vi. Quali sono state le principali difficoltà incontrate e quali soluzioni sono state individuate per farvi fronte ?

Quando tutto cambia

Istituzione dei centri per l’impiego

27

Quando si delega tutto (o quasi)Aggregate multisite program

i. In che modo i soggetti finanziati utilizzano le risorse a loro disposizione ?

ii. Come hanno reinterpretato l’ampio mandato che è stato loro assegnato ?

iii. Quali soluzioni hanno adottato ?

iv. A favore di chi ?

v. Quali risultati hanno raggiunto ?

28

Quando si sperimenta

Verifica di fattibilità di una soluzione di policy

Analisi di implementazione e degli effetti

29

Quando si sa già se le cose stanno funzionando

i. Quali sono i fattori che hanno aiutato oppure impedito la produzione degli effetti previsti ?

ii. Su quali settori della popolazione target l’intervento sembra avere inciso con maggior forza ?

iii. Chi ha risposto meglio al trattamento e perché ?

iv. L’intervento ha prodotto conseguenze indesiderate ?

v. Ha dato luogo a comportamenti opportunistici ?

Analisi dei meccanismi causali

30

Tipo di valutazione

Formativa Conclusiva

Finalità Intervenire direttamente nel

processo d’attuazione

di una politica

Esprimere un giudizio di

merito dopo che la

politica è stata attuata

Utilizzatori Staff di persone impegnate

nel dare attuazione alla

politica

Policy makers,

finanziatori,

contribuenti

Ruolo della valutazione Interno all’organizzazione

e vicino agli operatori

che gestiscono la

politica

Esterno

all’organizzazione ,

indipendente

Valutatori ed utilizzatori Interazione frequente Interazione rara

Natura del prodotto Non pubblico e

confidenziale

Pubblico ed accessibile

31

Quando è necessario indagare

in merito all’attuazione di una politica ?

i. Livello di innovazione organizzativa

ii. Numerosità degli attori

iii.Grado di conflittualità

iv.Onere imposto sui destinatari della politica

v. Incertezza nel disegno

32

Organizzare una valutazione

Analisi di implementazione

Analisi degli effetti

a. Descrizione delle attività da realizzare ;

b. Esplicitazione delle ipotesi su ciò che accadrà in seguito a tali realizzazioni

c. Spiegazione delle motivazioni che stanno alla base di tali ipotesi

Modello logico

Teoria del cambiamento

Se …………………….allora…………..

34

i. Lettura dei documenti elaborati prima e subito dopo il varo

dell’intervento ( resoconti di riunioni, regolamenti, reports

finanziari,….);

ii. Intervista alle persone coinvolte nel disegno dell’intervento

Modello logico : metodologia

35

1. Come è nata l’idea di realizzare questa politica ?2. Chi ne ha proposto l’adozione ? In quale modo e in che tempi ?3. Esistevano già politiche simili ? In cosa questa si differenzia dalle

altre ? Perché si è pensato che questo fosse il momento giusto peravviare una politica di questo tipo ?

4. A chi si rivolge l’intervento ? Esistono dei requisiti particolari perpartecipare alla politica ? Viene fatta una selezione ? Di che tipo echi se ne occupa praticamente ?

5. Cosa comporta la partecipazione alla politica per i beneficiari ? Cosadevono fare ? Cosa ricevono ?

6. Qual è lo scopo che si intende raggiungere ? Quali concreti risultati sivogliono ottenere ?

7. Si può andare incontro a qualche conseguenza indesiderata ? Di chetipo ?

8. Quali organizzazioni si prevede di coinvolgere nell’attuazione ?Quali procedure di lavoro seguiranno ?

9. Cosa potrebbe andare storto durante l’attuazione ? Cosa potrebbebloccarne lo sviluppo ?

10.Qualcuno era contrario all’adozione della politica ? Chi e per qualemotivo ?

36

Perché il valutatore può sbagliare ?

1.Confusione di ruoli ;

2.Pochi intervistati con conoscenze superficiali ;

3.Attenzione esclusiva ai numeri ;

4. Impiego meccanico del modello logico .

37

Programma Car Sharing

51

Le domande sull’implementazione

52

Politica finanziata dal

Department of Health and Human Services

del governo federale americano al fine di rendere più

stabili i rapporti di coppie non sposate con figli neonati.

Building Strong Families

53


Finalità della valutazione

apprendere se certi servizi di sostegno offerti a coppie

non sposate con figli neonati possono rafforzare il

legame tra i partner ed aiutarle a costruire una vita

matrimoniale soddisfacente

54


Servizi offerti

a) Partecipazione a sessioni di gruppo ;

b) Assistenza di un family coordinator ;

c) Aiuto continuo nelle pratiche burocratiche per la ricerca

di servizi di sostegno.

55

1.Preparazione della politica :

Modalità in cui gli enti si sono organizzati per erogare i servizi.

2. Selezione dei beneficiari :

Modalità di contatto delle coppie candidate al trattamento ; caratteristichesocio-demografiche delle coppie ; tasso di abbandono e motivazioni.

3. Erogazione del trattamento:

Servizi offerti e differenze locali; tassi di abbandono; valutazione delle coppie .

4. Reazione dei beneficiari e dell’ambiente circostante :

Analisi dell’evoluzione delle relazioni di coppia.

Building Strong Families Le domande sull’implementazione

56

Obiettivi conoscitivi analisi di implementazione (Werner, 2004)

i. Descriverecosa è stato realizzato

chi sono i responsabili

chi ne riceve i benefici/ne subisce le conseguenze

ii. Giudicarese corrisponde al disegno ideale

iii. Spiegare perché un intervento funziona/non funziona

Attività tesa alla produzione

sistematica di informazioni per dare

giudizi su azioni pubbliche con

l’intento di migliorarle

57

Ci aiuti a capire cosa è successo

Descrivere cosa è stato realizzato

Unità di analisi

a. I soggetti attuatori

b. I trattamenti erogati

c. I destinatari dell’intervento

58

Cosa osservare ?Quando osservare ?Come osservare ?Attraverso quali occhi osservare ?

Monitoraggio

Documentare in modo sistematico l’evolversi di

alcuni aspetti chiave della messa in opera di una

politica pubblica

Quale utilizzo si intende fare dell’informazione raccolta ?

59

Cosa osservare ?

Unità di analisi

Soggetti attuatori Trattamenti erogati Destinatari

1. Competenze 1.Modalità 1..Caratteristiche

2.Struttura organizzativa 2.Tempo 2.Atteggiamenti

3.Collegamenti 3.Costo 3.Relazioni

60

• in quali momenti ?

• con quale cadenza ?

• per quanto tempo ?

Quando osservare ?

61

Counseling psicologico offerto agli studenti

Destinatari del trattamento (cadenza variabile)

i. individuazione dei candidati al trattamento;ii. informazione ai candidati della possibilità di fruire del servizio;iii.richiesta del servizio di counseling;iv.partecipazione al trattamento;v. chiusura del trattamento;vi. follow-up sulle condizioni dello studente.

Soggetti attuatori (cadenza fissa)

i. prima che la politica abbia inizio sui docenti;ii. dopo un primo periodo di addestramento e di avvio del

servizio su docenti e psicologi ;iii.a conclusione dell’anno scolastico ;iv.a metà anno scolastico successivo.

62

Come osservare ?

• standardizzata

In forma

Distribuzioni di frequenza

Indici statistici

Grafici

• non strutturata

Documentazione

Interviste aperte

63


Informazioni

quantitative

qualitative

64


Informazioni quantitativeLocalità % coppie presenti

al primo incontro

Percorso terminato

> 80%

Ore frequenza

1. Atlanta (a) 79 23 21,6

2. Atlanta(b) 70 40 29,4

3.Baltimore 61 12 19,1

4. Baton Rouge 64 30 21,8

5. Broward County 65 3 12,9

6. Orange County 61 7 16,0

7. Allen County 50 20 25,8

8. Lake County 50 0 19,0

9. Marion County 40 15 28,2

10. Oklaoma City 80 40 24,3

11. Houston 43 3 20,0

12. San Angelo 57 12 25,1

Tutte le località 61 16 20,7

65


Informazioni qualitative

• analisi della documentazione ;

• interviste semi-strutturate.

66

Attraverso quali occhi osservare ?

• Valutatore

• Osservatore ad hoc

• Attore protagonista

• Testimone esterno

67

Giudicare

• Aspettative dei policy makers

• Opinioni dei beneficiari

Target quantitativi fissati ex-ante

Target (anche quantitativi) fissati

in corso d’opera

• Esperienza altrui

Valutazioni precedenti

Giudizi di esperti

68


69

Spiegare

• Perché alcune delle attività pianificate sono state omesse ?

• Perché alcuni enti hanno deciso di adottare proprio quella procedura per erogare il trattamento ?

• Perché gli attori sono entrati in conflitto tra loro ?

• Perché parte dei destinatari potenziali non hanno partecipato alla politica ?

• Perché l’intervento ha avuto una diffusione diseguale sul territorio ?

• Perché per alcune categorie di beneficiari l’intervento sembra aver funzionato meglio che per altre ?

• Perché si sono manifestate conseguenze indesiderate ed inattese ?

Causalità

70

Spiegare processo di analisi

a. Generare ipotesi alternative sui motivi che hanno portato al

manifestarsi di certi accadimenti ;

b. Individuare , tra le varie ipotesi formulate, quelle più plausibili e

convincenti, sulla base dell’evidenza empirica raccolta;

c. Fornire indicazioni per un possibile cambiamento nelle modalità

attuative così da rimuovere le cause di insuccesso.

Spiegare

• con il confronto;

• con interviste agli interessati.

71

1. Modalità di coinvolgimento 2. Motivazioni dei destinatari

• Troppo tempo dal contatto al primo

incontro

• Problemi legati allo stato di

gravidanza o alla cura del neonato

• Nessun recall prima dell’incontro • Difficoltà nel far conciliare i tempi di

lavoro con la partecipazione alle

sessioni di lavoro

• Orari delle lezioni che ostacolano la

frequenza

• Riluttanza a mettersi in discussione

in una situazione di gruppo

• Scelta di sedi distanti dalle abitazioni

• Nessun concreto beneficio a

compensare il costo determinato

dalla partecipazione

72

Analisi dell’implementazione

Tecniche per la raccolta dei dati

i. Lettura dei documenti prodotti nel corso dell’attuazione

ii. I dati amministrativi

iii.Questionari standardizzati

iv. I diari

v. Il Metodo Delphi

i. In-depth interview

ii. Focus group

iii.Metodi etnografici e osservazioni on site

73


i. Lettura dei documenti prodotti nel corso dell’attuazione

Atti ufficiali e nonGlossario

Elenco cronologico

Come sono stati interpretati gli obiettivi della politica dai diversi soggetti attuatori ?Vi sono stati momenti di conflitto o di tensione tra le organizzazioni ?Quali regole o procedure sono state adottate per facilitare l’applicazione dell’intervento ?

Fase

di

preparazione

della politica

74

ii. I dati amministrativi


Quanti sono coloro che hanno richiesto un servizio ?Quanti coloro che sono stati ammessi o esclusi ?Quali sono le loro caratteristiche ?

Fase di

selezione

dei

beneficiari

Quanti trattamenti sono stati erogati ?In che tempi ?Con quali costi ?

Fase di

somministrazione

del trattamento

Poco attendibiliNon registratiNon conservatiSensibili

75


iii. Questionari standardizzati

Quesiti a risposta chiusaQuesiti a risposta puntualea.

AutocompilatiSomministrati

b.

Fase di selezione dei beneficiari

Fase di erogazione del trattamento

Fase di reazione all’intervento

76


iv. I diari

Fase di selezione dei beneficiari

Fase di erogazione del trattamento


77


v. Il Metodo Delphi

Fase di preparazione della politica


Il metodo Delphi è una tecnica di raccolta

d’informazioni che riproduce “artificialmente”

il dibattito spontaneo (Jantsch, 1969).

Il metodo Delphi è una tecnica usata per ottenere risposte ad un

problema da parte di un gruppo (panel) di esperti indipendenti

attraverso più passaggi. Dopo ogni passaggio un amministratore

fornisce un anonimo sommario delle risposte degli esperti e le

loro ragioni. Il processo si arresta quando si raggiunge consenso.

78


i. In-depth interview

a. Intervista informale

b. Intervista semi-strutturata o guidata

c. Intervista strutturata

1. La scelta dell’intervistato

2. La costruzione della traccia dell’intervista

3. La scelta delle modalità di contatto

dell’intervistato e della sede

dell’intervista

4. La conduzione dell’intervista

5. L’analisi della documentazione empirica

Fase di

preparazione della

politica

-Come hannointerpretato gliobiettivi della politica :- Con quale frequenzagli enti attuatoricomunicano tra loro ecome interagiscono ?- Vi sono statimomenti di tensione edi conflitto ?

79


ii. I “focus groups”

Intervista collettiva gestita da

a. moderatore;

b. rilevatore .

Fase di analisi dei risultatiPerché la politica non ha trovato attuazione ?Perché sembra aver trovato attuazione solo in alcuni contesti ?

80


iii. I metodi etnografici e le osservazioni “on site”

Osservazione partecipante

non partecipante

82

L’analisi degli effetti

83

Valutare gli effetti delle politiche

Verificare la capacità di una politicapubblica di modificare nella direzionedesiderata i comportamenti o le condizionidi una determinata popolazione didestinatari

Effetto su cosa

Effetto di cosa

84

Valutare gli effetti delle politiche

Misurabilità della dimensione

su cui la politica vuole

incidere

1.

Definizione delle dimensioni 2.

Individuazione delle variabili

a. risultato (outcome variables)

b. trattamento

3.

Misura della differenza tra ciò che è accadutodopo l’attuazione della politica (fattuale) e ciòche sarebbe accaduto se quella stessa politicanon fosse stata realizzata (controfattuale).

Nesso causale

85

Un esempio : le borse - lavoro

Politica : erogazione di borse lavoro della

durata di un anno con l’obiettivo delreinserimento lavorativo .

Attività : i beneficiari ricevono un

sussidio mensile di 500 € per 100 ore.

Valutazione : l’offerta di una borsa-

lavoro serve realmente a reinserire nelmercato del lavoro gli ex-tossicodipendenti ?

86


Ovvero

qual è l’effetto della borsa sul reddito dalavoro dei beneficiari l’anno successivoalla fruizione della borsa ?

e sulla probabilità di avere unaoccupazione a tempo indeterminato ad unanno di distanza dalla conclusioneprevista della borsa lavoro ?

87


Numero di

borse-lavoro

erogate

Anno 2000

Numero di

interviste

effettuate

Anno 2002

(follow up)

Tasso

di risposta

Reddito

annuale medio

Anno 2001

% occupati stabili

a fine 2001

728 627 86,1% € 9.835 32,4

Indicatori di impatto

“I dati mostrano come le borse-lavoro abbiano avuto un impatto significativosulla situazione reddituale e lavorativa dei beneficiari delle borse che hannoavuto un reddito medio di € 9.835 con un 32,4% occupato a tempoindeterminato a fine 2001”

Valori fattuali e i controfattuali ?

88


Beneficiari nel 2000

Intervistati nel 2002

Reddito annuale medio

1999 2001

627 € 5.642 € 9.835

Variazione assoluta € 4.193

Variazione percentuale 74,3%

“I dati mostrano come le borse-lavoro abbiano avutoun impatto significativo sulla situazione redditualedei beneficiari delle borse che hanno avuto un redditomedio di € 9.835 che rispetto ai € 5.642 del 1999rappresenta un incremento di € 4.193 pari al 74,3%.E’ chiaro come questi effetti positivi giustifichino laspesa sostenuta dall’amministrazione regionale per leborse -lavoro”

?

89


?Cautela nell’interpretazione

Possibile dinamica spontanea

90


Domande presentate

Anno 1999

Numero di interviste

effettuate

Tasso di risposta

(%)


Anno 2001

% Occupati stabili

fine 2001

Beneficiari

borsa-lavoro

728 627 86,1 € 9835 32,4

Esclusi

borsa-lavoro

1426 1098 77,0 € 7503 23,6

“I dati mostrano come le borse-lavoro abbiano avutoun impatto significativo sulla situazione redditualee lavorativa dei beneficiari delle borse che hanno avutoun reddito medio di € 2.332 superiore (+ 31%) aquello dei richiedenti esclusi dalla borsa permancanza di fondi. Inoltre ben il 32,4% deibeneficiari della borsa ha un lavoro a tempoindeterminato alla fine del 2001, contro il 23,6%degli esclusi.”

?

91


?Cautela nell’interpretazione

Distorsione da auto selezione

92

Un esempio : un programma di recupero urbano

Politica : programma di recupero urbano

per ridurre gli atti di vandalismo .

Attività : 50 quartieri (in altrettante città)

interessati nel periodo 2000-04 da un programma direcupero urbano.

Valutazione : il programma ha ridotto

gli atti vandalici ?

93

Indicatori di impatto

Un esempio : un programma di recupero urbano

Quartieri Numero Atti vandalici denunciati

per 100.000 abitanti

Anno 2000 Anno 2004 Differenza

Trattati 50 62,90 66,37 + 3,47

Non trattati 250 46,37 57,50 +11,13

Quartieri Numero Atti vandalici denunciati

per 100.000 abitanti

Anno 1996 Anno 2000 Differenza

Trattati 50 54,96 62,90 + 7,94

Non trattati 250 39,96 46,37 + 6,41

94

Modello di Rubin

Yi variabile-risultato (continua)

Ti variabile trattamento (dicotomica)

Yi reddito

Ti

0 non laureato

1 laureato

95

Yi1 se l’i-esimo individuo è stato sottoposto a trattamento

(reddito potenziale da laureato)

Yi0 se l’i-esimo individuo non è stato sottoposto a trattamento

(reddito potenziale da non laureato)

Yi

Yi=Ti*Yi1+(1-Ti)*Yi

0 [Yi=Yi0+Ti*(Yi

1-Yi0)]

δi = Yi1 - Yi

0

Modello di Rubin

Effetto del trattamento = differenza tra i risultati potenziali

96

Modello di Rubin

• | condizionamento ad un sottoinsieme

della popolazione («tra»)

• E( ) valore atteso («expected» – «media di»)

• YT risultato potenziale («da»)

97

Modello di Rubin

Es.

E(Y1) media della variabile risultato da

laureato (da trattato)

E(Y1| T=1) media della variabile risultato

da laureato tra i laureati (da trattato tra i

trattati)


da laureato tra i non laureati (da trattato tra

i non trattati)

98

Modello di Rubin

Es.

E(Y0) media della variabile risultato da

non laureato (da non trattato)


da non laureato tra i laureati (da non

trattato tra i trattati)


da non laureato tra i non laureati (da non

trattato tra i non trattati)

99

Modello di Rubin

Qual è l’effetto atteso della laurea sul reddito per un individuo tratto a caso dalla popolazione ?

100

Effetto medio nella popolazione (Average Treatment Effect)

Modello di Rubin

E(δi ) = E(Yi1 - Yi

0 ) = E(Yi1 ) – E(Yi

0 )1.

101

E(δi | T=0 ) = E(Yi1 - Yi

0 |T=0) = E(Yi1 |T=0) – E(Yi

0 |T=0)

Modello di Rubin

2.

Effetto medio fra i non trattati

102

Effetto medio fra i trattati (Average Treatment Effect on the Treated)

E(δi | T=1 ) = E(Yi1 - Yi

0 |T=1) = E(Yi1 |T=1) – E(Yi

0 |T=1)

Modello di Rubin

3.

Valutazione dell’efficacia di una politica già attuata

103

Distorsione da selezione

E(Yi1 |T=1) – E(Yi

0 |T=0) =

Differenza TRATTATI/NON TRATTATI

E(Yi1 |T=1) – E(Yi

0 |T=1) + E(Yi0 |T=1) – E(Yi

0 |T=0)

Effetto medio sui TRATTATI (ATT) Distorsione da SELEZIONE

Media del risultato potenziale

da trattato osservato fra i

trattati

Media del risultato

potenziale da non trattato

osservato fra i non trattati

Media del risultato potenziale da

non trattato fra i trattati,

il controfattuale

104

Si presuppone che

a. la politica non sia di tipo UNIVERSALE ;

b. i dati sulla variabile-risultato siano stati raccolti ancheper i non trattati ;

c. i dati relativi ai non trattati siano sufficienti aricostruire la situazione CONTROFATTUALE .

Strategia di identificazione degli effetti

Confronto TRATTATI/NON TRATTATI

E(Yi0 |T=1) = E(Yi

0 |T=0)

E(Yi1 |T=1) – E(Yi

0 |T=0)

Differenza TRATTATI/NON TRATTATI = Effetto medio del trattamento fra i trattati

106

Si presuppone che

a. la variabile risultato sia ripetibile nel tempo ;

b. i dati sulla variabile-risultato siano stati raccolti ancheprima del trattamento ;

c. i dati pre-trattamento siano sufficienti a ricostruire lasituazione CONTROFATTUALE .

Strategia di identificazione degli effetti Confronto PRE-POST

E(Yt+10 |T=1) = E(Yt-1

0 |T=1)

E(Yt+11 |T=1) – E(Yt-1

0 |T=1)

Differenza PRE-POST = Effetto medio del trattamento fra i trattati

107

Il metodo sperimentale

Confronto Trattati/Non Trattati?Distorsione da SELEZIONE

Gruppo sperimentale

di controllo

RandomizedControlled

Trials

109


Domande

presentate

Anno 1999

Numero

di

interviste

effettuate

Tasso di risposta

%

Caratteristiche socio-demografiche al

momento della richiesta

Età

media

% di

donne

% con

diploma

Punteggio al

test

Beneficiari 728 627 86 32,4 22,8 27,9 87,2

Esclusi 1426 1098 77 30,0 20,6 24,2 78,1

per errore 656 535 82 31,7 23,3 27,4 86,3

per ritardo 770 563 73 28,4 18,0 21,1 71,2

Randomizzazione di fattogruppo di controllo

110


111

distorsione da selezione

E(Yi1 |T=1) – E(Yi

0 |T=0) =


[9835-7503]

E(Yi1 |T=1) – E(Yi

0 |T=1) + E(Yi0 |T=1) – E(Yi

0 |T=0)

Effetto medio sui TRATTATI (ATT)

[9835-9343]

Distorsione da SELEZIONE

[9343-7503]

Media del risultato potenziale

da trattato osservato fra i

trattati Media del risultato

potenziale da non trattato

osservato fra i non trattati

Media del risultato potenziale da

non trattato fra i trattati,

il controfattuale


112

Un esempio : National Supported Work Demonstration

Politica: reinserimento lavorativo di

soggetti che soffrono di varie forme diemarginazione sociale

Attività : supported work per 1 anno a madri-

single, giovani drop-out scuola superiore, extossicodipendenti, ex carcerati. Realizzata in 14 centriurbani.

Valutazione : conoscitiva

113

Ovvero

qual è l’efficacia del supported worknell’aumentare la partecipazione al lavoro e nelridurre la loro dipendenza dai sussidi pubblici ?

quale tipologia di svantaggio trae maggiorbeneficio da questo intervento ?

quanto costa operare un simile tipo di intervento ?

qual è il rapporto tra costi sostenuti e beneficiottenuti ?


An

alisi d

ella

fattib

ilità e

de

ll’effica

cia

114


Valutazione degli effetti

Qual è l’efficacia del supported work nell’aumentare la

partecipazione al lavoro e nel ridurre la loro dipendenza

dai sussidi pubblici ?

Gruppo sperimentale (3.200 individui)Gruppo di controllo (3.400 individui)

Somministrazione di interviste

• immediatamente prima la randomizzazione ;

• una ogni 9 mesi (4 volte).

115


L’ effetto sul reddito da lavoro delle madri-single

Vari

abil

e-r

isu

ltato

Stato di

emarginazione

dal lavoro

Salario minimo

fissato per legge

per un impegno a tempo pieno

Termine

sperimentazione

Salario minimo

Dopo 27 mesi

250€ con

occupazione

regolare

(+400%)

?

Confronto pre-post

170 €

contro-fattuale

80 €

effetto

(+50%)

116


L’ effetto sul reddito tra i drop-out

117

Il metodo sperimentale :

alcuni aspetti fondamentali

1. Politiche a regime ed interventi dimostrativi;2. Disegni sperimentali complessi ;3. Numerosità campionaria ;4. Randomizzazione di gruppi o di aree geografiche.

118

H0 vera H1 vera

Accetto

H0

1-αERRORE II specie

b

Accetto

H1

ERRORE di I

specie

a

livello di

significatività

1-β

Potenza del

test

H0 il trattamento non ha effetto

Verifica delle Ipotesi

Trovo un effetto che non c’è **

Non trovo un effetto che c’è *

**Dichiaro efficace una politica

che non lo è

*Dichiaro inefficace una politica che lo è

119

a = 0.05b

H0 H1

zona di accettazione di H0

zona di rifiuto di H0

>0021 xx

*

21 )( xx

1b1 a

Distribuzione t di Student

120


numerosità campionaria

Si determina

1. α ;2. la potenza del test ;3. MDE – Minimum Detectable Effect

Dimensione minimadell’effetto che laprocedura Impiegatasia in grado diindividuare

nppzMDE

)1(

2

=

α =0,05

1-b =0,80

> MDE = intercettabile

< MDE = non intercettabile

Varianza della variabile risultato

peso gruppo sperimentale

ba 1tt

121



𝑀𝐷𝐸 = 𝑧 𝜎2

𝑝 1 − 𝑝 𝑛

𝑛 = 𝑧2𝜎2

𝑝 1 − 𝑝 𝑀𝐷𝐸2

122



𝑀𝐷𝐸 = 𝑧 𝜎2

𝑝 1 − 𝑝 𝑛

𝑛 = 𝑧2𝜎2

𝑝 1 − 𝑝 𝑀𝐷𝐸2

123



= 2500 € (627/1162)*[1- (627/1162)]

2.000

124


Effetto non intercettabile

Effetto intercettabile

125


randomizzazione di gruppi o di aree geografiche

Trattamento a livello di gruppo/area geografica (es. politiche rivolte a scuole , quartieri, etc..)

Numerosità dei gruppi/aree geografiche < individui trattati

MDE?

126

Il metodo sperimentale : limiti

L’esperimento con randomizzazione è il più solido disegnoper valutare l’impatto degli interventi. Gli esperimenti conrandomizzazione hanno limiti di applicazione tra cuiquello di essere utilizzabili solo per programmi a coperturaparziale. Inoltre, il loro uso è ulteriormente limitato daproblemi pratici relativi all’ottenimento dellacollaborazione tra i vari attori e ai tempi e ai costinecessari a condurli (Rossi, Freeman e Lipsey , 2003)

127

1. Limitata applicabilità ;

2. Ostacoli di tipo etico e politico;

3. Generalizzazione della stima degli effetti ;

4. Integrità dell’esperimento.

Il metodo sperimentale : limiti

- No - shows

- Drop - outs

- Cross - overs

Non compliance

128

Il metodo non sperimentale : aspetti generali

1.Dati osservazionali (o non

sperimentali )

2. Arbitrarietà

Derivati dall’osservazionedel corso naturale degli eventie contrapposti ai dati sperimentaliche presuppongono la possibilità dimanipolare gli eventi

Ricorso forzato a qualche assunto arbitrario .L’arbitrarietà decresce al crescere dei dati disponibili

129

Beneficiari nel 2000

Intervistati nel 2002


1999 2001

627 € 5.642 € 9.835

Variazione assoluta € 4.193

Variazione percentuale 74,3%


Confronto pre-post

L’assunto necessario ad identificare l’effetto

è che non ci sia dinamica spontanea

Altrimenti si raccolgono più dati ?

130

Reddito medio annuale

1997 1999 2001

Beneficiari della borsa-lavoro € 3.567 € 5.642 € 9.835

Dinamica spontanea

Effetto stimato € 4.193 = € 9.835 - € 5.642 Confronto pre-post


Confronto pre-post

Il reddito non è stabile nel tempo ovveroè soggetto a dinamica spontanea

131


1997 1999 2001

Beneficiari della borsa-lavoro € 3.567 € 5.642 € 7.717

Andamento lineare

Controfattuale

Effetto stimato € 2.118 = € 9.835 - € 7.717

Confronto pre-post


Assunto – Il trend osservato tra il 1997 ed il 1999 prosegue inalterato fino al 2001

132


Confronto trattati-non trattati

Numero di

interviste

effettuate


1999 2001

Beneficiari della borsa-lavoro 627 € 5.642 € 9.835

Esclusi dalla borsa lavoro 1.098 € 4.567 € 7.503

Differenza beneficiari - esclusi € 1.075 € 2.332

Effetto auto-selezione

Stima distorta dell’effetto borsa

Il metodo non sperimentale : metodo differenza-nelle-differenze

Numero di

interviste

effettuate

Reddito medio

annuale

Differenza

2001-1999

1999 2001

Beneficiari della borsa-lavoro 627 € 5.642 € 9.835 € 4.193

Esclusi dalla borsa lavoro 1.098 € 4.567 € 7.503 € 2.936

Differenza beneficiari -

esclusi

€ 1.075 € 2.332 € 1.257

Effetto depurato dalla differenza di partenza

Qual è il valore controfattuale ?

?

134


Numero di

interviste

effettuate

Reddito medio

annuale

Differenza

2001-1999

1999 2001

Beneficiari della borsa-lavoro 627 € 5.642 € 9.835 € 4.193

Esclusi dalla borsa lavoro 1.098 € 4.567 € 7.503 € 2.936

Differenza beneficiari -

esclusi

€ 1.075 € 2.332 € 1.257

Qual è il valore controfattuale ?

Valore controfattuale € 5.642 + (€ 7.503 – € 4.567 ) = € 8.578

Assunto : le differenze tra i due gruppi sono costanti nel tempo

€ 4.567 + € 1.075 + € 2.936 = € 8.578

135

?E’ accettabile ? Ci potrebbe essere selezione sui trend e selezione sui livelli


1.257

138


Effetto mediodifferenza-nelle-differenze

[ E(Y1t+1|T=1) - E(Y0

t-1|T=1) ] [ E(Y0t+1|T=0) - E(Y0

t-1|T=0) ]-

[ 5.642 – 3.567 ] - [ 4.567 – 3.025 ]

€ 533

Quindi : la stima € 1257 risulta distorta verso l’alto . Di quanto ?

139


Assunto : la differenza fra i trend tra i due gruppi è costante nel tempo

Effetto medio = € 1.257 - € 533 = € 724

7249.111

140

Metodo differenza-nelle-differenze

Un esempio : effetti del salario minimo sull’occupazione

141

Metodo differenza-nelle-differenze

Un esempio : effett0 del credito di imposta di trovare un lavoro a tempo indeterminato

metodi e tecniche di valutazione dei progetti · metodi e tecniche di valutazione dei progetti...

Documents