cosè la valutazione e soprattutto: a cosa dovrebbe servirci? claudio bezzi presidente associazione...

Cos’è la valutazione

E soprattutto: a cosa dovrebbe servirci?

Claudio Bezzi Presidente Associazione Italiana di

Valutazione

Claudio Bezzi, [email protected]

La valutazione nasce in un contesto decisionale complesso, rispetto al quale il decisore (decisore politico, programmatore, gestore…) necessita di maggiori informazioni rispetto agli esiti delle sue scelte



Risorse sempre più ridotte; Cittadini (e beneficiari in genere)

sempre più attenti e consapevoli; Sempre più attori coinvolti nelle

decisioni (parti sociali, comitati, portatori di interessi);

Impossibilità di sintesi semplici.



Quali i diversi bisogni espressi?

Quali gli elementi di ostacolo?

Cosa posso imparare di utile?

Il progetto (o servizio) ha effettivamente raggiunto gli obiettivi? Perché?


Alcuni punti da chiarire

La valutazione NON dà certezze

NON è un semplice insieme di procedure

Non è una scorciatoia per eludere i problemi

Non è mai delegabile interamente a professionisti esterni

La valutazione aiuta a vedere i problemi

E’ ricerca e analisi “cucita su misura”

E’ un modo per capire la natura dei problemi

E’ un percorso da fare assieme, tecnici e amministratori

La valutazione NON dà certezze

NON è un semplice insieme di procedure

Non è una scorciatoia per eludere i problemi

Non è mai delegabile interamente a professionisti esterni

La valutazione aiuta a vedere i problemi

E’ ricerca e analisi “cucita su misura”

E’ un modo per capire la natura dei problemi

E’ un percorso da fare assieme, tecnici e amministratori

la valutazione è analisi specifica, adattata al

contesto specifico, che mira alla comprensione

dei meccanismi che facilitano il successo o l’insuccesso dei nostri programmi, progetti e

servizi


turbolenzaequilibrio

Decisione, gestione e cambiamento,e il ruolo della valutazione

Vers

ione M

AG

GIO

20

07

Ciò cui ogni Amministrazione tende:• Servizi efficienti e cittadini contenti

• Bilancio senza problemi

• Sviluppo del territorio…


turbolenzaequilibrio


Vers

ione M

AG

GIO

20

07

Quello che accade in realtà:• Il bilancio è sempre insufficiente

• Ci sono sempre eventi esterni imprevisti cui rispondere

• Le risposte date sembrano sempre non bastare


evento turbolenz

aequilibrio


Vers

ione M

AG

GIO

20

07

• Un decreto, una legge, un nuovo adempimento, …

• Una richiesta politica, un impellente bisogno espresso dal territorio, …

• Un evento imprevisto (il terremoto in Umbria, l’arrivo di immigrati clandestini in Sicilia, …)


turbolenza


Vers

ione M

AG

GIO

20

07

evento

evento

decisione imple-ment.

equilibrio

gestione adattamento sollecita-zione

(precedenti) valutazioni di varia

natura

valutazione ex ante di risultati e

impatti

val. in itinere monitoraggiovalutazione in itinere e

intermedia

valutazione in itinere ed ex post di realizzazioni

e risultati

valutazione ex post di impatti ed

ex ante


Valutazione e attività correlatein relazione a intervento e criticità Analisi, riflessione, critica

Inte

rven

to s

ul p

roce

sso

Ast

ensi

one

dall

’int

erve

nto

Valutazione

Certificazione

Audit

Registrazione, informazione

Monitoraggio

Ricerca di base

Benchmarking

Bilancio sociale


Gli attori sociali rilevanti per la valutazione

(Bisogni) Decisione Implementazione Gestione Fruizione

Att

ori c

he p

rese

ntan

o is

tanz

e

Soggetto che promuove

l’intervento

Soggetti deputati al controllo

Parti sociali

Eventuali soggetti convenzionati

Ben

efic

iari

del

l’in

terv

ento

(u

tent

i, cl

ient

i, be

nefi

ciar

i ind

iret

ti, ‘

vitt

ime’

)

Alta dirigenzaConsulenti

Operatori(Funzionari, quadri, consulenti)

Valutatore

Legenda: Decisori

Operatori

Beneficiari


Competenza tecnico-scientifica della valutazioneConoscenzanel merito

dell’evaluando Bassa Media Alta

Bassa PregiudizioMetodologia

dogmatica

MediaValutazione

spontanea

AltaSpecialismo

dogmatico

Valutazione

competente

Valutazione

esperta

La valutazione fra competenza tecnica e conoscenza nel merito


Come realizzare un sistema di valutazione?

Facile da gestire(ma poco sensibile)

Sensibile(ma più complesso

da gestire)

Autoritario (solo l’Ente gestore)

Dialogico(concertazione con gli altri

stakeholder rilevanti)Come

(forse) lo vorremmo realizzare

Come (forse) dovremo iniziare


Come individuare il bravo valutatore Non ha fretta, e si informa in più

modi sui vostri bisogni, sul contesto, sul programma da valutare

Non usa mai, o raramente, parole rassicuranti come “ho un MODELLO…”, “questo strumento è stato VALIDATO…” etc.


Come individuare il bravo valutatore Vi chiede di partecipare alla

valutazione, mirando più alla vostra comprensione dei problemi, che alla fattura che gli dovete saldare

E’ disponibile a cambiare la strategia valutativa in corso d’opera, se scoprite elementi nuovi e inattesi


Come individuare il bravo valutatore Dopo avere ricevuto l’incarico non

vi manda, per eseguire il lavoro, solo bravi giovanotti/e che non sono in grado di decidere, assieme a voi, cosa si deve fare

Vi parla degli aspetti etici e deontologici del lavoro di valutazione


Valutate solo se:

Siete interessati a processi di apprendimento organizzativo

Avete chiaro che una valutazione negativa vale quanto una positiva, perché si impara dagli errori quanto dai successi

Avete voglia di faticare un po’, per un risultato concreto


Evitate la valutazione se:

Sappiamo già da noi cosa si deve fare, e poche chiacchiere!

Una valutazione negativa? E cosa ti abbiamo pagato a fare?

Ma una ricettina semplice di facile applicazione per la valutazione degli impatti non ce l’avete?

Seconda parte

Alcuni esempi applicativi

Sanità

La valutazione di risultato nei Ser.T di Modena (2006)


Il problema: difficile condivisione della valutazione di risultato Difficile condivisione di valori e linguaggi data la

complessità e le diversità delle varie professionalità (Assistenti Sociali, Educatori, Infermieri, Medici, Psicologi, Sociologi)

Implicazione di valori extra-professionali, non negoziabili, su cosa sia ‘bene’ (‘giusto’, ‘opportuno’, ‘corretto’, …)

Implicazioni extra-organizzative (norme nazionali, protocolli internazionali, altre organizzazioni coinvolte con diversa mission, …)

Fonti di autorità diverse: leggi, codici deontologici, vertici aziendali, coscienza personale, …


Il programma realizzato

1. Comprendere i criteri generali del nostro lavoro e condividere un lessico di base minimo;

2. Avviare una discussione sulle dimensioni del ‘risultato’;

3. Ciascuna dimensione (sottodimensione, indicatore specifico) viene argomentato e discusso per verificarne una qualche validità;

4. Dimensioni (e indicatori) non argomentabili sono scartati; quelli argomentabili sono accettati anche se relativi a dimensioni valoriali, culturali e professionali non da tutti condivise;

5. Tutte le dimensioni (e gli indicatori) accettati sono operativizzati (tradotti in strumenti di valutazione), implementando come routine quelli traducibili nel Sistema Informativo ed utilizzando per ricerche ad hoc gli altri.


Risorse/Strumenti/Modalità

Personale Il “set”Strumenti

(Economia)E’ un pre-requisito, e agisce trasversalmente su tutti gli altri

Diagnostici Terapeutici Tempi Luoghi

Istituzionali/Organizzativi

Di supporto

Formazione

Sistema valoriale

individualeLeadershipTratti

personologici

•Formazione pregressa individuale

•Aggiornam

ento e formazione continua

•Formazione nell’équipe

•Formazione nell’A

zienda (comprensione degli obiettivi

•Capacità di lavorare in gruppo

•Disagio, burn-out, Turn over

•Motivazione

•Formale (autorità)

•Informale (autorevolezza)

•Protocolli/Procedure:•D

i servizio•A

livello professionale•Farm

aci•T

estistici:•Medici

•Psicologici

•Educativi

•Colloquio e osservazione

•Protocolli/Procedure (come per “D

iagnostici”)•Farm

aci•Psicoterapia•C

olloqui•M

onitoraggio terapeutico•A

ffiancamento/O

rientamento

•Atteggiam

ento pedagogico•R

icoveri ospedalieri•Invio ad altre strutture

•Rete (i concreti ‘nodi’ della rete: A

sl, Com

uni, Provincia, …)

•Accordi inter-istituzionali di ogni tipo

•Afeguata quantità delle R

.U.

•Adeguata com

posizione delle R.U

.

•Rete inform

atica•Infrastruttura inform

atica•A

ltri strumenti di base (telefono, fotocopiatrice, …

)•A

ltri strumenti specialistici (e di controllo)

•Spostamenti (da struttura a struttura, per sedi diverse, …

)•R

elazioni (terapeutiche, di programm

azione, …)

•Accesso alle prestazioni (da parte degli utenti)

•Il SerT:

•Progettazione e organizzazione degli spazi interni

•Il Front Office, l’accoglienza

•La rete


Mandato/Richieste(o: Contesto socio-sanitario)

Norme(Leggi,

Regolamenti, procedure e

consuetudini)

UtenteE suo contesto

sociale

•Applicazione (delle leggi)

•Efficacia (delle procedure)

•Vuoto di norm

e e procedure•C

hiarezza degli obiettivi•Superfetazione degli obiettivi

•Età, Sesso, Stato C

ivile, Titolo studio

•Presenza di figli•C

onvivenza•A

lloggio (possiede una dimora/non ha fissa dim

ora)•Situazione professionale (ha un lavoro/non ce l’ha)•Provenienza geografica (rinvia a m

odelli culturali e comport.)

•Religione

Caratteristiche

sociografiche

Modalità accesso

al servizio

Dipendenze

patologiche

Uso e comportamen

to

Patol. Organ

.

Psico

-pat.

Modalità

Approccio al servizio e alle cure

Adeguamento e conformità alle norme

sociali

•Correlate

•Non correlate

•Invalidanti•N

on invalidanti

•Correlate

•Non correlate

•Invalidanti•N

on invalidanti

•Coattivo

•Volontario

•Mediato

•Tem

po in carico•A

desione/Motivazione

•Altri program

mi precedenti e loro esito

•Altri servizi che hanno in carico

•Non problem

atico ma sanzionato

•Abuso (danneggia sé e gli altri)

•Dipendenza:

•Fisica

•Psichica

•Viraggio:•P

eggiorativo•M

igliorativo•Polidipendenza (com

e forma di cam

biamento)

•Com

portamentali (p.es. alim

entari)•Sostanze legali (alcol, caffè, nicotina)•Sostanze illegali:

•Eroina

•Cocaina

•Cannabis

•Poli-dipendenze

•Frequenza•V

ia di assunzione•durata

•Com

portamenti:

•Affettivi

•Lavorativi

•Verso il S

ert•D

annoso per sé:•C

on conseguenze legali•S

enza conseguenze legali•D

annoso per gli altri:•C

on conseguenze legali•S

enza conseguenze legali

Correlate/Non correlate

Claudio Bezzi, [email protected] INDICATORE: 2) Situazione abitativa

PESO: 1

CHI LO ISTRUISCE: T0: Op. 1° Contatto/Accettazione T1 e +: Case Man. o/e Op. Socio-E

STRUTTURA INDICATORE: 5 = Ha un alloggio, e le condizioni di utilizzo e l’eventuale convivenza (voluta e

accettata) sono comunque giudicate molto buone (al T0) o molto migliori della volta precedente (al T1 e successivi)

4 3 2 1 = Non ha alloggio; condizioni comunque molto negative (al T0) o molto peggiorate

rispetto alla volta precedente (al T1 e successivi)

SISTER: Sk3 probabile Alloggio + Convivenza

DEFINIZIONI OPERATIVE, ISTRUZIONI, ESEMPI E SUGGERIMENTI: Si tratta di una scala autoancorata. Tra Primo Contatto e Osservazione & Diagnosi si registra la situazione abitativa (T0); il nostro interesse riguarda l’eventuale cambiamento al momento della valutazione (T1). Possibili esempi di peggioramento: da vive solo a convivenza forzata; da convivenza forzata a convivenza conflittuale; da casa grande ad alloggio piccolo e periferico, ecc… Notare che:

1. le variabili utilizzate da Sister (Stabilità dimora e Convivenza) coprono solo in parte l’insieme delle questioni coperte dal nostro indicatore, che fa riferimento, assieme, alla Stabilità della dimora e all’eventuale conflittualità/forzosità/difficoltà della convivenza (e non alla convivenza di per sé). Quindi la variabile OEDT “Convivenza”, così com’è, non è sufficiente per l’indicatore, mentre deve essere parte dell’indicatore questa “conflittualità” (o comunque disagio) che l’operatore conosce solo come conseguenza a suoi colloqui e altre informazioni non registrate.

Ribadiamo che ogni scala autoancorata, basata per di più su elementi di conoscenza diretta non registrati da Sister (come è nel nostro caso), presuppone di lasciare un certo margine alla cosiddetta “soggettività”, alla quale opponiamo l’indicazione di scrivere, in una breve nota inclusa nel database, la ragione del punteggio; inoltre, si lascerà una matrice compilata in automatico (la trovate qui sotto l’indicatore). Nel complesso, fra la matrice, l’indicatore, e la breve nota esplicativa, si forniranno tutti gli elementi per una comprensione massima.

Nota esplicativa aggiuntiva (a cura dell’operatore che attribuisce il punteggio) E’ stato attribuito il punteggio ha causa di……………………………………………………………. ………………………………………………………………………………………………………… NB: Volendo, sarà possibile disporre di un quadro riepilogativo automatico con le 2 variabili Europee (OEDT) disponibili in SISTER. Aiuta a leggere le informazioni utili per la compilazione dell’indicatore

DIMORA

CONVIVENZA

Dimora STABILE (abitazione privata)

Dimora Temporanea (Hotel/Pensione)

Dimora Instabile (Senza Fissa Dimora)

Istituzioni (Comunità, Carcere, Ospedale, ecc..)

Non Noto

Solo con Genitori con Partner con Partner & Figli Con Amici Altro Non Noto


INDICATORE: 4) Competenza Relazionale ed AutoPercettiva

PESO: 2

CHI LO ISTRUISCE: Psicologo o psichiatra

STRUTTURA INDICATORE: 1. riconosce il rischio? 2. ha una buona qualità della relazione con altri? 3. ha capacità di attesa? 4. è in grado di chiedere aiuto? è consapevole della problematicità della propria dipendenza?

è in grado di conseguire obiettivi di medio-lungo termine (p.es. titolo di studio, patente, …)?

SISTER: Sk10 o newSK24 Quadro da aggiungere in Sister con: -data -operatore

-le 6 variabili (SI-NO+note

DEFINIZIONI OPERATIVE, ISTRUZIONI, ESEMPI E SUGGERIMENTI: E’ una semplice check list; alla presa in carico (o appena è possibile avere una informazione certa) si segna ‘1’ per ogni ‘Sì’ e ‘0’ per ogni ‘No’. Il punteggio in valutazione è la semplice somma. Il punteggio totale può quindi andare da 0 (ha ricevuto tutti ‘zero’, quindi non riconosce il rischio, non ha una buona relazione con gli altri, etc,) a 6 (ha ricevuto tutti ‘1’, ovvero tutti ‘Sì’).

Claudio Bezzi, [email protected] INDICATORE: 9) Sostanza e modalità d’uso

PESO: 3 (primaria)

1 (secondaria)

CHI LO ISTRUISCE: Medico, considerando i dati già immessi nella Sk12 tossicologica.

STRUTTURA INDICATORE:

+ coefficiente NON tabagismo regolare quotidiano +2 + coefficiente NON poliassuntore +4

SOSTANZA PRIMARIA (peso 3)

Uso compulsivo, episodi di

intossicazione acuta

Uso quotidiano, o periodico ricorrente

Uso discontinuo o sporadico

Astensione (rilevata da almeno 30

giorni)

Eroina e altri oppiacei

1 2 4 5

Cocaina 1 2 4 5 Psicostimolanti anfetaminici ed

ecstasy 1 2 4 5

Alcolici 1 2 4 5 Derivati della

Canapa indiana 1 3 4 5

Benzodiazepinici, barbiturici

1 2 4 5

Allucinogeni 1 2 4 5

SOSTANZA SECONDARIA (peso 1)

Uso compulsivo, episodi di

intossicazione acuta

Uso quotidiano, o periodico ricorrente

Uso discontinuo o sporadico

Astensione (rilevata da almeno 30

giorni)

Eroina e altri oppiacei

1 2 4 5

Cocaina 1 2 4 5 Psicostimolanti anfetaminici ed

ecstasy 1 2 4 5

Alcolici 1 2 4 5 Derivati della

Canapa indiana 1 3 4 5

Benzodiazepinici, barbiturici

1 2 4 5

Allucinogeni 1 2 4 5

SISTER:

DEFINIZIONI OPERATIVE, ISTRUZIONI, ESEMPI E SUGGERIMENTI: La definizione operativa prevede di moltiplicare il valore di sostanza primaria per il coefficiente di peso 3 e sommare il risultato al valore di sostanza secondaria (peso 1) e ai due coefficienti di NON tabagismo (2) e di NON Poliassunzione (4). Nei casi più gravi quindi il punteggio sarà pari a 4 (valore 1 x 3 nella sostanza primaria + valore 1 x 1 nella secondaria), mentre in quelli assolutamente più lievi sarà pari a 26 (valore 5 x 3 nella primaria + 5 x 1 nella secondaria più coefficiente non tabagismo 2 + coefficiente non poliassunzione +4).

Politiche sociali

Progetto Equal “Artemis”, 2004-2005


Sigla Indicatore

OBUT Conseguimento obiettivi sull’utenza (Servizi all’utenza; Integrazione; Coinvolgimento categorie interessate; Informazione; Miglioramento qualità della vita; Approccio preventivo; Omologazione procedure; …)

OBCN Conseguimento obiettivi di contesto (Coordinamento; Costruzione rete istituzionale; Integrazione; Sensibilizzazione; Rapporto interistituzionale; Informazione alla collettività; Sperimentalità; …)

SOST Sostenibilità (Coordinamento; Costruzione rete istituzionale; Integrazione; Sensibilizzazione; Rapporto interistituzionale; Coinvolgimento categorie interessate; Figure professionali competenti future; …

GRLV Gruppo di lavoro (Linguaggi diversi; Più punti di vista; Conoscenza altre realtà; Problemi del gruppo; Visione multidisciplinare; Competenze del gruppo; Arricchimento professionale; …)

GRIN Lavoro di gruppo verso l’interno (Coordinamento; Laboratorio; Conoscenza altre realtà; Coinvolgimento categorie interessate; Linguaggio comune su tematica handicap; Cambiamento culturale; Incontri; Difficoltà operative; Condivisione dei risultati; Accettazione eventuale fallimento; …


1 SOST

2 OBCN

3 AMIS

4 GRES

5 RIST

6 RIUM

7 AMCL

8 OBUT

9 MTEN

10 ENTI

11 GRIN

12 RINF

13 GRLV

OB

IE

TT

IV

I

DI

C

ON

TE

ST

O

14 MOTV

14 13 12 11 10 9 8 7 6 5 4 3 2 1

O P E R A T I V I T À D E L G R U P P O

1

4

3

2

Claudio Bezzi, [email protected] Indic. Commenti alla valutazione Valutazione (1÷5)

Peso Valore totale (val x peso)

AMCL Si è cercato di individuare nel Territorio iniziative, progetti, programmi da utilizzare quale indice per valutare l’interesse, la sensibilità della Regione ad Artemis. In sintesi gli elementi raccolti sono stati i seguenti: 1. Esistenza di un Bando rivolto ai Disabili finalizzato

alla realizzazione di percorsi di inserimento lavorativo, nello specifico attivazione di un numero limitato di stage retribuiti. Dalla condivisione di gruppo è emerso che il Bando risponda più ad un’esigenza politica immediata (necessità di utilizzare fondi) che ad un intervento che tenga conto della presenza dell’Equal Artemis dedicato alla disabilità ed ai risultati che lo stesso ha finora prodotto; inoltre è stato osservato quanto il Bando profili un’iniziativa spot lontana da una progettazione ad ampio respiro;

2. Si evince l’Assenza al tavolo di Artemis di Rappresentanti della Regione Molise, sebbene gli stessi siano stati opportunamente invitati;

3. Si riporta l’assenza significativa al Tavolo DIN (Disability Italian Network) della Regione Molise, nota di demerito condivisa con la Regione Calabria;

4. Il CDH offre supporto teorico informativo attraverso la messa a disposizione della Biblioteca, che seppur fornita resta un supporto teorico, in quanto il CHD non ha per il momento messo in campo interventi di tipo operativo;

5. E’ emersa una grande difficoltà nel reperire informazioni che attestino la conoscenza di Artemis da parte del territorio. tale assenza è già un indice della scarsa conoscenza..

Alla luce della condivisione dei punti sopra riportati, il gruppo ha individuato le azioni da mettere in atto: A/ Azioni di sensibilizzazione che divulghino le linee

guida di Artemis. Tali azioni di sensibilizzazione sono dirette in primis alle istituzioni, alle scuole, e ai punti di snodo della rete sociale (coordinatori, associazioni…)

B/ Mainstreaming Orizzontale e Verticale C/ Piccolo Piano di Comunicazione della cui realizzazione

si curerà la Dott. Paola Di Sabato.

2 2 4


MINIMO di performance

valore centrale

performance MASSIMA


valore centrale

performance MASSIMA

1^ valutazione

3^ valutazione

2^ valutazione


valore centrale

performance MASSIMA

valore della prima valutazione

seconda valutazione

terza valutazione

e


5

4

3

2

1

17 giugno 2004 31 marzo 2005 4 ottobre 2005

RIUM

AMCL

ENTI

MTEN

GRLV GRIN

RINF

MOTV

GRES AMIS

RIST

OBCN SOST

OBUT


Elemento 1 2 3 4 5 6 7 8 9 Tot. 1) gestione universitaria -1 +2 -1 0 0 0 +1 0 +1

2) Molti partner anche diversi +1 0 0 0 0 +1 0 0 +2

3) Motivazione e qualità risorse um. +1 -1 -1 -1 -1 +1 0 -1 -3

4) Rigidità budget e sua gestione +1 +1 0 0 0 0 0 0 +2

5) Comunicazione, marketing, … 0 0 0 +1 +1 0 +1 +1 +4

6) Scarso coinvolgim. utenti 0 0 0 +1 +2 0 0 +2 +5

7) Bisogno reale, attualità del prog. 0 0 0 0 0 0 0 +2 +2

8) Mancanza di paternità istituzioni +2 0 0 0 +1 +1 0 +2 +6

9) Mancanza gener. sensibilità 0 0 0 0 +2 +1 0 +1 +4

Tot. 5 3 2 4 6 4 2 3 8

cosè la valutazione e soprattutto: a cosa dovrebbe servirci? claudio bezzi presidente associazione...

Documents