evaluering og dokumentation - tendenser og strategiske udfordringer

Evaluering og dokumentation

-Tendenser og strategiske udfordringer

Primo Netværksgruppe

18. Juni 2007

Tim Jeppesen, direktør

KREVI

KREVIs organisation

• Bestyrelsen (6 personer)– Partner Lisbeth Binderup, Lundgaard Konsulenterne,

Formand

– Cheføkonom Jan Olsen, KL

– Administrerende direktør, Kristian Wendelboe, Danske Regioner

– Professor Jens Blom-Hansen, Aarhus Universitet

– Kommitteret, Ib Valsborg, Finansministeriet

– Afdelingschef Thorkil Juul, Indenrigs- og Sundhedsministeriet

KREVIs organisation

• Finanslovsbevilling 10,2 mio kr.

• 12-15 årsværk –som grundbemanding– 9 medarbejdere pt.– Indtægtsdækket virksomhed –flere

medarbejdere– Indlånte medarbejdere –gennemtræk på den

fede måde

• Placering i Århus, sammen med IKAS

MartinCamilla

Stinne Anders

TanjaTim

MortenPeter

KREVI

KREVIs opgaver, lov 548

Gennemføre evalueringer og benchmarking

Rådgive offentlige myndigheder om evalueringer

Indsamle nationale og internationale erfaringer med evalueringer

Tjene som videns- og læringscenter

’Vidensproducent’

’Rådgivningsorgan’

’Vidensbank’

’Rugekasse’

Udfordringer og tendenser

Synliggørelseaf kvalitet

Sammenlignelighedpå tværs

Decentraltledelsesrum

og metodefrihed

Regelforenkling

Centralisering Decentralisering

Dokumentationog

Evaluering

Dokumentation

Tro Indicier Beviser Virkeligheden

Dokumentation

Evaluering

• ’En systematisk vurdering af en indsats’

– Krav til metoder, datakvalitet, kildekritik– Vurderingskriterier– Indsats = konkrete fænomener

– Mange formål!

Dokumentation og evaluering

Dokumentation ↨Evaluering

Ressourcer Indsatser Ydelser Effekt

Præstationsmålinger (opfølgning)

Årsags– virkningssammenhænge

Indikatorer

• En del af en generel tendens til kvantificering

• En variabel og en måling, måske et mål

• Fordele– Målingerne er objektive og neutrale– Transparente og sammenlignelige– Kvalificerer brugervalg– Giver incitamenter– Standardiserings- og ensretningsdynamik

Indikatorer

• Ulemper– ’… kan derimod ikke i sig selv anvendes til at

vurdere effekter, være bestemmende for fremtidig udvikling, danne grundlag for beslutninger om ressourceallokering og vurdere kvalitet’ (Burt Perrin)

– Utilsigtede virkninger

– Forudsætter at det kan måles

De 23 indikatorer på ældreområdet

Effektindikatorer

Kvalitet af hjælpen Årlig national brugerundersøgelse

Hjælpens stabilitet Årlig national brugerundersøgelse

Antal forskellige hjælpere Årlig national brugerundersøgelse

Baggrundsindikatorer

Antal leverede timers hjemmehjælp til borgere omfattet af frit valg (i eget hjem)

Danmarks Statistik

Antal visiterede timers hjemmehjælp for borgere i plejebolig/plejehjem

Danmarks Statistik

Antal modtagere af praktisk hjælp/personlig pleje, der er omfattet af frit valg

Danmarks Statistik

Antal hhv. plejehjemspladser og plejeboliger

Danmarks Statistik

KREVI

Erfaringer med

Comprehensive Performance Assessment (CPA)

• Kommunerne scorer bedre og bedre• Gode anmeldelser

• Borgernes tilfredshed med kommunen falder• Problemer

– Dårlige indikatorer

– Måler vilkår frem for præstation

– Aggregering forvirrer

– Strategisk adfærd

… men det er da bedre at have nogen målinger frem for ingen… (?)

• Ja, afgjort, men…

• Målinger tager tid, og er det umagen værd?

• Utilsigtede virkninger

… men hvad så?

• Kvantitative målinger kvalificeres med kvalitative, og omvendt

• Evalueringer– Virkningsevaluering– BIKVA– Kompetenceevaluering

• Observationsstudier

Og hvad skal kommunerne gøre?

• Dokumentations og målingskrav kan (altså) godt vurderes før implementering

• Brug indikatorerne til det de er gode til– Gør det – og gør så heller ikke mere– Start med at nyttiggør den viden der er i dag– Gør dem lokale og specifikke

• Måle kvalitet?– Kvalitative metoder ikke til at komme uden

om– Dyre men dejlige –strategi nødvendig

Måling dokumentation og risiko

• Synliggør risiko• Ekspliciterer implicit information

• Men hvad med det der ikke måles?• Målefejl

• Måling og dokumentation som et kultur-projekt– Evalueringskapacitet