om evaluering
DESCRIPTION
om evaluering. Oversigt. Projekters væsen – projektanalyse Evalueringsstrategi Evalueringers indhold og metode Evaluering som fænomen. Hvad koster evaluering?. Projekt analyse. Beslutninger. Viden. Tid. Projekters væsen. - PowerPoint PPT PresentationTRANSCRIPT
om evaluering
Oversigt
Projekters væsen – projektanalyse
Evalueringsstrategi
Evalueringers indhold og metode
Evaluering som fænomen
Hvad koster evaluering?
Projekt analyse
Projekters væsen
Tidsbegrænsede
En vej mod ukendte mål
Kontekst-følsomme
Skalérbare
VidenBeslutninger
Tid
Målretningsbalancen
Opdagelse
Afprøvning
Faser i ideers udvikling
Udforskning Hvad er det, der foregår?
Nyhedsforsøg
Virker det?
Demonstrationsforsøg Virker det hensigtsmæssigt?
Acceptforsøg Virker det godt nok? Skal vi indføre det?
Kvalitetssikring Kan det gøres bedre?
Evaluering af implementering
Politik Ledelse Fagfolk Brugere
MŒl Planer Indsats Ydelser
Planer Indsats Ydelser Udbytte
PLANIMPLEMENTERINGS PROCESSEN
De kinesiske æsker
Evalueringsspørgsmål til analyse-enheder
Beskrivende spørgsmål: Hvad, hvem
Udforskende: Hvordan
Testende: Hvis ...så...
Hvorfor : Anledning og formål?
Motiv-blandingen Beslutningsstøtte Ritual Legitimering Taktik .... NPM...
Evaluerings strategi: Indhold og metode
Projektevaluerings-strategi - evalueres efter 3 år.
Projektmodenhed: Hvor på vejen fra vugge til grav?
Projektklima: Fra håb og tro til mistro?
Extern/ intern evaluering
Evaluerbarhed & evalueringskapacitet
Fokus på beslutningsstøtte?
Forankringsstrategi og evalueringsfaser
Proces / resultatbalance
Valg af evalueringsmodel
Vurdering af kontekst
Hvad er kontekst?
Motiv-blandingen: ritual, taktik, legitimering
Er der et behov?
Er der en opbakning og interesse?
Hvordan påvirker kontekst udviklingen
Evalueringsprotokollen
Baggrund
Formål
Resultat
Evalueringsspørgsmål
Strategi
Delundersøgelser
Etik
Tidsplan
Organisation
Økonomi
Modeller til evaluering
Behovsevaluering
Virkningsevaluering Procesevaluering Effekt evaluering -
Interessent evaluering: Fourth-generation
Audits
Bruger-evaluering - empowermentevaluering -
Målbaseret evaluering, målfri evaluering -
Standardprojekt-evaluering
Løsning af den faglige opgave Målgruppen Indsatsen Resultaterne
Løsning af driftsopgaven Aktivitetsniveau Økonomi
Løsning af den organisatoriske opgave Driftsledelse Faglig ledelse Samspil og samarbejde
Løsning af den strategiske opgave Placering i den store sammenhæng
Patton: anvendelsesorienteret evaluering
Brugerengagement
Anvendelsestænkning fra start
Anvendelse af den personlige faktor
Interessent-analyse er vigtig
Anvendelsesfokusering
Brugerinddragelse i design
Anvendelse er ikke rapportering
Hvad indeholder virkningsteorier?
- Input og kontekst
- Komponenter som er uundværlige grupper af aktiviteter
- Aktiviteter som er det man gør Aktivitetsmål og aktivitetsindikatorer
- Aktører som aktiviteterne omfatter- Aktørmål og aktørindikatorer
- Processer Samspils- og forløbsbeskrivelser
- De kortsigtede og langsigtede resultater man regner med at opnå med aktiviteterne. - Resultatmål og resultatindikatorer- Utilsigtede resultater
Virkningsevaluering
Teorispørgsmålene Hvad er det, vi tror, vi gør? Hvad tror vi, der kommer ud af det?
Hvorfor?
Evalueringsspørgsmålene Gør vi det, vi siger vi gør? Kommer der det ud af det som vi tror?
Interessent- evaluering am. Guba
En organisatorisk proces,
der udforsker forskellige interessentgruppers
opfattelse af fordele, ulemper og brændpunkter
knyttet til beslutningsprocesser omkring et bestemt fænomen.
Formålet er at kvalificere processen ved at stille nye spørgsmål, skaffe nye informationer, nye forståelser i samarbejde med interessenterne.
GUBA:
Agenter
Vindere
Taber
Investorer/ politikere
Leverandører/ henvisere
Aktører/behandlere
Aftagere
Slutbrugere
Audit evaluering
Valg af analyseenhed
Valg af vurderingskriterier
Udarbejdelse af cases
Individuel bedømmelse
Auditteam vurderer
Auditteam anbefaler
Light-samling
Most significant change method
PDSA-cirklen
Behovsmåling
Målopnåelse
CIA-analyse
Valg af metodebeskrivelse
Procedurer
Guidelines
Virkningsteori √
Standarder
Benchmarking
Akkreditering
Evidensbaserede standarder
Hvordan måler vi effekt?
Problemomfang- symptomer Ændringer i problemadfærd og symptomer
Tilpasning CBT kan ændre depressive symptomer, men ikke social fucntion
Mekanismer Ændringer i cognitive og emotionelle færdigheder
Samspil Ændrede samspilsformer i familien hos mennesker med skizofreni
Interventionsanvendelse MST viser mindre forbrug af politi, socialrådgivning mv.
Livsløbsændringer Veje ud af/ind i negative udviklingsforløb
Evaluerbarhed
God evaluering?
Besvarer stillede spørgsmål med den lovede grad af troværdighed
Bekræfter eksisterende viden - så vi bliver stærkere I troen
Afkræfter eksisterende viden - så vi bliver svagere I troen
Skaber evt. ny viden - så vi må tro noget andet
Danner udgangspunkt for dialog
Brændpunkter & Trends
Evidensdebatten
De konstitutive virkninger
Nytteværdien
Evalueringskapacitet: Fra projektevaluering til evalueringskultur?
Evaluering som fænomen
Hvad er evaluering og alt det andet?
Kvalitetssikring/Udvikling Monitorering Benchmarking Certificering
Aktionsforskning Praksisforsning Real world Research MTV- Medicinsk Teknologivurdering
Evaluering som fænomen
”Evaluering simple” som ubemærket aktivitet.
”Evaluering light.” Beslutningsstøtte dvs. data, vurdering, beslutning - altid
bedre en ingenting.
”Evaluering classic.” Evaluering som eksplicit, formaliseret aktivitet. Når man
skal være det bekendt.
”Evaluering pro”. Evaluering som forskning. Når man vil have det bedste.
Brændpunkterne
Motivdebatten: Beslutningsstøtte, ritual, legitimering, NPM
De konstitutive virkninger: Kriterier bliver værdier Tiden Standardiseringer Interessentforskydning Forhandling af virkeligheden
Evidensdebatten
Insider positionen
Vil evaluators relation til informanterne få informanten til at opføre sig anderledes?
Vil evaluators forhåndsviden føre til misfortolkning af data eller til fejlagtige slutninger?
Vil evaluators viden indebære antagelser, som gør at UFO mister vigtig viden.
Vil evaluators politik,loyalitet eller skjulte dagsorden føre til misfortolkninger.
Vil evaluators moralske, kulturelle, eller politiske synspunkter føre til ubevidst manipulation?