HANKETYÖN KEHITTÄVÄ ARVIOINTI 11.9.2009

1. Arvioinnin perusteet 2. Kehittävän arvioinnin sovellukset

3. Yhteenveto

Anu Räisänen

Mitä arviointi on? Miksi hanketyössä tarvitaan arviointia?

Millaista arvioinnin tulisi olla? Kuka arvioi hanketta?

MITÄ ARVIOINTI ON JA MITÄ VARTEN SE ON ?

Mitä:

Tulkinnallista analyysia a) toiminnalle asetettujen tavoitteiden saavuttamisesta (vaikuttavuus)b) prosessin laadusta ja toiminnan systemaattisuudesta ja suunnitelman toteutumisesta

(tehokkuus)c) kriteereiden mukaisuudesta

Miksi:• laadun varmistamiseksi hallinnolle (accountability) • toiminnan ja järjestelmän kehittämiseksi ja oppimisen tehostamiseksi (development & learning)• hyvien käytäntöjen levittämiseksi • ei julkisuustarkoitusta

Arvioinnin määrittäminen suhteessa arvioinnin tehtäviin ja tavoitteisiin kehittävyys – tilivelvollisuus -tasapaino

Arviointi on AINA ARVOTTAVA kannanotto!

Anu Räisänen 2009

ARVIOINNIN KEHITYSNÄKYMÄT • Holistinen ote

• Heiveröinen kontrolli funktio

• Tavoitteena jatkuva parantaminen:

– Enemmän haasteita ja haasteiden johtamista, asiakas- ja kansalaislähtöisyyttä – todellisia innovaatioita

– Stakeholdereiden & sosiaalisten kumppaneiden & omistajien osallistaminen

– Tavoitteiden asettaminen

• Tarve parempaan tulosten arviointiin ja linkitykseen tavoitteisiin

• Kohti oppivaa organisaatiota ja jatkuvaa oppimista

• Benchmarking –toiminnasta – benchlearning kulttuuriin

• Usko ”inclusiiviseen” arviointiin (inclusive & intelligent evaluation) ja yhteistyöhön

Evaluation for accountability Evaluation for development Evaluation for knowledge

Anu Räisänen 2009

ARVIOINNIN ULOTTUVUUDET Toiminta on ollut tuloksellista, jos arvioitava kohde on

saavuttanut ne tavoitteet, joita sille on joko ulkopuolisen tahon tai sen itsensä toimesta asetettu. Tehokkuus• kuvaa toimintaa”Kuinka tarkoituksen-mukaista toiminta on?”- toiminnan laatu- …..

Taloudellisuus • kuvaa tehtyjen valintojen taloudellisuutta”Mitä rahalla saa?” - taloudellisuuden osoittaminen, ei vain kustannusten seuranta-….

Vaikuttavuus • kuvaa toiminnan seurauksia ”Onko tulos syntynyttoiminnan seurauksena?”- osaaminen- toimintojen vakiintuminen- näkemys hyödystä- pitkän tähtäimen näytöt- ….

Anu Räisänen 2009

Prosessi – tulos – edellytys - vaikutus – vaikuttavuusTavoitehierarkia: Ohjelman – hankkeen – yksilön tavoitteet !

ARVIOINNIN PERUSTEET

Standardi- /ja kriteeriperustaisuus • standardit kuvaavat vaatimustason • kriteerit määrittävät arvioinnin perusteen • standardit ja kriteerit määritetään ennalta • kriteerit ovat välttämätön ehto standardeihin perustuvaan arviointiin • kriteeriperustaisuus ei edellytä standardeja • arvioinnissa kohteen tilaa verrataan kriteeriin

Suhteellisuus • tuloksia verrataan keskenään tai aiempiin suorituksiin tai aiempaan tilaan • arvioinnissa vakiintuneita ”pisteytys- ja sijoitusmalleja” mm. Gaussin käyrä• korostaa järjestystä• esimerkkinä kyselyt jaeri vastaajaryhmien erot

Tulkinnallisuus• tila-analyysi ja syväluotaus•”tässä ja nyt” • ei vertailuja • voi toimia syväluotauksena muun arviointitiedon rinnalla • voi kohdistua esim. elämismaailmaan• esim. portfoliot, tarinat, elämäkerrat, kuvaukset

Anu Räisänen 2009Arvioinnin tarkoitus ja tehtävä!

Arviointikohteen selkeys!Arviointikysymysten merkitys!

MITTARIT JA MUU AINEISTON KERUU

Mittarit • määrälliset ja laadulliset

indikaattorit • kokeelliset asetelmat • kyselylomakkeet • tilastot, rekisterit,

seurantatiedot • ennusteet• tyytyväisyyttä kuvaavat

palautteet

Laadullinen aineisto • toiminnan kuvaus • haastattelut• tarinat• päiväkirjat • portfoliot• SWOT -analyysit• kriittiset pisteet (critical

incident) • asiantuntijalausunnot • auditoinnit (sisäinen,

ulkoinen)• asiantuntijanäkemykset • vertailevat menetelmät

(benchmarking, vertaisarvioinnit)

• arviointiseminaarit – fokusryhmät, paneelit

• oman työn tutkiminen• laatupiirit (stakeholders)

•yksittäiset tunnusluvut •summamuuttujat •luokittelu, •aikasarjat •vertailut • tilastolliset analyysit

• tulkinnallinen analyysi• konsensusistunnot, vertaistulkinnat Anu Räisänen 2009

Millaista arviointia, millaisin menetelmin?

• arvioinnin tarkoitus, merkitys ja arvioinnin tehtävät

• arvioinnin perusta, lähestymistapa & arviointiasetelman merkitys

• arviointikysymysten määrittäminen

• arvioinnin lähestymistavat - aineiston hankinta – tulos

Anu Räisänen 2009

Arvioinnin tarkoitus:

Mitä arvioidaan? Mihin arviointia käytetään? Miksi arviointia tehdään? Ketä varten arviointia tehdään? Mitä arvioinnilta odotetaan?

KEHITTÄÄKÖ ARVIOINTI?

• Arviointi kehittämistyötä tukevana toimintana • Tarvitaan seurannan ja arvioinnin asetelma, joka tuottaa

tietoa oppimisen ja kehittymisen perustaksi • Arvioinnin prosessikäyttö:

– tiedon ja tiedonkeruun hyödyntäminen kehittämisessä ja evaluatiivisen työtavan juurruttaminen osaksi työyhteisön toimintaa

– tarkoitus on tukea ohjelman, toiminnan tms. arvioivan työotteen kehittymistä

– voi olla sisäistä tai ulkoista/tuettua arviointia, joka tukee muutosta ja kehitystä sekä syventää tietoisuutta

– tavoitteena on parantaa toiminnan vaikuttavuutta – summatiivisen (tulokset ja vaikuttavuus) ja formatiivisen (kehitys,

edellytykset, toimintatapa) arvioinnin tasapaino

Anu Räisänen 2009

KEHITTÄVÄN ARVIOINNIN KÄSITE

• on tarkasteltavan kohteen tulkinnallista ja kriittistä analyysia ja toiminnan tuottaman hyödyn tai arvon määrittämistä kytkettynä läheisesti toiminnan laadun parantamiseen, kehittämiseen ja toimintojen uudistamiseen • tähtää syvälliseen ja jatkuvaan oppimiseen – kokonaisvaltaisuus - prosessuaalisuus • painottaa kontekstuaalisuutta ja osallisuutta sekä kokemusta sekä avoimuutta

•vrt. tilivelvollisuus ja kontrolli • systemaattinen tapa tukea tavoitteiden saavuttamista

• vrt. tavoiteperustainen ja tavoitevapaa arviointi • vrt. kriteeriperustainen arviointi• vrt. standardiperustainen arviointi

• sisältää jatkuvan parantamisen spiraalin • sisältää menetelmien kirjon

•arviointi & kehittäminen & kehittävä arviointi Anu Räisänen 2009

KEHITTÄVÄ ARVIOINTI

•tavoite määritetään kohteittain RÄÄTÄLÖINTI TARPEEN MUKAAN

• kohteena olevien osallisuus arvioinnin suunnitteluun, arviointiin ja jatkuvaan parantamiseen

SUBJEKTIUS JA VUOROVAIKUTUS PERUSTA ITSEARVIOINNISSA

• arviointiprosessi ja tulos hyödyttää kehittämistä PROSESSUAALISUUS HYÖDYNNETTÄVYYS KÄYTÄNNÖN LÄHEISYYSPALAUTTEEN MERKITYS

• painottaa yhteisöllisyyttä ja konsensushakuisuutta – ei absoluuttista totuutta REFLEKTIO ERI TAHOJEN YHTEINEN KONSENSUS

• asiantuntijat käsitteellistävät, suunnittelevat arviointimallit ja menetelmät, osallistavat eri tahot arviointiprosessiin ja tekevät arvioivat tulkinnat

ASIANTUNTIJAVASTUU JAETTUA MONITAHOISUUS (arvioijat, sidosryhmät, toimijat…)

Anu Räisänen 2009

OSALLISTAVUUS JA KEHITTÄVYYSARVIOINTI & KEHITTÄMINEN & KEHITTÄVÄ ARVIOINTI

KEHITTÄVÄN ARVIOINNIN MALLEJA MONITAHOARVIOINTI • eri näkökulmat ja menetelmät • sidosryhmäperusteinen (stakeholder) (rahoittajat, päätöksentekijät, kehittäjät, toimijat,

intressiryhmät, vertaiset jne…) • arviointiraadit ja konsensus

• laaja-alaisuus – monet kannanotot ja arvolausunnot • neuvottelevuus – valtaa pitävät koalitiot/avainryhmät• sosiaalinen oikeudenmukaisuus – vähäisinkin hyödynsaaja • evolutionaarisuus – suhde ympäristön muutokseen

OSALLISTAVA ARVIOINTI • subjektius • sidosryhmien ja toimijoiden näkökulmat• arvioija on osallistaja, kouluttaja, valmentaja, edistäjä – ei arvioija• konsensus • voimaantuminen – valtaistuminen - empowerment Anu Räisänen 2009

Esim. parivertailut, arviointiraadit ja –istunnot, teema- & fokusryhmäkeskustelut, vertaisarvioinnit, benchmarking, parivertailut, portfoliot, auditoinnit, konsultatiivinen arviointi, moderation…

PARIVERTAILUT• asiantuntijoiden, ryhmien ja yhteisöjen keskinäiseen arviointiin• valmistelu ja dokumentointi

ARVIOINTIRAADIT JA -ISTUNNOT • konsensusarviointia • monitahoisuus arvioinnissa • valmistelu ja dokumentointi

TEEMAKESKUSTELUT (vrt. fokusryhmät)

• arviointiprosessin eri vaiheissa • valmistelu ja dokumentointi

PORTFOLIOT • yhteisön näytteet toiminnasta, innovaatioista ja tuloksista • perustuu reflektointiin

AUDITOINNIT • sisäiset ja ulkoiset tai ohjattu sisäinen

Anu Räisänen 2009

VERTAISARVIOINNIT (vrt. Vertaileva arviointi)

•Arvioitavan kohteen kriittistä ja systemaattista arviointia, joka perustuu ennalta asetettuihin kriteereihin

•Arvioijana vertainen, jolla on suunnilleen samat tiedot ja taidot kuin arvioitavalla sekä selkeä näkemys tämän työstä •Tarkoituksena palautteen antaminen ja ammatillisen kasvun edistäminen

• Soveltuu myös työyhteisöihin

BENCHMARKING • vertailuarviointi ja –kehittäminen • voi kohdistua prosesseihin, strategioihin, johtamiseen jne….• perustuu oman toiminnan analyysiin ja vertaamiseen toisen itseään vähän paremman organisaation toiminnan analyysiin • edellyttää systemaattisuutta• ei ole opintokäynti

Anu Räisänen 2009

VERTAISARVIOINNIN MENETELMIÄ

1 Benchmarking – vertailuarviointi ja kehittäminen

2 Moderation

3 Ristiin arviointi

4 Sisäinen/ulkoinen auditointi

jne….

sekä yksilö- että ryhmäarvioinnit

sekä tulos- että prosessiarvioinnit

Anu Räisänen 2009

MODERAATIO

Perustuu reflektiivisyyteen, osallistavuuteen ja konsensukseen Kohteena toiminta, jossa ollaan osallisena Prosessi – ei tulosarviointia – etenee vaiheittain Oppiminen ja palaute parantaa päätöksentekoa, ammatillista itsekunnioitusta, luottamusta omaan toimintaan ja avoimuutta Vertaisten kanssa yhdessä Asiantuntijan käyttö

Anu Räisänen 2009

- moderation on aina ohjattua ja johdettua - voidaan käyttää esim. tulkittaessa, vastaako käytännön toiminta asetettuja tavoitteita ja arvioitavan toimintakentän ihanteita

- edellyttää eri toimijoiden kohtaamista

– sopii muutosprosessien ja oppimiseen ja ”vallan jakoon” tähtääviin arviointeihin - arvioinnissa painottuvat toimijoiden tulkinnat ja pyrkimys konsensukseen

Anu Räisänen 2009

MODERATION-MALLI

työyhteisö 1 työyhteisö 2 työyhteisö 3

Konsensus

Konsensus

Konsensus

Konsensus

Anu Räisänen 2009

• räätälöidään tarpeiden ja odotusten mukaan • ulkopuolisten arviointiasiantuntijoiden hyödyntäminen arviointisuunnitelman

laadinnassa, arvioinnissa ja arvioinnin ohjauksessa sekä valmentamisessa sekä ulkoisessa arvioinnissa

• kokonaistilanteen hahmottaminen ja käsitteellistäminen • perustuu vastavuoroiseen dialogiin • palvelun tarvitsija päättää viimekädessä lähestymistavat • arvioija vastaa metodeista, prosessista ja arvioinnista - vastuu on jakamaton • sekä suullinen että kirjallinen raportointi – suositukset • päätöksenteko on ”omistajalla”

VALLAN KÄYTÖN ETIIKKA • arvioija vastaa arvioinnista –jakamaton vastuu! • edellyttää arvioijalta kohteen tuntemusta, arviointiosaamista ja sosiaalisia taitoja – kykyä konsensukseen• arvioija ei osallistu arviointitulosten perusteella tehtävään päätöksentekoon

Anu Räisänen 2009

KONSULTATIIVINEN ARVIOINTI

RISTIIN ARVIOINTI & AUDITOINTI

• parit & ryhmät arvioivat kohdetoiminnon ristiin käyttäen ennalta määrättyä arviointimetodia, mittareita/kriteereitä

• auditointi voi olla kohdespesifi tai kokonaisarviointi

• ristiin/vertaisauditoinnissa noudatetaan auditoinnin yleisiä periaatteita

Anu Räisänen 2009

STAKEHOLDERIT ARVIOINNISSA (vrt. Patton)

Argumentit ja vasta-argumentit

• mahdollisuus selventää tulkintoja - hyöty näennäinen • osallistumisen tuoma hyöty – ei takaa korkeaa metodista laatua• arvioinnin moniulotteisuus – sitoutuminen arviointiprosessiin ei ole taattu • lisää empiirisiä evidenssejä – vain, jos on korkeatasoiset ja osaavat kumppanit • arviointivastuu voidaan jakaa – stakeholderit jättävät arvioinnin arvioijille • arvioinneilla voidaan suoraan vaikuttaa päätöksentekoon – stakeholderit ulkopuolella

Stakeholderit • selventävät, kyseenalaistavat ja täydentävät näkökulmia ja tuovat kokemuksen • edistävät oppimisprosessia ja ovat sanansaattajia arvioinnin jälkeen

Anu Räisänen 2009

Vrt. Asiakasarvioinnit

TOISIAAN TÄYDENTÄVÄT ARVIOINTIMUODOT

Itsearviointi edistää • itsetuntemusta ja –ymmärrystä • omien vahvuuksien ja

kehittämistarpeiden tiedostamista• yksilöiden ja yhteisöjen

oppimista ja sopeutumista muutokseen

• työyhteisön kehittymistä, ammatillista kasvua ja toiminnan laatua

• ulkoisen arvioinnin toimivuutta

Ulkoinen arviointi edistää • koulutuksen tasa-arvoista ja

yhdenmukaista kehittymistä• tietoisuutta omista ja toisten

toimintatavoista• objektiivisen kokonaiskuvan

saamista • itsearvioinnin toteutusta ja

suuntaamista

Vertaisarviointi edistää

• omien toimintatapojen ja kehittämiskohteiden tunnistamista

• yksilöiden ja yhteisöjen kehittymistä arvioitsijoina, palautteen antajina sekä arviointitiedon vastaanottajina ja hyödyntäjinä

• oman toiminnan suhteellistamista ulkopuolisen näkökulman kautta

• yhteistyötä, hyvien käytäntöjen levittämistä sekä verkostoitumista

KOKEMUKSIA HANKEARVIOINNEISTA

HANKEARVIOINTIKOKEMUKSIA

• Arvioinnin tarkoituksen ja tehtävän selvyys: miten interventio vaikuttaa ja tuottaa tuloksen? • Tulkinnalliset tavoitteet: hyöty & vaikutukset • Arviointikysymysten määrittämisen perusta – tulkinnallisuus – konsensus • Arviointikohteen jäsentäminen usein epäselvä – päällekkäiset elementit – käsitteelliset ongelmat

• Arvioinnin peruste: kriteerit – muut perusteet – perusteen puuttuminen • Epäselvää, mihin arvioija nojaa johtopäätöksissään – omaan intuitioon, kokemukseen, näyttöön

• Onko vahvuuksien ja kehittämiskohteiden määrittäminen arvioiva johtopäätös?

• Arvioijan riippuvuus & riippumattomuus tasapaino

Anu Räisänen 2009

Arvioinnin merkitys hankkeessa • varmistetaan, että toiminta on tavoitteiden ja suunnitelman

mukaista

• kuvataan vaiheet, joiden avulla tulokset ovat syntyneet: toiminnan ja tulosten välinen logiikka

• arviointiasetelman ja –kysymysten merkitys suuri

• tarkastellaan odotettuja ja odottamattomia tuloksia ja vaikutuksia

• on voitava tehdä johtopäätöksiä siitä, miten kehitetty toiminta voidaan siirtää toiseen ympäristöön

Anu Räisänen 2009

Panokset Prosessi Tuotokset Välittömät vaikutukset

Pitkän aikavälin vaikutukset

KÄYTÄNNÖN HAASTEITA JA KOKEMUKSIA

• Arviointi tehdään annetun näytön perusteella (evidence based orientaatio) • Aineiston monipuolisuus & tarkoituksenmukaisuus & kattavuus

• Arvioinnissa otettava huomioon kontekstin vaatimukset

• Aineisto koottava ja käytävä läpi huolellisesti ennen arviointia

• Kriteereistä/perusteista on päätettävä ennalta - kriteeristön tulkinta haaste

• Arvioijan on otettava kantaa – arviointi on hanketoiminnan voimavara

• Armeliaisuus & kriittisyys kiikkulauta • Laadukas arviointi vie aikaa - mutta myös opettaa

• Luottamus - arvioija on ”hajuton, mauton ja väritön”

• Kokemus on paras opettaja – arviointien vertailtavuus – oikeudenmukaisuus

• Arvioinnin perusteella tehtävät johtopäätökset Anu Räisänen 2009

TYYPILLISIÄ KYSYMKSIÄ

• Mitä tapahtuu ja miksi?• Miten tulos ja tuote on tuotettu? • Millaisia taitekohtia projektin aikana on ollut? • Millaisia interventioita on käytetty ja miksi? Mitä ei ole käytetty ja miksi? • Millainen on prosessin laatu ja voimavarat (osaaminen, talous, muut resurssit)? • Miksi jotkut interventiot ovat toteutuneet toisia paremmin? • Millaisia ennakoimattomia tuloksia tai esteitä projektissa on tullut ilmi ja miten niitä on käsitelty? • Miten toimiva projektiorganisaatio on ollut?• Millaiset asiat ovat edistäneet/estäneet projektia saavuttamaan tavoitteita? • Kuinka tietynlaiset tulokset on saatu aikaan? • Miten hyvin arviointi saavuttaa keskeiset kohderyhmät? Miten tavoitettavuutta pitäisi parantaa? • Miten keskeisten kohderyhmien tavoitettavuutta tulisi parantaa?

Anu Räisänen 2009

PROSESSIN LAATU & TULOKSET & EDELLYTYKSET

PROSESSIN LAATU & TEHOKKUUS - hankkeen organisointi

EDELLYTYKSET - voimavarojen käyttö

PROSESSIN TULOS & VAIKUTTAVUUS- tavoitteiden suunnassa eteneminen - välitön tulos - pitkän aikavälin vaikuttavuus

Prosessin laatu Tulokset

Edellytykset

Anu Räisänen 2009

Prosessin laatu & Tulosten laatu

” hyödynsaajat”