Vaikutus, vaikuttavuus – mission possibleM/S SOSTE 5.10.2016

M.Aalto-Kallio, erityisasiantuntija, SOSTE

• Vaikutuskäsitteet ovat sopimuksenvaraisia, toimintaympäristöön sitoutuvia ja historiallisesti muuttuvia. Ollaan siis laajalla ja monisyisellä keskustelunalueella (Rajavaara 2006,13-14).

• Vaikuttavuuteen liittyvien kausaalisuhteiden osoittaminen on koettu monissa arvioinneissa ylitsepääsemättömän vaikeaksi. (Koskinen-Ollonqvist 2005 ym., 11).

• Ongelmina mm. luotettavan seuranta-aineiston puute, väliin tulevien muuttujien kontrolloinnin ongelmat, ei-aiotut vaikutukset, ajallisen vaikutuksen huomioon ottaminen (Virtanen 2007), ennalta ehkäisevän työn mittaamisen ongelma jne.

• Vaikuttavuutta kannattaa yrittää mitata, vaikka tiedämmekin, ettei lopputulos tule olemaan täydellinen. Ehkä lopulliseen tavoitteeseen ei koskaan päästä, epävarmuutta jää. Mutta mittaaminen siinä määrin kuin se on käytännössä ja taloudellisesti järkevää, syventää kuitenkin ymmärrystä tutkitusta aiheesta ja sen syy–seuraussuhteista. Kokemuksen kertyessä seuraavalla kerralla mittaamisessakin onnistutaan taas paremmin. (Sitra)

Toteamuksia taustalla

Millaisen mielikuvan sinunkiikarisi muodostavat

vaikutusten tai vaikuttavuuden arvioinnista?

Kuva: ilmainen kuvapankki https://pixabay.com/en/

Kaavamaista

Puhekupla: ilmainen kuvapankki https://pixabay.com/en/

Lähde: Paasio, P. (2003) väljä mukailu alkup. Lähteestä Nugent ym. (2001)

Eff= [ ∆ CP = ƒ(Eff=vaikuttavuus∆ CP=kahden tai useamman ajanhetken välillä havaittu muutos asiakkaan ongelmassaX1, X2,… Xn=yksi tai useampi intervetioe=satunnaismuuttuja

Rajoitteet

Laajempi konteksti

Tulokset/vaikutuksetPanokset/tavoitteet

Lähde mukaillen: Smith 2012; Cabrera ym. 2008

Systeemistäja kompleksista

Puhekupla: ilmainen kuvapankki https://pixabay.com/en/

Tarve Tavoite Panos Toimenpide Tuotos Tulos Vaikutus

Hyödyllisyys ja pysyvyys

Vaikuttavuus (vaikutus suhteessa tavoitteeseen)

Tehokkuus

Relevanssi

Lähde:. Sovellus European Commission 2004; Virtanen 2007

Lineaarista,selkeää

johdonmukaista

Puhekupla: ilmainen kuvapankki https://pixabay.com/en/

Kustannusvaikuttavuus

Lähde: Koskinen-Ollonqvist & Savolainen (2008)

Kuvinvisualisoitua

Puhekupla: ilmainen kuvapankki https://pixabay.com/en/

vaikutuksia

Kumulatiivisetvaikutukset synnyttävätpitkällä aikajänteellävaikuttavuutta

Erilaisina arvioinnin asetelmina

InterventioEnnen Jälkeen

Mittaus Mittaus

Interventio AEnnen Jälkeen

Mittaus Mittaus

Interventio BEnnen Jälkeen

Mitä vaikutustaVerrattuna toiseen?

InterventioryhmäKoeryhmä

Mittaus Mittaus

Placebo-ryhmäVertailuryhmä

Ennen Jälkeen

Mitä vaikutustaKoeryhmän ja

Vertailuryhmän välillä?

Ennen Jälkeen

Ihmiset Valittu

satunnaisesti

Puhekupla: ilmainen kuvapankki https://pixabay.com/en/

Lähde: esim. Koskinen-Ollonqvist ym. (2005); Virtanen (2007)

• Asiat, joita voimme hallita• Esim. vanhusten tietämys etuuden hakemisesta ja myöntämisperusteista

lisääntyy

Välittömät vaikutukset (immediate)

• Asiat, joihin vaikutamme• Esim. Hoitotuen tarpeen tulevat esille, ja kaikki tukeen oikeutetut vanhukset

tulevat sen piiriin

Välitason vaikutukset (intermediate)

• Asiat, joihin annamme panoksemme• Esim. Vanhukset voivat asia kotonaan mahd. pitkään

Viimesijaiset vaikutukset (ultimate)

• Hyvä vanhuus mahdollistuu

Viimesijaiset yhteiskunnalliset vaikutukset

Erilaisten vaikutusten pohdintana

Vaikutukset: Mitä tapahtuu tekemisemme seurauksena ja miksi?

Lähde: Rajavaara, M. (2006) Puhekupla: ilmainen kuvapankki https://pixabay.com/en/

Onko käsitteellä väliä?TARKASTELTAVA

EROVAIKUTUS VAIKUTTAVUUS

Aikajänne ja pysyvyys

lyhyt aikaväli, toiminnan tulosten seuraus, konkreettinen tulos

toiminnasta

pitkä aikaväli, esim. 10 vuotta, pitkäaikaiset ja pysyvät vaikutukset,

kasautuvat vaikutukset, yhteisvaikutukset

Arvioinnin kohde välitön tulos, hyöty, muutos, seuraus jostakin interventiosta

yksilölle/kohderyhmälle

pitkäaikainen vaikutus yhteisöille ja yhteiskunnalle, myös taloudellinen

vaikuttavuus

Oletus/käsitys muutoksesta

voi olla ennakoitava tai ennakoimaton, positiivinen, negatiivinen tai neutraali (ei

muutosta)

lähtökohtaisesti oletus positiivisesta vaikuttavuudesta ja tavoiteltavan

muutoksen toteutumisesta, jonka voi toimivan mittarin kanssa todentaa

Mittaamisen tavat mittaaminen helpompaa: arviointia, haastattelut, kyselyt, myös ”musta tuntuu” -tyyppinen subjektiivinen kokemus riittää, joskus enemmän

”pöhinää” kuin toimintaa

mittaaminen haastavampaa ja kompleksisempaa: tutkimuksellista,

strukturoitua ja järjestelmällistä, tutkimusasetelmiin nojaavaa,

objektiiviset mittarit

Taloudellisen arvioinnin verkoston työskentelystä (5.9.2016) tehty yhteenveto ja johtopäätöksiä

Miksi näyttöä järjestöjen työn vaikuttavuudesta

tarvitaan?

Kuva: ilmainen kuvapankki https://pixabay.com/en/

Miksi?

Järjestö-toiminnan

laadun osoittami-

nenFaktaa vai- kuttamis-

työn tueksi

Toiminnan moninai-suuden

näkyväksi tekeminen

Yritysten kiinnostuk-sen herättä-

minen investoimaan järjestöihin

Järjestöjen toiminta-edellytys-

ten ylläpitä-minen

Rahoitus-kanavien monipuo-listaminen

Järjestö-työn

elinvoimai-suuden

näkyväksi tekeminen

Rahoituksen jatkuvuus ei ole kiveen hakattu – muutoksia

ilmassa

Järjestöj-toiminnan

kehittä-minen

Vaikka olisi lähtökitkaa…

Kuva: ilmainen kuvapankki https://pixabay.com/en/

Älä mene sieltä, mistä aita on matalin

Äläkä ota liian isoa palaa purtavaksi kerralla

Kuva: ilmainen kuvapankki https://pixabay.com/en/

Lähde liikkeelle:

- vaihteittain- kokeillen- erehtyen- oppien

YES WE CAN!

Kuvat: ilmainen kuvapankki https://pixabay.com/en/

Lähteet:• Cabrera, D, Colosi, L. & Lobdell, C. (2008) Systems Thinking. In Evaluation and Program Planning. 31 (2008).

299-310.• European Commission (2004) Evaluating EU Activities. A practical guide for the Comission services.

Directorate-General for the Budget. European Comission. • Koskinen-Ollonqvist, P., Pelto-Huikko, A. & Rouvinen-Wilenius (toim.) (2005) Näkökulmia vaikuttavuuteen.

Vaikuttavuuden arvioinnin mahdollisuudet terveyden edistämisessä. Terveyden edistämisen keskuksen julkaisuja 4/2005. Helsinki: Terveyden edistämisen keskus.

• Koskinen-Ollonqvist, P. & Savolainen, N. (2008) Vaikutukset ja vaikuttavuus terveyden edistämisen arvioinnin kohteena. Helsinki: Terveyden edistämisen keskus. Julkaisematon työpaperi.

• Nugent, W. , Sieppert, J.D. & Hudson, W.W. (2001) Practice Evaluation for the 21st Century. Wadsworth/Thomson Learning, Belmont, CA 2001. (Paasion lähteenä)

• Paasio, P. (2003) Vaikuttavuuden arvioinnin rakenne ja mahdollisuus sosiaalialalla. FinSoc Työpapereita. Helsinki: Stakes : 3/2003

• Perälä, M-L, Toljamo, M. Vallimies-Patomäki, M. & Pelkonen, M. (2008) Tavoitteena näyttöön perustuva hoitotyö. Kansallisen hoitotyön tavoite- ja toimenpideohjelman (2004-2007) arviointi. Stakes Raportteja 28/2008.

• Rajavaara, M. (2006) Yhteiskuntaan vaikuttava Kela. Katsaus vaikuttavuuden käsitteisiin ja arviointiin, Sosiaali- ja terveysturvan katsauksia 69.

• Sitra: http://www.sitra.fi/artikkelit/hyvinvointi/kannattaako-vaikuttavuutta-yrittaa-mitata • Smith, G. (2012) A Systems Critique of program logic. Puheenvuoro EES 2010 -konferenssissa 4.10.2012. • Virtanen, P. (2007) Arviointi. Arviointitiedon luonne, tuottaminen ja hyödyntäminen. Helsinki.

Kiitos!

Hyvinvointitaloustiimiwww.soste.fikuvat ilmaisesta kuvapankista: https://pixabay.com/