kokonaistoiminnan arviointi haltuun
TRANSCRIPT
Kohti oppivaa ja kehittyvää toimintakulttuuria ─Järjestöjen koko toiminnan arviointi
haltuunMervi Aalto-Kallio ja Niina Haake
Valtakunnallinen koulutus järjestöille
Helmikuu 2015, Helsinki ja Oulu
”Kaikki menetelmät ja työvälineet tarvitsevat
toimiakseen ympärilleen käytäntöjä ja
toimintatapoja, joilla niitä käytetään…”
(Kohti avointa kehittämistä –matkaoppaana Innokylä)
Opas
Arvioiva toimintakulttuuri järjestöarkeen. Opas kokonaistoiminnan arviointiin
(toim. Aalto-Kallio, Haake & Saarinen, 2014)
http://www.soste.fi/ajankohtaista/julkaisut/jarjestotoiminnan-kehittaminen.html
Arviointi osana oppivaa ja kehittyvää toimintakulttuuria
Toimintakulttuuri: mitä kehitämme?
Arvot, uskomukset,
säännöt, normit
Tavat ajatella
Tavat toimia Tavat strukturoida
valinnan
mahdolli-
suuksia
Käsitteistä
Oppivassa ja kehittyvässä työyhteisössä on arvioiva
toimintakulttuuri, joka näkyy työyhteisön arkisena
työtapana, jossa koko työyhteisö on sitoutunut ja osallistuu
arviointiin.
Arvioivassa toimintakulttuurissa arvioiva ajattelu ja
rakentava vuoropuhelu onnistumisista ja
kehittämistarpeista ovat jatkuva ja luonnollinen osa
arkityötä.
Oppimisprosessin perusmalliOppimisprosessin perusmalli
OPPIMINEN
KOKEMUS
ARVIOINTI
YMMÄRRYS
SOVELTAMINEN
Toiminnan kautta
Tiedon Hankinnan
kautta
Ymmärryksen kautta
TiedonLaajenta-
misenkautta
Kolb (1984)
Oppimisen portaat sovellettuna arvioinnin eri vaiheisiin
LUULEE TIETÄVÄNSÄ
TIETÄÄ, ETTEI TIEDÄ
TIETÄÄ
YMMÄRTÄÄ
SOVELTAA
KEHITTÄÄ
Havaitaan tarve arvioinnille **Arviointia ei koeta
tarvittavan
Suunnitellaan ja toteutetaan arviointi, saadaan tietoa
**
Analysoidaan ja käsitellään arviointitietoa
**
Pohditaan ja ideoidaan realistiset kehittämistoimenpiteet
**
Kehittämistoimenpiteet käytäntöön, arviointi jatkuu
**
Oppimisen portaat: Sydänmaanlakka (2000)
Edel
lyty
s Selkeä visio ja tavoite, päämäärä siitä, mihin pyritään.
Arv
ioin
ti Tulosten ja kehittämistarpeiden arviointi on mahdollista vasta kun tiedetään, mitä tavoitellaan.
Edel
lyty
s Toimiva palautejärjestelmä (feedback feedforward).
Arv
ioin
ti Jatkuva, systemaattinen ja monipuolinen palaute tuottaa arviointitietoa. Avoimuutta palautteen vastaanottamiseen.
Edel
lyty
s Osaamisen ja tiedon jakaminen.
Arv
ioin
ti Arviointitieto dokumentoitava ja saatettava kaikkien tietoon.
Oppimisen ja kehittymisen edellytyksiä työyhteisössä
Oppimisen ja kehittymisen edellytyksiä työyhteisössä
Edel
lyty
s Riittävä aika reflektoinnille ja arvioinnille.
Arv
ioin
ti Arvioinnin on oltava osa perustyötä, silloin se ei jää jalkoihin. Tarvitaan yhteiset arviointikäytännöt, joihin sitoudutaan
Edel
lyty
s Toimiva vuorovaikutus ja viestintä.
Arv
ioin
ti Edellyttää rakentavaa ja avointa vuoropuhelua, kysymistä, ongelmien pohdintaa, kuuntelemista ja taitoa kyseenalaistaa.
Edel
lyty
s Hyvä vire ja motivaatio sekä kannustava ilmapiiri.
Arv
ioin
ti Positiivisessa ilmapiirissä arviointi nähdään todennäköisemmin myönteisten silmälasien lävitse.
Oppimisen ja kehittymisen edellytyksiä työyhteisössä
Edel
lyty
s Tunteet ja uskomusten muutokset ovat osa oppimista ja kehittymistä.
Arv
ioin
ti Arviointitiedon avulla voidaan tunnistaa tosiasiat uskomuksista ja löytää mekanismeja tunteiden taustalla.
Edel
lyty
s Virheiden salliminen ja niistä oppiminen.
Arv
ioin
ti Arviointi antaa tietoa siitä, mikä toimii ja mikä ei, mikä on huonoa, mikä hyvää. Näin saadaan tieto siitä, mitä pitää korjata ja mihin puuttua
Edel
lyty
s Työyhteisötaitojen kehittäminen
Arv
ioin
ti Palautejärjestelmän ja itsearvioinnin avulla yhteiset pelisäännöt, jolloin työ sujuu soljuvammin
Oppimisen ja kehittymisen edellytyksiä työyhteisössä
Edel
lyty
s Uusiutumiskyky ja taito ennakoida
Arv
ioin
ti Tarvitaan kykyä ennakoida muutoksia ja yhdistää ennakointitieto organisaation osaamisen kehittämiseen.
Edel
lyty
s Asiakkaista/jäsenistä huolehtiminen.
Arv
ioin
ti Esim. tarvekartoitukset ja toiminnan kehittäminen. Arviointiosallisuus toteutuu parhaiten, kun palaute johtaa muutokseen.
Edel
lyty
s Johdon kannustus ja tukiA
rvio
inti Arviointi on johtamisen
työkalu.
Kun jotain muutetaan…
Muutos ja uuden
oppiminen, sitoutuminen
Poisoppi-minen
Muutos-vastarinta
Muutokseen suhtautuminen
Organisaation
- Rakenne
- Ketteryys
- Kulttuuri
Yksilön
- Voimavarat
- Oppimiskyky
- Ammattitaito
- Työyhteisötaidot
Muutoksen
- Toiminta-ympäristö
- Nopeus
- Tapa
Luodaan perustaa ja tehdään pohjatöitä arvioivalle toimintakulttuurille
Vaihe 1: Yhteisen ymmärryksen luominen: Miten ymmärrämme arvioinnin? Millaisia tunteita arviointi herättää?
Vaihe 2: Hyödyn määrittäminen: Miten hyödymme arvioinnista? Miksi teemme arviointia? Mitä siltä odotamme?
Vaihe 3: Sitouttaminen ja osaamisen vahvistaminen: Millaista osaamista tarvitsemme arviointiin? Miten arviointia johdetaan ja miten vastuut jaetaan?
Vaihe 4: Toiminnan kokonaisuuden hahmottaminen: Mitä järjestömme koko toiminta sisältää? Miltä kokonaisuus näyttää?
Vaihe 5: Nykyisten arviointikäytäntöjen tarkasteleminen Miten arvioimme tällä hetkellä ja millaisia menetelmiä käytämme? Kattaako arviointi koko toiminnan?
Suunnitelkaa ja toteuttakaa
Kartoittakaa lähtötilanne
Tehkää pohjatyöt
hyvin
Vaihe 6: Valintojen tekeminen ja toteutuksen suunnittelu: Millaiset resurssit ovat käytössämme? Millaisia aineistoja meillä on? Millaisia aineistoja tarvitsisimme, kuka/ketkä ne kerää? Millaisin menetelmin arvioimme? Millaiset pelisäännöt tarvitsemme? Mistä voisimme ottaa mallia?
Arvioivan toimintakulttuurin vahvistamisen tuloksena koko työyhteisö oppii ja kehittyy, toiminnan tarpeellisuus ja tulokset
saadaan näkyväksi ja järjestön uskottavuus kasvaa
STRATEGIA JA ENNAKOINTI
TOIMINTA- JA ARVIOINTISUU
NNITELMA, TALOUSARVIO
TARKEMMAT TYÖSUUNNI-
TELMAT
SEURANTA- JA ARVIOINTIAINEISTON
KOKOAMINEN TOIMINNAN AIKANA
TOIMINNAN ARVIOINTI:
ONNISTUMISET JA KEHITTÄMIS-
KOHTEET
RAPORTOINTI JA JOHTOPÄÄ-
TÖKSET
Valintojen tekeminen
Toiminnan täsmentäminen
ToimintaToiminta
Toiminnan kehittäminen
Toiminnan kehittäminenja uudelleen suuntaaminen
Arviointi vuosisyklissä
Vuosittain järjestö saa tietoa tuloksista,
vaikutuksista ja kehittymis-tarpeista sekä
pitkällä aikavälillä koottu Tieto kertoo järjestön
vaikuttavuudesta jakehityksestä ajassa.
Arvioinnin merkityksen luomista ja ymmärtämistä• Arvioinnin arkipäiväisyys: Mitä arviointi sinulle tarkoittaa?
järjestetään esim. arviointipäiviä/kehittämispäiviä
• Arviointi ja sen lähikäsitteet
• Arviointi kuuluu kaikille, jokaisella arviointiin tarttumapintaa
ja annettavaa
• Arviointi sanana
- fragmentoitunut,
- kärsinyt osittain inflaation,
- muuttunut ”kirosanaksi”,
- tullut samalla muotisanaksi
Dialogia SWOT-analyysin avulla
Vahvuudet ja myönteiset seikat:Miksi arviointi on hyvä juttu? Mitä saan siitä itse, entä työyhteisö?
Heikkoudet ja uhat:Mitkä ovat arvioinnin sudenkuoppia tai kompastuskiviä?
Mahdollisuudet:Mitä arviointi mahdollistaa ja tarjoaa nyt ja tulevaisuudessa?
Kehittämistarpeet:Miten vahvistamme arvioinnin myönteisyyttä ja otamme sen mahdollisuuksista kaiken irti välttämällä samalla pahimmat kompastuskivet?
Oman järjestön sitoutuminen ja näkökulma arviointiin
TILINTEKO-VELVOLLISUUS
OPPIMINEN JA KEHITTYMINEN
TEKNINEN SUORITTAMINEN
RITUAALIJA ”TALON TAPA”
ULKOINEN SISÄINEN
KORKEA
MATALA
S
I
T
O
U
T
U
M
I
S
E
N
ALOITE/TARVE ARVIOINNILLE
A
S
T
E
Lähde: mukaillen Virtanen & Uusikylä, teoksessa Kohti julkisten palvelujen yhteistä arviointia (2001)
Luottamusjohto esim. vastuun kantaminen järjestön
toiminnasta ja taloudesta sekä niiden suunnittelusta, seurannasta ja raportoinnista. Toimintalinjauksista päättäminen.
Toiminnanjohtaja esim. kiinnostus ja tuki arviointiin, arviointimyönteisyyden johtaminen, kuunteleminen ja kannustaminen, arvioivaa toimintakulttuuria tukevien rakenteiden vahvistaminen, arvioinnin kiinnittäminen osaksi strategia-, ohjaus- ja kannustejärjestelmiä…
Koko (työ)yhteisöesim. osallistuminen, vuoropuhelu, sitoutuminen, erityisesti oman toiminnan arviointi ja omaan toimintaan liittyvien toimintojen arviointi kriittisesti reflektoiden, onnistumiset ja kehittymistarpeet esille tuoden, arviointitulosten tarkastelu, kehittämistoimien suunnittelu ja toimeenpano, toiminnan ja oman työn kehittäminen
Arvioinnin koordinaatio• myönteiset arviointi-
ilma-piirin luominen, kuunteleminen ja kannustaminen
• tarvittavan arviointi-osaamisen järjestäminen arviointikäytännön jalkauttamiseksi
• arvioinnin käytännön toteutuksen koordinaatio ja tuki
• arviointiaineiston käsittely, dokumentaatio ja yhteenveto
• johdon arvioinnin tuki
Roolit arvioinnissa
Ainakin kolme motiivia arvioida
Kehittä-minen ja
oppiminen
Tilivelvollisuus
Tiedon tuotta-minenja/tai
lisääminen
…Kysymys kuuluu: hyödynnetäänkö arviointitietoa?
LUOTTAMUSJOHTO
JOHTAJA/JOHTO(RYHMÄ)
HENKILÖSTÖ/TYÖNTEKIJÄT
JÄSENET JA MUUT SIDOSRYHMÄT
RAHOITTAVAT VIRANOMAISET
LAHJOITTAJAT,SPONSORIT
KANSALAISET
ja useita arvioinnin hyödynsaajia
Vinkit arviointitiedon hyödyntämisen edistämiseksi1. Tarvelähtöisyys
2. Linkittyminen johtamiseen ja strategiatyöhön
3. Oikea-aikaisuus
4. Resursointi, tarkoituksenmukaisuus
5. Laadukas arviointi
6. Selkeä tulosten raportointi, perustellut
johtopäätökset ja realistiset kehittämistoimenpiteet
7. Osallistaminen
8. Ajan varaaminen arvioivaan keskusteluun
Kartoitetaan ja jäsennetään lähtötilanne kokonaistoiminnan arvioinnille
Toiminnan jäsentäminen
Esimerkkejä seuranta- ja arviointiaineistoistaArvioinninkohde
Seuranta-aineisto esim. Arviointiaineisto esim.
Järjestön ns. perustoiminta
toiminnan volyymit: jäsentiedot, tilinpäätös, henkilöstötilinpäätös
henkilöstö- ja sidosryhmäkyselyt, riskien arvioinnit, toimintaympäristö-analyysit, erilliset kustannushyötyanalyysit
Vaikuttamistoiminta tiedotteiden, kannanottojen, lausuntojen, asiantuntijakirjoitusten,nettisivukävijöiden määrä, mediaseuranta
raportit toiminnan sisällöstä ja näkyvyydestä, arviot sen vaikutuksista
Kansalaistoiminta/Jäsentoiminta
toiminnan määrä ja laajuus, osallistuja- ja kävijämäärät
osallistujapalautteet ja kokemukset (kyselyt, havainnoinnit, haastattelut, työpäiväkirjat…), sisällön arvioinnit
Kehittämistoiminta/projektitoiminta
projektitoiminnan laajuus, uusien innovaatioiden, toimintamallien, sovellusten ja muiden tuotosten määrä ja kuvaukset
toiminnan sisältö ja onnistuneisuus, hyödyntäminen, projektiarvioinnittoimintojen erilliset syvällisemmät arvioinnit
Järjestölähtöisetpalvelut
toiminnan määrä ja laajuus, osallistuja- ja kävijämäärät, resurssit
asiakaskyselyt (kyselyt, havainnoinnit, haastattelut), laadun arvioinnit
Valinnat ja yhteiset pelisäännöt arviointiin
Systemaattista resurssien ehdoilla
• Tarkastetaan henkilö- ja aikaresurssit arviointi on
renki, ei isäntä
Ollaanko alkutekijöissä?
Tarvitaanko koordinoivaa henkilöä?
• Olennaista on huolehtia, että
Arviointi on systemaattista
Saadaan vähintään riittävät tiedot koko toiminnan
tuloksista (huomioi esim. rahoittajan tarpeet)
Arviointikäytännön valinnassa tai nykyisen kehittämisessä huomioitavia tekijöitä
• Järjestön koko ja organisoituneisuus
• Toiminnan laajuus
• Järjestössä entuudestaan oleva arviointikokemus
• Resurssit
• Työntekijöiden tarpeet, toiveet ja osallistaminen
(arviointiosallisuus)
Vaihtoehtoja lähteä kehittämään arviointikäytäntöä
• Valmiit: Tutustuu ja miettii soveltamismahdollisuuksia
olemassa olevista järjestelmistä ja/tai malleista (LFA, CAF, BSC)
• Oma käytäntö: lähtee kehittämään rohkeasti omaa
arviointikäytäntöä esim. soveltamalla oppaan esimerkkejä
• Bencmarkkaus: vierailee ja hakee sparrausta niissä
järjestöissä, joissa kokee olevan arviointikäytännön, joka voisi
soveltua omaan järjestöön
• Ulkopuolinen tuki: pyytää ulkopuolista antamaan tukea oman
järjestön arviointikäytännön kehittämiseen
Mitä arviointikäytännöstä pitää tulla ilmi?• Muoto: arviointistrategia, arviointisuunnitelma,
toimintaohje- tai opas, tiedote/ilmoitus, taulukko…
1. Mitä arvioidaan
2. Kuka arvioi
3. Kuka kokoaa kaiken arviointitiedon
4. Minne tieto kootaan ja mistä sen löytää ja milloin
5. Milloin koottu arviointitieto käsitellään yhdessä
6. Kuka ja miten kokonaistoiminnan arviointitiedon
raportoi tulokset; onnistumiset ja kehittämiskohteet
sekä niiden toimeenpano
Kokonaistoiminnan arvioinnissa olennaisia kysymyksiä
1. Onko edetty tavoitteiden suuntaisesti?
2. Onko asetetut tavoitteet ylitetty, saavutettu vai alitettu? Miten se ilmenee (määrällisesti, laadullisesti, kokemuksellisesti)?
3. Mitkä ovat koko toiminnan kannalta keskeiset onnistumiset ja hyödyt? Miksi? Miten tämä ilmenee ja kenelle?
4. Mitkä ovat toiminnan kannalta olennaisia kehittämisen kohteita tulevalle vuodelle/tuleville vuosille? Miksi? Miten niihin panostetaan jatkossa?
5. Onko toiminnassa joitain osa-alueita, jotka on tarpeen arvioida syvällisemmin? Miksi?
6. Saatiinko suunniteltu toiminta toteutettua siihen tarkoitetulla määrärahalla?
Vinkit arviointitiedosta viestimiseen• Kohdenna viesti kiinnostus herää, kun se koskettaa kuulijaa
• Kerro, mistä tieto on saatu ja miten se on käsitelty lisää uskottavuutta ja läpinäkyvyyttä
• Tuo esimerkkejä muutoin kankeahkolle arviointikielelle konkretisoi ja pitää yllä kiinnostusta
• Analysoi tuloksia antaa kuulijalle tiedon siitä, miten onnistuttiin, pelkkä ”tulosraportti” ei riitä
• Rohkeutta suosituksiin ja kehittämisideoihin viestii kuulijalle kehittämismyönteisyydestä, ratkaisukeskeisyydestä ja muutoshalukkuudesta
• Näe tulokset osana kokonaisuutta linkittää tiedon osaksi isompaa kuvaa, mitä tieto kertoo suhteessa toimintaympäristön muutoksiin, yhteiskunnallisiin odotuksiin jne.
Pelisäännöt
• Reiluus ja tasapuolisuus, kannustus ja innostaminen
• Kuuntelu ja rakentava keskustelu
• Eettisyys arvioinnin toteuttamisessa
• Toiminnan kehittäminen vaatii myös ikävien asioiden
purkamista, rakentavasti, arviointitiedon pohjalta
• Kun työ tulee näkyväksi, osoitamme myös itsellemme
tekevämme tärkeää työtä hyvin
• Muista juhlia onnistumisia ja hyviä tuloksia!
1. Järjestöllämme on jaettu ja yhdessä ymmärretty
arviointikäytäntö.
2. Tiedän, mitä ja milloin minun tulee toimia omalta osaltani tekemäni työn seurannan ja
arvioinnin suhteen.
3. Kokoan tarvittavaa seuranta-ja arviointitietoa toiminnan
aikana parhaaksi katsomallani tavalla.
4. Käymme kokoamani arviointitiedon pohjalta tarvittaessa pienemissä
ryhmissä arviointikeskusteluja, jotta saamme hyödynnettyä
tietoa toiminnan kehittämiseen mahdollisimman pian.
5. Arviointikäytäntömme mukaisesti osalllistun koko toimintaamme koskevaan
arviointikeskusteluun tuomalla mukanani omasta toiminnasta
kokoamani seuranta- ja arviointiteidot tai välittämällä
ne muulla tavalla koko toiminnan arviointia koskevaan
yhteenvetoon
6. Arvioimme keskustellen ja reflektoiden, kyseenalaistaen ja
pohdiskellen koko toimintaa yhdessä arviointikysymyksillä, jotka olemme itse laatineet.
7. Raportoimme tulokset, teemme johtopäätöksiä ja
laadimme kehittämistarpeet .
8. Viemme kehittämistarpeet käytäntöön, otamme
arviointitiedon seuraavan vuoden toiminnan suunnittelun
pohjaksi
PÄHKINÄN-KUORESSA!
Hyödynnettyjä lähteitä mm.:
Kuvat: www.pixabay.com
Aalto-Kallio, M., Haake, N. & Saarinen, E. (toim.) (2015) Arvioiva toimintakulttuuri järjestöarkeen. Opas kokonaistoiminnan arviointiin. Helsinki: SOSTE.
Talentum.
Harisalo, R. (2010) Organisaatioteoriat. Tampere:: Tampereen yliopisto.
Harisalo, S., Klingberg, R. & Pentti, P. (2011) Kaikkien aivot käyttöön. Helsinki: WSOYpro.
Juuti, P. & Rovio, E. (toim.) (2010) Keskusteleva johtaminen. Helsinki: Otava
Kohti julkisten palvelujen yhteistä arviointia. Keskustelualoite (2001) Helsinki: Kansallinen tuottavuusohjelma Tuottavuudella tulevaisuuteen. Suomen Kuntaliitto, Sisäasiainministeriö, Valtiovarainministeriö.
Kolb, D. (1984) Experiential Learning. Experience as the Source of Learning and Development. Prentice-Hall.
Lyytinen, H. K. & Nikkanen, P. (2005) Kehittämisvoimaa arvioinnista. Teoksessa Lyytinen, H. K. & Räisänen, A. (toim.) Kehittämissuuntaa arvioinnista. Koulutuksen arviointineuvoston julkaisuja 6. Helsinki: Koulutuksen arviointineuvosto, 129-141.
Pantzar, J. A., Saikkonen, P. & Viirkorpi, P. (2009) Arviointi järjestöjen kokonais- ja vaikuttamistoiminnan tukena. Teoksessa Koskinen-Ollonqvist, P., Paija, L., Pantzar, J.A., Saikkonen, P. & Savolainen, N. (toim.) Näkökulmia järjestöarviointiin. Helsinki: Sosiaali- ja terveysturvan keskusliitto ry, Terveyden edistämisen keskus ry.
Pohjola, P. ym. (toim.) (2014) Kohti avointa kehittämistä – matkaoppaana Innokylä. THL:n Opas 38. Helsinki: THL.
Seppänen-Järvelä, R. & Vataja, K. (2009) Kehittävän itsearvioinnin taidot, kyvykkyydet ja osaaminen. Empiirinen analyysi sosiaalitoimen työyhteisöistä. Hallinnon Tutkimus 28, 5, 60-73.
Sydänmaanlakka, P. (2007) Älykäs organisaatio. Helsinki: Talentum.
Kiitos!
Mervi Aalto-Kallio
Niina Haake