työkalu syväoppimisen vertaisauditointiin · pdf filenpdl-auditointikäsikirja...

44
NPDL-auditointikäsikirja Työkalu syväoppimisen vertaisauditointiin Suomen NPDL-maaklusteri 2017 Peter Johnson & Hannu Laukkanen

Upload: lamnhu

Post on 25-Mar-2018

228 views

Category:

Documents


2 download

TRANSCRIPT

Page 1: Työkalu syväoppimisen vertaisauditointiin · PDF fileNPDL-auditointikäsikirja Työkalu syväoppimisen vertaisauditointiin Suomen NPDL-maaklusteri 2017 Peter Johnson & Hannu Laukkanen

NPDL-auditointikäsikirjaTyökalu syväoppimisen vertaisauditointiinSuomen NPDL-maaklusteri 2017 Peter Johnson & Hannu Laukkanen

Page 2: Työkalu syväoppimisen vertaisauditointiin · PDF fileNPDL-auditointikäsikirja Työkalu syväoppimisen vertaisauditointiin Suomen NPDL-maaklusteri 2017 Peter Johnson & Hannu Laukkanen

Licence to learn Ltd

Julkaisija: Microsoft

Työryhmä: Auditointikäsikirjan ovat kehittäneet yhteistyössä KT Peter Johnson, Licence to learn Ltd, toimitusjoh-taja Hannu Laukkanen, Pro Practica Oy ja Educode /Edita Oy:n ja Microsoftin asiantuntijat.

Page 3: Työkalu syväoppimisen vertaisauditointiin · PDF fileNPDL-auditointikäsikirja Työkalu syväoppimisen vertaisauditointiin Suomen NPDL-maaklusteri 2017 Peter Johnson & Hannu Laukkanen

NPDL FIN Audit Handbook 3

Sisällys

Johdanto 1

1 Tavoitteet 7

2 Vertaisauditointiprosessin vaiheet 8

2.1 Aloitus 8

2.2 Esikysely 10

2.3 Auditointikäyntien valmistelu 11

2.4 Auditointikäynnit 12

2.5 Auditointiaineiston analyysi 14

2.6 Tulosten esittäminen kohdeyhteisölle 16

3 Vertaisauditointimallin kolmivaiheinen rakenne 18

4 Keskeisiä käsitteitä 20

Liite 1. Auditoinnin esikyselyjen kyselylomake 23

Liite 2. Auditoinnin ryhmähaastattelujen kysymysrunko 27

Liite 3. Auditoinnin eettiset ohjeet 29

Liite 4. Vaitiolosopimus 32

Liite 5. Auditointi vahvistaa kehittämisen yhtenäisyyttä ja tavoitteellisuutta 34

NPDL pähkinänkuoressa 35

Lähteet / Kirjallisuutta 43

Page 4: Työkalu syväoppimisen vertaisauditointiin · PDF fileNPDL-auditointikäsikirja Työkalu syväoppimisen vertaisauditointiin Suomen NPDL-maaklusteri 2017 Peter Johnson & Hannu Laukkanen

4 NPDL FIN Audit Handbok

Johdanto

NPDL (New Pedagogies for Deep Learning) – Syväoppimisen uusi pedagogiikka on kansainvälinen oppimiseen, opetukseen, kou-lukulttuuriin sekä koulun ja ope-tustoimen johtamiseen keskittyvä kokonaisvaltainen tutkimus- ja kehittämisohjelma. Sen kehittäjä on kanadalainen Michael Fullan tiimei-neen (Fullan, Quinn & McEchen). Emeritusprofessori Fullan on maa-ilmankuulu koulun uudistamisen ja kehittämisen asiantuntija.

NPDL esiteltiin vuonna 2014, ja sen kokonaisvaltai-nen lähestymistapa on ainutlaatuinen maailmassa. Vaikka kokonaisuus vaikuttaa hyvältä ja selkeältä, sitä täydentää oivallisesti Fullanin ja Quinnin vuonna 2016 julkaisema teos Coherence. Siinä tähdennetään NPDL:n toimeenpanon, toteutuksen ja johtamisen yhdenmukaisuutta ja johdonmukaisuutta eli kohe-renssia. Koherenssin saavuttaminen vaatii johdon-mukaista ja pitkäjänteistä johtamista kaikilla orga-nisaation tasoilla. NPDL:n Suomen maaklusterissa on koettu tärkeäksi, että koherenssin toteutumista tutkitaan ja edistetään vertaisauditoinnin avulla. Au-ditoinnin pohjalta laaditaan kolmesta viiteen kehittä-missuositusta kunnan opetustoimelle ja osallistuville kouluille NPDL:n jatkokehittämistä varten.

Oppimisen Pohjantähti -ohjelmaan osallistuneiden kuntien opetustoimelle ja kouluille on valmistunut

Page 5: Työkalu syväoppimisen vertaisauditointiin · PDF fileNPDL-auditointikäsikirja Työkalu syväoppimisen vertaisauditointiin Suomen NPDL-maaklusteri 2017 Peter Johnson & Hannu Laukkanen

NPDL FIN Audit Handbook 5

vertaisauditointiin perustuva auditointikäsikirja. Ope-tusalan ammattilaiset voivat käyttää auditointikäsi-kirjaa joko itsenäisesti tai asiantuntijoiden tukemana. Lukuvuonna 2016–2017 suoritetulla pilotoinnilla on varmistettu NPDL FIN AUDIT HANDBOOK -audi-tointimallin soveltuminen suomalaiseen koulukult-tuuriin ja opetustoimen organisaatiokulttuuriin.

Auditointikäsikirjan ovat kehittäneet kolmen suo-malaisen koulutusalan yrityksen asiantuntijat, ja alkuvaiheen auditointimalli on kehittynyt edelleen yhteistoiminnassa vertaisauditoinnin pilotointiin osallistuneiden kuntien opetustoimen ja koulujen ammattilaisten kanssa.

NPDL-auditointi vahvistaa kohdeyhteisöjen sitoutu-mista NPDL:n käyttöön, soveltamiseen ja jatkokehit-tämiseen. Kehittävän arvioinnin periaatteiden mukai-

sesti NPDL-auditointi antaa kohdeyhteisölle kolmesta viiteen kehittämissuositusta. Niiden pohjalta osataan tietoperusteisesti kehittää edelleen NPDL:n käyttöä kouluissa ja opetustoimessa.

Vertaisauditoinnin idean mukaisesti auditointimalli vahvistaa kunnan opetustoimen johdon, koulujen johdon ja opettajien yhteistyötä sekä vuorovaiku-tusta NPDL:n käytössä. Se myös rakentaa verkostoja kuntien ja koulujen välille. Auditointiprosessin aikana vertaisuuden, yhdessä oppimisen ja dialogisuuden avulla syväoppiminen ja NPDL:n kuuden ydintaidon osaaminen kehittyvät varmoin askelin.

NPDL-auditointiprosessi koostuu esikyselyistä, audi-tointikäynneistä kouluissa sekä opettajien, rehtorien ja opetustoimen johdon ryhmähaastatteluista. Op-pilaiden työskentelyä havainnoidaan auditointipäi-

Page 6: Työkalu syväoppimisen vertaisauditointiin · PDF fileNPDL-auditointikäsikirja Työkalu syväoppimisen vertaisauditointiin Suomen NPDL-maaklusteri 2017 Peter Johnson & Hannu Laukkanen

6 NPDL FIN Audit Handbok

vien aikana aamupäivisin, mitä seuraavat iltapäivän haastattelut sekä auditointiryhmän oma yhteenve-topalaveri. Mukaan systeemiseen arviointiin tulevat siis kaikki opetustoimen portaat. Auditointiryhmä kootaan niin, että siinä on mukana kollegoja yhteis-työkunnasta. Näin auditoinnilla vahvistetaan kuntien ja koulujen välistä verkostoitumista. Auditointiryhmä laatii yhdessä CAT-arviointiviitekehyksen pohjalta kehittämissuositukset. CAT eli Coherence Assessmet Tool on Michael Fullanin ja Joanne Quinnin vuonna 2016 kehittämä NPDL:n arviointityökalu, jota on pilo-toinnin yhteydessä kehitetty suomalaiseen opetustoi-meen soveltuvaksi.

Kokemukset auditointimallin pilotoinnista Suomessa 2016–2017 ovat rohkaisevia. Mukana oli neljä kau-punkia ja kaikkiaan kahdeksan koulua. Käytännön ta-solla NPDL:n ydintaitojen kehittämiseen oli yhdistetty uuden opetussuunnitelman laaja-alaisen osaamisen taitojen kehittäminen. Joissakin tapauksissa kehi-tystyö oli viety niin pitkälle, että oppimisen arviointi oli laadittu kuuden ydintaidon osaamisen asteikon mukaiseksi. Vaikka NPDL:n käyttöä oppimisen uudis-tamisessa on hyödynnetty maassamme varsin lyhyen ajan, voitiin havaita monia myönteisiä tuloksia ja toisaalta myös kehittämistä vaativia kohteita.

NPDL on maailmanlaajuisestikin harvinaisen laa-ja ja yksityiskohtainen oppimisen kehittämisen ja arvioinnin konsepti. Nyt sen tueksi laadittu suoma-laisiin kehittävän arvioinnin periaatteisiin tukeutuva NPDL-auditointikäsikirja varmistaa kehittämistyön laatua ja vaikuttavuutta.

Toivomme lupaavan alun jälkeen, että NPDL-ver-taisauditointi saa maamme kunnissa ja kouluissa myönteisen vastaanoton. Auditointimallia on jatkossa tarkoitus kehittää edelleen. Olemme kiitollisia kaikes-ta palautteesta, jota olemme jo saaneet eri puolilta Suomea, ja odotamme sitä lisää.

NPDL FIN AUDIT HANDBOOK -käsikirjan ovat kehit-täneet vuosina 2016–2017 yhteistyössä KT Peter John-son Licence to learn Ltd:stä, tuottaja/toimitusjohtaja Hannu Laukkanen Pro Practica Oy:stä ja Educoden/Edita Publishing Oy:n asiantuntijat. Lisäksi arvokkaita kommentteja on antanut johtaja Kati Tiainen Micro-softin Globaalin digitaalisen oppimisen tiimistä.

Käsikirjaa täydentää artikkeli Auditointi vahvistaa kehittämisen yhtenäisyyttä ja tavoitteellisuutta (Johnson, Johnson & Laukkanen 2017), joka on tämän käsikirjan liitteenä.

Page 7: Työkalu syväoppimisen vertaisauditointiin · PDF fileNPDL-auditointikäsikirja Työkalu syväoppimisen vertaisauditointiin Suomen NPDL-maaklusteri 2017 Peter Johnson & Hannu Laukkanen

NPDL FIN Audit Handbook 7

NPDL:n tavoitteiden toteutumista kouluissa ja kunnan opetustoimessa jokaisella tasolla. Vertaisauditointiin osallistuminen vahvistaa kohdeyhteisöjen sitoutu-mista NPDL:n soveltamiseen ja kehittävän arvioinnin periaatteeseen.

Vertaisauditoinnin idean mukaisesti auditointiprosessi vahvistaa kunnan opetustoimen johdon ja koulujen johdon yhteistyötä, osaamista ja sitoutumista NPDL:n implementointiin. Keskeistä on myös se, että opetustoimessa eri tasoilla työskentelevät kohtaavat auditointiprosessissa ja opetustoimen sisällä voidaan käydä tulosten pohjalta keskustelua jatkokehittämisen tarpeista ja tulevaisuuden tavoitteista.

Auditointikäsikirjan tavoitteena on ollut tuottaa NPDL / Oppimisen Pohjantähti -ohjelmaan osallistuville kunnille ja kouluille itsenäisesti tai tuettuna käytettävä auditointimalli NPDL FIN AUDIT MODEL, joka sovel-tuu suomalaiseen koulukulttuuriin ja opetustoimen organisaatiokulttuuriin. Opetustoimen edustajien tu-lee harkita, löytyykö omasta organisaatiosta riittävästi auditointiosaamista jo entuudestaan, vai onko alkuun syytä käyttää apuna ulkopuolisia asiantuntijoita. Joka tapauksessa auditointiprosessi jo sinällään on myös oppimisprosessi, jossa kaikki osalliset oppivat uutta ja voivat sitä jatkossa hyödyntää eri yhteyksissä.

Auditointiprosessin avulla on tavoitteena kehittää osallistujien auditointiosaamista niin, että se tukee

1 Tavoitteet

Page 8: Työkalu syväoppimisen vertaisauditointiin · PDF fileNPDL-auditointikäsikirja Työkalu syväoppimisen vertaisauditointiin Suomen NPDL-maaklusteri 2017 Peter Johnson & Hannu Laukkanen

8 NPDL FIN Audit Handbok

2 Vertaisauditointiprosessin vaiheet

2.1 Aloitusjen johto ja opetushenkilöstö – kaikki jotka tulevat olemaan mukana auditoinnin eri vaiheissa.

Perehdytyksen olennainen osa on tutustuminen eettisiin periaatteisiin, jotka ovat tämän käsikirjan liitteenä (ks. liite 3). Periaatteiden yhteinen hyväk-syminen ja vaitiolosopimuksen allekirjoittaminen lisäävät keskinäistä luottamusta ja ennaltaehkäisevät mahdollisilta ikäviltä tilanteilta. Auditoinnin laadun ja tutkimuseettisten periaatteiden toteutumisen takeeksi auditointimalliin sisältyy myös suositus ulkopuolisten auditoinnin asiantuntijoiden käytöstä. Tutkimusetiikassa lähdetään siitä, että vastaajien ja kohdeyhteisön anonyymiys taataan, tulokset jaetaan luottamuksellisesti ja kaikissa vaiheissa huolehditaan, ettei auditointi vahingoita tai haittaa kohdeyhteisön toimintaa tai mainetta.

Kuviossa 1 on kuvattu NPDL-vertaisarvioinnin vai-heet. Aloitusvaiheessa tulee opetustoimen johdon ja NPDL-koulujen rehtorien päättää, mitkä koulut vali-taan auditointikohteiksi. Jos mahdollisia kohdekoulu-ja on paljon, kannattaa kohteiksi valita kaksi tai kolme erilaista koulua, joissa kehittäminen on eri vaiheissa, koska erilaisuudesta voi oppia enemmän. Koulut voi-vat olla sellaisia, joissa kehittäminen on vielä orasta-vassa vaiheessa sekä sellaisia, joissa kehittämistyössä on jo päästy pitkälle ja syväoppiminen on juurtunut hyvin koulun toimintakulttuuriin.

Aloitusvaiheessa on hyvä perehtyä auditointikäsi-kirjaan ja muuhun NPDL-aineistoon perusteellisesti. Mikäli auditoinnissa käytetään ulkopuolista asian-tuntijaa, hän voi ottaa vastuulleen perehdyttämisen ja koko prosessin läpiviennin. Perehdyttämiseen voidaan osallistaa koko opetustoimen johto, koulu-

Page 9: Työkalu syväoppimisen vertaisauditointiin · PDF fileNPDL-auditointikäsikirja Työkalu syväoppimisen vertaisauditointiin Suomen NPDL-maaklusteri 2017 Peter Johnson & Hannu Laukkanen

NPDL FIN Audit Handbook 9

Kuvio 1. Vertaisauditoinnin vaiheet

Aloitus- kohteiden

valinta yhdessä opetustoimen kanssa

- perehdytys auditointi- prosessiin

- eettiset periaatteet ja vaitiolo- sopimukset

Esikysely- kysymysten

tarkentaminen- aikataulutus

muistutuk- sineen

- kutsuminen vastaamaan verkossa

- vastausten analyysi

Auditointi- käyntien valmistelu- avain-

henkilöiden varmistus

- aikataulut- esikyselyn

tulosten lähettäminen

- haastattelu- ryhmien koonti

- perehdytys

Auditointi- käynnit- ryhmän

tehtävien jako ja logistiikka

- myönteinen ilmapiiri ja avoimuus

- haastattelut ja nauhoitukset

- ryhmän reflektio ja palaute

- kiitokset käynneistä ja ryhmän työstä

Auditointi- aineiston analyysi- esikyselyt

+ haastatte- lut + havainnot + ryhmän reflektio

- auditointi- raportin valmistelu ja sen toteutustapa

- kielen- tarkastus, ulkoasu ja jakelu

Tulosten esittäminen kohdeyleisölle- raportin

luottamuk- sellinen jakelu

- raportointi- kokous opetustoimen johdolle

- kehittämis- suositukset (3–5) ja kehitystyön jatkaminen

1

23

45

6

Page 10: Työkalu syväoppimisen vertaisauditointiin · PDF fileNPDL-auditointikäsikirja Työkalu syväoppimisen vertaisauditointiin Suomen NPDL-maaklusteri 2017 Peter Johnson & Hannu Laukkanen

10 NPDL FIN Audit Handbok

2.2 Esikysely• resurssit• kapasiteetin kehittäminen• tieto- ja viestintätekniikan hyödyntäminen.

Kysely on Webropol-pohjainen, ja se voidaan toteut-taa joko kunnan oman lisenssin puitteissa tai sen voi suorittaa ulkopuolinen palveluntarjoaja, kuten Educo-de. Sekä numeeriset tulokset että kirjalliset avoimet vastaukset tulee analysoida. Kysymyslomakkeen pääkohtien vastauksista lasketaan vastaajaryhmän keskiarvot. Jos avoimia vastauksia on paljon, ne voi-daan analysoida aineistolähtöisellä sisällönanalyysilla.

Kun kyselytuloksia analysoidaan, ei auditoinnin jat-kuvan kehittämisen periaatteen mukaan ole perus-teltua vertailla koulujen tai muiden kohdeyhteisöjen tuloksia keskenään. Parempi on verrata vastauksia kaikkiin kertyneisiin vastauksiin, jolloin voidaan pohtia sitä, miten kohdeyhteisö poikkeaa valtakunnallisesta linjasta. Vastausten analyysiin on hyvä varata pari viikkoa aikaa.

Alla on esimerkki graafisesta esitystavasta, jossa on kohdeyhteisön tulokset vasemmalla ja oikealla vertai-lu koko aineistoon.

Kuvio 2. Esimerkki esikyselyn tulosten kuvaamisesta ja vertailusta

NPDL-vertaisarviointi on monimenetelmäinen. Aloitusvaiheessa on tarpeellista kartoittaa NPDL:n nykytilanne opetustoimen johdossa ja NPDL-kou-luissa. Sitä varten on laadittu esikysely, joka perustuu NPDL:n kuntatason rubriikkeihin eli arviointiaiheisiin. Kysymyksiä voidaan tarkentaa tai muokata tarpeen mukaan. Kyselyn kohdejoukkona on opetustoimen johto, NPDL-vastuuhenkilö kunnassa sekä NPDL-kou-lujen rehtorit ja opetushenkilöstö. Vastaamiseen tulee antaa noin kaksi viikkoa aikaa, ja ennen vastausajan päättymistä on paikallaan vielä muistuttaa kaikkia, jotta vastausprosentti saadaan mahdollisimman korkeaksi.

Esikyselyjen kysymyslomake (ks. liite 1) on suunnitel-tu NPDL:n systeemitason tai kuntatason rubriikkien pohjalta sillä olettamuksella, että kohdeyhteisöt ovat edenneet voimakkaasti kehittyvälle tasolle. Kysymyk-siä on selkiytetty, mutta esikyselyn teemat perustuvat alkuperäiseen NPDL-aineistoon.

Esikyselylomakkeen teemat ovat:• visio ja tavoitteet• johtajuus

arviointikulttuuri• kumppanuudet

Page 11: Työkalu syväoppimisen vertaisauditointiin · PDF fileNPDL-auditointikäsikirja Työkalu syväoppimisen vertaisauditointiin Suomen NPDL-maaklusteri 2017 Peter Johnson & Hannu Laukkanen

NPDL FIN Audit Handbook 11

2.3 Auditointikäyntien valmisteluAuditointikäyntien valmistelu kannattaa aloittaa hyvissä ajoin, jotta kaikkien haastateltavien ja avain-henkilöiden kalenterit saadaan sovitettua yhteen. Aikatauluttaminen on hyvä antaa tehtäväksi yhdelle henkilölle, joka huolehtii myös käynneistä tiedotta-misesta, siirtymisistä ja tarvittavista tiloista. Hänellä on myös langat käsissään, jos aikatauluja on tarpeen muuttaa.

Esikyselyjen tulokset tulee lähettää etukäteen, ennen auditointikäyntiä, opetustoimen johdolle, vertai-

sauditoijille, kunnan NPDL-vastaavalle ja koulujen rehtoreille. Siten kyselyjen tulokset eivät tule keskus-telunaiheiksi käynneillä, vaan niissä voidaan keskittyä täysipainoisesti havainnointiin ja haastatteluihin.

Auditointiryhmän nimeäminen kannattaa tehdä jo hyvissä ajoin ja samalla päättää, kuka on auditointi-prosessin johtaja ja ryhmähaastatteluissa puheenjoh-taja. Auditointiryhmä tarvitsee myös oman pereh-dyttämisensä riippuen siitä, onko jäsenillä aiempaa vastaavaa kokemusta.

Page 12: Työkalu syväoppimisen vertaisauditointiin · PDF fileNPDL-auditointikäsikirja Työkalu syväoppimisen vertaisauditointiin Suomen NPDL-maaklusteri 2017 Peter Johnson & Hannu Laukkanen

12 NPDL FIN Audit Handbok

2.4 AuditointikäynnitAuditointikäynnin aluksi auditointiryhmä tulee koota yhteen tehtävien jakamista tai vahvistamista varten sekä päivän logistiikan ja aikataulun varmistamiseksi. Pilotoin-nissa oli yhdelle päivälle aikataulutettu kaksi koulukäyntiä ja kaksi ryhmähaastattelua sekä auditointiryhmän oma päivän päättökokous. Kokemuksen perusteella se on kuitenkin varsin tiukka päivä ja on suositeltavaa jakaa ohjelma kahdelle päivälle, jolloin auditointiryhmälle jää enemmän aikaa myös keskinäiseen keskusteluun.

Vertaisuuden toteutumiseksi auditointiryhmässä tulee olla partnerikunnasta vähintään kaksi henkilöä, jotka ovat perillä NPDL:n periaatteista. Lisäksi on tarpeellista saada myös opetustoimen johdossa työskentelevät kohtaa-maan auditointipäivien aikana ja vierailemaan kouluissa.

Vastaavasti auditoitavan kunnan opetustoimesta kutsu-taan haastatteluryhmiin henkilöt seuraavalla tavalla:

• 1 Johto• 2 henkilöä opetustoimen johdosta eli opetus-

toimesta vastaava ykkösjohtaja ja NPDL-hank-keen implementoinnista vastaava opetustoi-men johdossa tai opetustoimessa työskentelevä asiaa hyvin tunteva ammattilainen

• 2 Keskeltä johtaminen• 2–3 rehtoria tai apulaisrehtoria, joiden kouluissa

on implementoitu NPDL• Opettajat• 2–3 opettajaa, jotka ovat käyttäneet opetukses-

saan NPDL-metodia• Oppilaat

Oppilaiden toimintaa havainnoidaan tekemällä tutus-tumiskäynti kahteen kouluun, joissa NPDL on käytös-sä. Havainnoinnin yhteydessä voidaan pikahaastatella 2–3 oppilasta luokasta. Haastatteluista tehdään muistiinpanot. Havainnointiin varataan vähintään

Page 13: Työkalu syväoppimisen vertaisauditointiin · PDF fileNPDL-auditointikäsikirja Työkalu syväoppimisen vertaisauditointiin Suomen NPDL-maaklusteri 2017 Peter Johnson & Hannu Laukkanen

NPDL FIN Audit Handbook 13

yhden oppitunnin verran aikaa kahdessa luokassa (20 + 20 min).

Kouluvierailuista on sovittu, että luokissa ei kuvata eikä nauhoiteta ääntä, vaan tehdään vain tarvittavat muis-tiinpanot. Vierailut oppitunneilla pyritään suorittamaan niin, ettei opetustilanne häiriinny ja saadaan tehdä autenttisia havaintoja.

Ryhmähaastatteluille, jotka voidaan järjestää koulujen tiloissa tai helposti tavoitettavissa muissa kokoustilois-sa, tulee taata rauhallinen tilanne ja ympäristö. Aikaa haastatteluun on syytä varata noin tunti, jotta aikaa syvälliselle pohdinnalle on riittävästi. Nauhoituksesta tai tallennuksesta vastaavan henkilön tulee varmistaa etukäteen laitteiden toimivuus, ja tallenteen lisäksi on hyvä tehdä myös muistiinpanoja.

Auditointihaastattelujen kysymysrunko (ks. liite 2) on

suunniteltu NPDL:n systeemi- tai kuntatason rubriik-kien pohjalta sillä olettamuksella, että kohdeyhteisöt ovat edenneet voimakkaasti kehittyvälle tasolle.

Ryhmähaastattelujen teemat ovat:• visio ja tavoitteet• johtajuus• arviointikulttuuri• kumppanuudet• resurssit• kapasiteetin kehittäminen• tieto- ja viestintätekniikan hyödyntäminen op-

pimisessa, opetushallinnossa, tiedolla johtami-sessa ja toimintakulttuurin kehittämisessä.

Auditointikäynnin päättää noin tunnin mittainen audi-tointiryhmän reflektiivinen yhteenvetokeskustelu, jossa käytetään CAT-arviointimenetelmää. Siinä voidaan lisäksi hahmotella kehittämissuosituksia (ks. luku 3).

Page 14: Työkalu syväoppimisen vertaisauditointiin · PDF fileNPDL-auditointikäsikirja Työkalu syväoppimisen vertaisauditointiin Suomen NPDL-maaklusteri 2017 Peter Johnson & Hannu Laukkanen

14 NPDL FIN Audit Handbok

2.5 Auditointiaineiston analyysi

Auditointikäyntien ryhmähaastatteluista (2 x 45–60 min) syntyy riittävä laadullinen tutkimusaineisto. Aineiston analyysiin on hyvä varata noin kuukau-si. Aineiston analyysi noudattaa fenomenologisen tutkimuksen periaatteita ja pääkysymykset voidaan muotoilla esimerkiksi näin:

• Millaisen merkityksen haastateltavat antavat NPDL:lle oppimiskulttuurin kehittämisen inter-ventiona?

• Miten haastateltavat näkevät kohdeyhteisön kehittyneen NPDL:n implementoinnin vaiku-tuksesta?

Auditoinnin esikyselyn ja haastatteluaineiston ana-lyysissa arvioidaan NPDL:n implementoinnin systee-

mistä yhtenäisyyttä ja sen sisäistämistä Fullanin ja Quinnin (2016) esittämän Coherence Assessment Tool -arviointikehikon pohjalta. Arviointiryhmä on päivän päätteeksi käynyt keskustelun, jossa on jo alustavasti täytetty analyysikehikkoa. Tämän ensivaiheen ana-lyysia on hyvä verrata uudelleen myöhäisemmissä vaiheissa syntyviin tuloksiin.

Edellä mainituista CAT-periaatteista on luotu seu-raava taulukko, johon auditoinnin pohjalta kirjataan, onko eri osa-alueista havaittu evidenssiä eli näyttöä käynnin aikana. Tämän pohjalta laaditaan kehittämis-suositukset. Tuoreeltaan päivän päätteeksi auditoin-tiryhmän kannattaa käydä keskustelu taulukkoon 1 kootuista osa-alueista.

Page 15: Työkalu syväoppimisen vertaisauditointiin · PDF fileNPDL-auditointikäsikirja Työkalu syväoppimisen vertaisauditointiin Suomen NPDL-maaklusteri 2017 Peter Johnson & Hannu Laukkanen

NPDL FIN Audit Handbook 15

Osa-alue Evidenssi (havainnot)

A Kehittämissuunnan lujittaminen

Yhteinen päämäärä johtaa toimintaa.

Oppilaan oppimiseen liittyvät (lukumäärältään pie-net, tarkoin valitut) tavoitteet luovat pohjan päätök-senteolle.

Kaikkien tiedossa oleva selvä strategia määrittelee tavoitteiden saavuttamisen.

Muutososaaminen vie eteenpäin koulun/alueen/opetustoimen kehittymistä.

B Yhteistoiminnallisen kulttuurin vahvistaminen

Kehittynyt ja kehittymishakuinen ajattelutapa on ominaista kulttuurille.

Johtajat oppivat itse ja muovaavat oppimisen kult-tuuria.

Yhteisen kapasiteetin luominen on ensisijaista verrat-tuna yksilölliseen kehittymiseen.

Rakenteet ja prosessit tukevat tietoisesti yhteistoi-minnallista työtä.

C Oppimisen syventäminen

Oppimisen tavoitteet ovat selvät kaikille ja ne ohjaa-vat opetusta.

Kaikki opettajat tai kasvattajat tuntevat valitut tehok-kaat pedagogiset käytännöt ja käyttävät niitä.

Perusteellisia prosesseja noudatetaan säännöllisesti käytäntöjen kehittämisessä(kuten yhteistoiminnallinen tutkiminen, oppilaiden työskentelyn havainnointi).

D Tuloksellisuuden ja vastuullisuuden turvaa-minen

Osaamisen kehittämistä käytetään jatkuvasti tulok-sien parantamiseksi.

Ulkoista arviointia käytetään läpinäkyvästi kehittymi-sen arviointiin.

Auditointiprosessi johtaa NPDL:n jatkokehittä-missuunnitelman laatimiseen ja implementoinnin varmistamiseen.*

Taulukko 1. CAT-periaatteet osa-alueittain (Fullan & Quinn 2016, 131–133)

* Ei sisälly alkuperäiseen lähteeseen.

Page 16: Työkalu syväoppimisen vertaisauditointiin · PDF fileNPDL-auditointikäsikirja Työkalu syväoppimisen vertaisauditointiin Suomen NPDL-maaklusteri 2017 Peter Johnson & Hannu Laukkanen

16 NPDL FIN Audit Handbok

Tulosten raportoinnissa noudatetaan korkeatasoi-sia tutkimuseettisiä periaatteita. Jotta kohdeyhteisö ymmärtää oikein esitettävät kehittämissuositukset, on paikallaan järjestää raportointikokous. Siinä on mahdollisuus käydä keskustelua ja kysyä auditointi-ryhmältä tai ainakin sen johtajalta, miten suosituksiin on päädytty ja miten niistä on syytä jatkaa edelleen.

Raportointitapaamiseen tai -seminaariin on varattava riittävästi aikaa ja tarkistettava, että kehittämisen kan-nalta tärkeät avainhenkilöt pääsevät paikalle. Vaih-toehtoisesti voidaan järjestää kokous Skypen kautta, mutta se on kuitenkin dialogin kannalta huonompi vaihtoehto.

Raportoinnissa on edelleen oltava huolellinen tutki-museettisten periaatteiden suhteen, jotta auditoin-nin raportoinnistakaan ei tule minkäänlaista haittaa kohdeyhteisölle tai sen jäsenille.

2.6 Tulosten esittäminen kohdeyhteisölle

CAT-periaatteiden mukaisen analyysin jälkeen kehit-tämissuositukset tulee laatia huolellisesti ja tarvittaes-sa ne voidaan priorisoida. Suositusten lukumäärä on kolmesta viiteen. Välttämättä suosituksia ei anneta jokaiselle neljälle osa-alueelle.

Suositusten pohjalta kunnassa laaditaan jatkokehit-tämissuunnitelma, jonka osallistuva yhteisö (kunta, alue tai koulu) toimeenpanee asetettujen tavoitteiden ja vaikutusten saavuttamiseksi. Jatkon suunnittelussa suositellaan käytettäväksi taulukkoa 3. Tärkeää on laatia realistinen aikataulu, aikatauluttaa seuranta-ar-vioinnit ja määritellä selkeät mittarit.

Parhaimmillaan NPDL:n auditointi juurtuu opetus-toimien ja koulujen kulttuuriin, niin että auditoinnin toteuttaminen kolmen vuoden välein antaa aina uuden impulssin jatkokehittämiselle ja osaamisen vahvistumiselle.

Page 17: Työkalu syväoppimisen vertaisauditointiin · PDF fileNPDL-auditointikäsikirja Työkalu syväoppimisen vertaisauditointiin Suomen NPDL-maaklusteri 2017 Peter Johnson & Hannu Laukkanen

NPDL FIN Audit Handbook 17

Taulukko 2. Kehittämissuositukset osa-alueittain

Osa-alue Kehittämissuositukset

A Kehittämissuunnan lujittaminen 1

B Yhteistoiminnallisen kulttuurin vahvistaminen 2

C Oppimisen syventäminen 3

D Tuloksellisuuden ja vastuullisuuden turvaa-minen

4

5

Taulukko 3. Jatkokehittämissuunnitelman pohja

Osa-alue Kehittämis- tavoite

Kehittämis- kohde

Vastuutaho Aikataulu Seuranta- arviointi/ mittarit

A 1

B 2

C 3

D 4

5

Page 18: Työkalu syväoppimisen vertaisauditointiin · PDF fileNPDL-auditointikäsikirja Työkalu syväoppimisen vertaisauditointiin Suomen NPDL-maaklusteri 2017 Peter Johnson & Hannu Laukkanen

18 NPDL FIN Audit Handbok

3 Vertaisauditointimallin kolmivaiheinen rakenne

Taulukko 4. Vertaisauditointimallin kolmivaiheinen rakenne

VALMISTELU Päätös NPDL-auditoinnin aloittamisesta

Aikataulun suunnittelu

Auditoinnin kohdekoulujen valinta

Auditointiryhmän valinta 2 ulkopuolista auditoinnin asiantuntijaa (laadunvarmistus) 1 vertaisauditoija toisesta NPDL-kunnasta kunnan opetustoimen johtaja NPDL:n implementoinnista vastaava opetustoimen viranhaltija osallistuvien koulujen rehto-rit ja riittävä määrä koulun johtoryhmän edustajia (apulaisrehtori tai opettajia)Auditointiryhmän palkkioista ja resursseista (työajasta) sopiminen

Auditointiryhmän perehdyttäminen ja valmistelutehtävät 6.1 esikyselyn läpikäyminen (alustavat kysymykset annetaan) 6.2 esikyselyn analysoinnista sopiminen ja sen resursointi 6.3 esikyselyn suorittaminen ja tulosten raportointi kohdeyhteisöille 6.4 auditointikäyntien aikatauluttaminen ja tiedottaminen 6.5 auditointihaastattelujen aikatauluttaminen ja tiedottaminen 6.6 haastattelukysymysten läpikäynti ja haastattelujen työnjako 6.6 haastattelujen litterointi ja sen resursointi 6.7 auditointiraportin kirjoittaminen ja sen resursointi 6.8. auditointiraportin julkaisu ja kehittämissuosituksista tiedottaminen

Taulukossa 4 auditointiprosessi on kuvattu pitkäkes-toisena ja vaiheittain etenevänä. Ensimmäinen vaihe on valmistelu, sitten seuraa auditoinnin toimenpano ja viimeiseksi varmistetaan auditointikäytänteiden

vakiinnuttaminen osaksi opetustoimen ja koulujen kulttuuria. Kaikkia kolmea vaihetta varten on hyvä varata aikaa ainakin puoli vuotta tai pidempäänkin riippuen käytettävissä olevista resursseista.

Page 19: Työkalu syväoppimisen vertaisauditointiin · PDF fileNPDL-auditointikäsikirja Työkalu syväoppimisen vertaisauditointiin Suomen NPDL-maaklusteri 2017 Peter Johnson & Hannu Laukkanen

NPDL FIN Audit Handbook 19

TOIMEENPANO Auditoinnin esikyselyn avaaminen ja kutsu vastaajille

Esikyselyn vastausten analysointi ja tarkistaminen, jos se edellyttää auditointihaastattelujen kysymysten muokkaamistaAuditointikäynnit / vaiheet / aikataulu päivässä

Auditointikäynti koulussa 1, havainnoidaan kahta luokkaa/ryhmää

Auditointikäynti koulussa 2, havainnoidaan kahta luokkaa/ryhmää

Lounaspalaveri – alustavia kokemuksia aamupäivästä

Auditointihaastattelu 1, ryhmä: opetustoimenjohto, NPDL-vastaava ja rehtori koulusta 1

Auditointihaastattelu 2, ryhmä: rehtori koulusta 2, 3−4 opettajaa kouluista 1 ja 2

Auditointiryhmän yhteenvetokeskustelu ja jatkovaiheista sopiminen

Nauhoitteiden lähettäminen litteroitavaksi

Auditointihaastattelujen litterointi ja lähettäminen analysoitavaksi

Auditoinnin tulosten analysointi

Auditoinnin raportointi, tuloksista ja kehittämissuosituksista tiedottaminen toimeksiantajalle ja kohdeyhteisöilleKehittämissuositusten mukaisten toimenpiteiden suunnittelu, aikatauluttaminen ja vastuut-taminen sekä edistymisen mittareiden laadinta

VAKIINNUT- TAMINEN 1. Auditoinnin kehittämissuositusten analysointi

2. NPDL:n jatkokehittämissuunnitelman (3 vuotta) laatiminen kehittämissuositusten pohjalta ja sen hyväksyntä3. Kehittämissuunnitelman toimeenpano ja seuranta kehittämiskohteet, aikataulu, vastuut, mittarit4. NPDL-kehittämissuunnitelman laatiminen seuraavalle lukukaudelle ja pidemmälle jaksolle

Page 20: Työkalu syväoppimisen vertaisauditointiin · PDF fileNPDL-auditointikäsikirja Työkalu syväoppimisen vertaisauditointiin Suomen NPDL-maaklusteri 2017 Peter Johnson & Hannu Laukkanen

20 NPDL FIN Audit Handbok

4 Keskeisiä käsitteitä

Analysointi Tässä julkaisussa analysoinnilla tarkoite-taan tutkimusaineiston tai tutkimuskohteesta muuten hankitun tiedon käsittelemistä ennalta laaditun tutki-mussuunnitelman mukaisesti. Tavoitteena on tutki-musaineiston johdonmukainen ja läpinäkyvä käsittely, niin että se vahvistaa tutkimustulosten luotettavuutta ja uskottavuutta.

Auditointi Auditointi on organisaation tai jonkun valitun kohteen toiminnan arvioinnin muoto, jolla py-ritään yleensä tutkimaan monimenetelmäisesti yhtä kohdeyhteisöä tai tapausta mahdollisimman syvälli-sesti. Alun perin auditoinnilla on tarkoitettu tilintar-kastusta. Auditointi voi olla ulkoista, jolloin auditoijat tulevat organisaation tai kohteen ulkopuolelta. Auditointi voi olla myös sisäistä tai vertaisauditointia, jolloin auditoijat ovat kohteen kannalta kollegoita, mutta työskentelevät eri organisaatiossa.

CAT Coherence Assessment Tool eli koherenssin arvioinnin työkalu, jonka ovat NPDL:n arviointiin kehittäneet Fullan ja Quinn 2016. Arviointityökalu jakautuu eri osa-alueisiin, joiden tavoitteena on selvittää NPDL:n tai jonkin muun kehittämisohjelman toimeenpanon ja soveltamisen johdonmukaisuutta ja yhtenäisyyttä sekä toiminnan yhteneväisyyttä kou-luorganisaation kaikilla tasoilla.

Dialogi Dialogi on tasavertainen keskustelusuhde, jossa pyritään asian tai ilmiön syvälliseen ja monipuo-liseen ymmärtämiseen. Dialogissa halutaan ymmär-tää toisen näkökulmaa ja luoda yhteistä ymmärrystä ihmisten välille maailmasta ja sen ilmiöistä. Dialogi ei ole kenenkään omaa, vaan se on yhteinen keskustelu, joka etenee ja syvenee jatkuvasti, eikä ole koskaan valmis.

Page 21: Työkalu syväoppimisen vertaisauditointiin · PDF fileNPDL-auditointikäsikirja Työkalu syväoppimisen vertaisauditointiin Suomen NPDL-maaklusteri 2017 Peter Johnson & Hannu Laukkanen

NPDL FIN Audit Handbook 21

Evidenssi Arviointitoiminnassa löydetty todiste, näyttö tai dokumentti, jonka perusteella voidaan osoittaa tutkittavalle kohteelle ominaisia piirteitä tai toimintatapoja. Evidenssin perusteella voidaan tehdä luotettavia johtopäätöksiä.

Havainnointi Opetuksessa tai tutkimuksessa usein käytetty menetelmä, jossa ihmisen tai ryhmän toimin-taa havainnoidaan todellisessa tilanteessa niin, että toimintaa voidaan seurata ja ymmärtää kuitenkaan puuttumatta siihen. Ulkopuolisena havainnoijana auditointiryhmän jäsen tekee esimerkiksi luokkati-lanteessa havaintoja ja kirjaa ne muistiinpanoihinsa kuitenkaan puuttumatta tilanteeseen tai avaamatta keskustelua oppilaiden tai opettajan kanssa.

Implementointi Toimeenpanovaihe, joka voi liittyä strategian tai kehittämisohjelman aloittamiseen.

NPDL New Pedagogies for Deep Learning eli suomalaisittain syväoppimisen uusi pedagogiikka on kansainvälinen oppimiseen, opetukseen, koulu-kulttuuriin sekä koulun ja opetustoimen johtamisen keskittyvä kokonaisvaltainen tutkimus- ja kehittä-misohjelma. Se koostuu kuudesta ydintaidosta ja ai-healueesta (rubriikista), joiden avulla voidaan arvioida oppimisen tai toiminnan syvällisiä tuloksia.

Koherenssi Koherenssilla tarkoitetaan tässä jul-kaisussa opetustoimen organisaation toiminnas-sa ilmenevää käytettävien toimintaperiaatteiden johdonmukaisuutta ja yhtenäisyyttä sekä toiminnan yhteneväisyyttä opetustoimen organisaation kaikilla tasoilla. Koherenssia voidaan tutkia osana strate-gista johtamista ja selvittää esimerkiksi onko uuden strategian toimeenpano saanut aikaan tavoitteeksi asetettuja muutoksia koko organisaatiossa.

Koulukulttuuri Kansainvälisesti käytetty termi (school culture), joka usein suomen kielessä korva-taan käsitteellä koulun toimintakulttuuri. Sillä tarkoi-tetaan koulussa ilmenevää kulttuuria, joka ilmenee toimintatapoina, yhteisesti jaettuina arvoina ja usko-muksina, joita pidetään kyseisessä yhteisössä tosina tai oikeina. Se toimii myös linssinä, jonka läpi koulua ympäröivää toimintaympäristöä tarkastellaan.

Pilotointi Uuden toimintamallin tai kehittämishank-keen kokeilujakso, jolla halutaan ensin selvittää pie-nemmässä mittakaavassa, kuinka uusi käytäntö toimii tai voiko se ylipäätään onnistua.

Rubriikki NPDL rakentuu kuudesta ydintaidosta, joista on johdettu rubriikkeja. Ne on edelleen jaoteltu ulottuvuuksiin, joita arvioidaan taitotasojen mukaan. Taitotasoilla voidaan arvioida esimerkiksi oppilaan ajattelun kriittisyyttä oppimisprosessissa. Taitotasot etenevät esimerkiksi viisiportaisesti: vähäistä näyttöä, orastava, kehittyvä, voimakkaasti kehittyvä ja hyvin edistynyt. Rubriikki on siis tämän kokonaisuuden pääotsikko.

Ryhmähaastattelu Tutkimushaastattelu, jossa on yhtä aikaa läsnä useampia (2−6) haastateltavia. Haastattelu saattaa edetä tarkoin ennakolta laaditun kysymysrungon pohjalta, tai se voi olla puolistruktu-roitu taikka täysin vapaamuotoinen ryhmähaastat-telu. Haastattelijoita voi olla yksi tai useampia, jolloin haastattelijoiden tulee sopia tehtävänsä haastattelu-tilanteessa etukäteen. Ryhmähaastattelun dokumen-toinnissa on suositeltavaa käyttää nauhoitusta ja sen litterointia, jolloin päästään tarkempaan dokumen-tointiin kuin vain muistiinpanoja tehden.

Systeemisyys Esimerkiksi organisaation systeemisellä kehittämisellä tarkoitetaan sitä, että organisaation kaikkia osa-alueita kehitetään samanaikaisesti ja yhdenmukaisesti, jotta koko kokonaisuus kehittyisi tavoitteiden mukaisesti.

Toiminnan arviointi Toiminnan arvioinnilla tarkoi-tetaan suomalaisessa kouluorganisaatiossa esimer-kiksi perusopetuslain 21 §:n mukaista velvoitetta, jonka mukaan koulutuksen järjestäjän tulee arvioida koulutustaan ja osallistua ulkopuolisiin arviointeihin. Toimintaa voidaan arvioida niin, että se perustuu joko (perusopetuksen) laatukriteereihin tai laatujärjestel-miin. Arvioinnin tulee johtaa toiminnan jatkuvaan parantamiseen niin sanotun laatuympyrän mukaisesti (suunnittele, toteuta, arvioi ja paranna).

Tutkimusetiikka Tutkimusetiikalla tarkoitetaan yleisellä tasolla niitä eettisiä periaatteita ja hyvää

Page 22: Työkalu syväoppimisen vertaisauditointiin · PDF fileNPDL-auditointikäsikirja Työkalu syväoppimisen vertaisauditointiin Suomen NPDL-maaklusteri 2017 Peter Johnson & Hannu Laukkanen

22 NPDL FIN Audit Handbok

tieteellistä käytäntöä, joita noudatetaan tutkimuksen kaikissa vaiheissa. Tutkimusetiikan keskeisiä periaat-teita ovat rehellisyys, tarkkuus ja huolellisuus. Au-ditoinnissa, jossa kohdeyhteisöjä, haastateltavia tai havainnoitavia henkilöitä on vähän, tulee erityisesti huolehtia kohdeyhteisön anonyymiydestä ja siitä, ettei auditointiin osallistuminen aiheuta kielteisiä seu-rauksia. Tulokset tai osa tuloksista voidaan tarvittaes-sa määrätä luottamuksellisiksi ja auditointiin osallistu-via henkilöiltä voidaan vaatia vaitiolosopimuksia.

Vertaisuus Vertaisuudella tarkoitetaan yleisesti ihmis-ten välistä tasaveroisuutta tai -arvoa, samanikäisyyttä tai muuta samankaltaisuutta. Esimerkiksi organisaa-tion samoissa tehtävissä työskentelevät kollegat voi-

vat kokea olevansa vertaisia tai saman alan opiskelijat voivat katsoa olevansa vertaisia, mikäli ovat opintojen samassa vaiheessa. Myös saman elämänvaiheen läpi-käyneet ihmiset voivan sen perusteella olla vertaisia ja antaa toisilleen vertaistukea. Auditoinnissa ver-taisuus antaa mahdollisuuden asioiden syvempään ymmärtämiseen ja luottamuksellisten kollegiaalisten suhteiden luomiseen.

Ydintaidot NPDL:n ydintaitoja on kuusi: 1) itseoh-jautuvuus ja oppimaan oppimisen taidot, 2) globaali kansalaisuus, 3) tiimi- ja yhteistyötaidot, 4) viestin-tä- ja vuorovaikutustaidot, 5) luovuus ja 6) kriittisen ajattelun taidot. Ydintaidot perustuvat tulevaisuuden työelämässä tarvittaviin taitoihin.

Page 23: Työkalu syväoppimisen vertaisauditointiin · PDF fileNPDL-auditointikäsikirja Työkalu syväoppimisen vertaisauditointiin Suomen NPDL-maaklusteri 2017 Peter Johnson & Hannu Laukkanen

NPDL FIN Audit Handbook 23

Liite 1. Auditoinnin esikyselyjen kyselylomake

Väittämä 2 Orastavaa kehitystä

3 Kehittynyt voimakkaasti

4 Kehittynyt huippuunsa

5 En osaa sanoa

A VISIO JA TAVOITTEET

1. Kaupunkimme opetustoimessa ja NPDL-kouluissa on määritelty selkeitä tavoitteita NPDL:n ydintaitojen saavutta-miseksi.

2. Kaupunkimme opetustoimen johta-minen ja sen rakenteet tukevat NPDL:n ydintaitojen saavuttamista.

3. Kaupunkimme opetustoimen stra-tegiassa on selvästi kuvattu toiminnan tavoitteet ja oppimisen uudet käytänteet, joihin tähtäämme.

4. Kaupunkimme opetustoimen johto toteuttaa johdonmukaista strategiaa NPDL:n ydintaitojen saavuttamiseksi.

5. Kaupunkimme opetustoimen päätök-set, toimintamallit ja resurssit tukevat johdonmukaisesti NPDL:n ydintaitojen saavuttamista.

6. Kaupunkimme opetustoimessa NPDL:n ydintaitojen kehittäminen ja OPS 2016 -tavoitteet on yhdistetty samaan kehitystyöhön.

Page 24: Työkalu syväoppimisen vertaisauditointiin · PDF fileNPDL-auditointikäsikirja Työkalu syväoppimisen vertaisauditointiin Suomen NPDL-maaklusteri 2017 Peter Johnson & Hannu Laukkanen

24 NPDL FIN Audit Handbok

B JOHTAJUUS

7. NPDL:n kehittämistyöhön on kaupun-kimme opetustoimessa nimetty vastuu-henkilö, jolta saan tarvittaessa ohjausta ja tukea.

8. Kaupunkimme opetustoimessa on sitouduttu vahvasti NPDL:n ydintaitojen kehittämiseen.

9. Kaupunkimme NPDL-kouluissa on ymmärretty hyvin NPDL:n ydintaitojen ja syväoppimisen merkitys.

10. NPDL-kehittämistyö etenee kaupun-kimme opetustoimessa sujuvasti hyvien muutosjohtamisen käytäntöjen ansiosta.

11. NPDL-kehittämistyö etenee NPDL-kouluissamme sujuvasti hyvien muutosjohtamisen käytäntöjen ansiosta.

12. NPDL-kehittämistyö tukee NPDL-kouluissa OPS 2016 -käyttöönot-toa.

C ARVIOINTIKULTTUURI

13. Kaupunkimme opetustoimi hyödyn-tää NPDL:n ydintaitojen arviointijärjestel-mää tehokkaasti.

14. NPDL:n ydintaitojen arviointijärjestel-män avulla saamme tietoa siitä, ovatko saavutetut oppimistulokset tavoitteiden mukaisia.

15. NPDL:n ydintaitojen arviointijärjes-telmän avulla saamme tietoa siitä, miten ydintaitojen kehittäminen muuttaa NPDL-koulujen toimintakulttuuria.

D KUMPPANUUDET

16. Kaupunkimme opetustoimen ja NPDL-koulujen yhteistyökumppaneiden määrä on lisääntynyt merkittävästi.

17. Koulun sidosryhmien panos NPDL:n ydintaitojen edistämiseen on merkittävä.

Page 25: Työkalu syväoppimisen vertaisauditointiin · PDF fileNPDL-auditointikäsikirja Työkalu syväoppimisen vertaisauditointiin Suomen NPDL-maaklusteri 2017 Peter Johnson & Hannu Laukkanen

NPDL FIN Audit Handbook 25

18. Yhteistyökumppaneillamme on vahva luottamus ydintaitojen kehittämiseen ja asetettujen tavoitteiden saavuttamiseen.

19. Kaikkien yhteistyökumppaneiden mielipiteiden huomioiminen on ollut mahdollista kehittämistyössä.

E RESURSSIT JA KAPASITEETIN KEHITTÄMINEN

20. NPDL:n ydintaitojen edistämiseen tarvittavat toimintaohjeet ovat olleet kaikkien saatavilla.

21. NPDL:n ydintaitojen edistämiseen tarvittavat aikaresurssit (työaika) ovat riittävät.

22. NPDL:n ydintaitojen edistämiseen tarvittava koulutus ja perehdytys ovat riittäviä.

23. NPDL:n käyttöönotossa on ollut käytössä hyviä koulutusmenetelmiä ja osaavia ihmisiä, jotka ovat tukeneet osaamisen kehittymistä.

24. NPDL-täydennyskoulutuksessa korostuu myönteisesti yhteistoiminnalli-suuden merkitys.

25. Kaupunkimme opetustoimessa tarjotaan mahdollisuuksia monipuoliseen kehittämistyöhön.

F TIETO- JA VIESTINTÄTEKNOLOGIAN HYÖDYNTÄMINEN ORGANISAATIOSSA

26. Kaupunkimme opetustoimessa tieto- ja viestintäteknologiaa käytetään tehok-kaasti NPDL:n ydintaitojen edistämiseen.

27. Kaupunkimme opetustoimessa on esitetty tieto- ja viestintäteknologian hyödyntämiselle hyvät ja ymmärrettävät perustelut.

28. Kaupunkimme opetustoimessa on hyviä esimerkkejä onnistuneista tieto- ja viestintäteknologian soveltamistavoista oppimisessa.

Page 26: Työkalu syväoppimisen vertaisauditointiin · PDF fileNPDL-auditointikäsikirja Työkalu syväoppimisen vertaisauditointiin Suomen NPDL-maaklusteri 2017 Peter Johnson & Hannu Laukkanen

26 NPDL FIN Audit Handbok

29. Kaupunkimme opetustoimessa on selkeä suunnitelma tieto ja viestintätek-niikan hyödyntämisen edelleen tehosta-miseksi.

30. Kaupunkimme opetustoimen johdon viestintä on tehokasta ja selkeää.

G TIETO- JA VIESTINTÄTEKNOLOGIAN HYÖDYNTÄMINEN OPETUKSESSA

31. Opetustoimessa ja koulussamme hyödynnämme eri teknologioita päivit-täisessä opetuksessa.

32. Opetustoimessa ja koulussamme hyödynnämme teknologiaa uuden tie-don luomisessa.

33. Teknologian sovellusten tekninen käyttöönotto on opetustoimessa sujuvaa ja helppoa.

34. Teknologian henkilökohtainen ja yhteisöllinen käyttöönotto on opetustoi-messa sujuvaa ja helppoa.

35. Tieto ja dokumentit ovat helposti etsittävissä ja löydettävissä.

36. Tietoa on helppo jakaa eri ryhmien välillä.

37. Työssä tarvittavaan tietoon pääsee käsiksi eri laitteilla, paikasta ja ajasta riippumatta.

38. Opetustoimessa käytettävä teknolo-gia on tietoturvallista.

H AVOIMET KYSYMYKSET

39. Lopuksi voit antaa avoimesti palau-tetta NPDL:n käyttöönotosta kunnassasi ja koulussasi.

40. Mitä mieltä olit tästä kyselystä?

Page 27: Työkalu syväoppimisen vertaisauditointiin · PDF fileNPDL-auditointikäsikirja Työkalu syväoppimisen vertaisauditointiin Suomen NPDL-maaklusteri 2017 Peter Johnson & Hannu Laukkanen

NPDL FIN Audit Handbook 27

Liite 2. Auditoinnin ryhmähaastattelujen kysymysrunko

ALUKSI Ennen haastattelua haastatteluun osallistuvien taustatiedot kootaan lomakkeelle.Ensin kysytään lämmittelykysymys ja otetaan ääninäyte nauhoitteeseen: Mitä sinulle tulee ensimmäiseksi mie-leen kirjainyhdistelmästä NPDL?

KYSYMYKSETHaastattelutilanteessa voidaan esittää tarkentavia kysymyksiä, jotka kirjataan lomakkeeseen.

VISIO JA TAVOITTEET TARKENTAVA KYSYMYS HUOM.!

1. Millaisia tavoitteita kaupunkinne opetustoimessa on asetettu NPDL:n käyttöön ottamiseksi (oppimisen ja opetuksen kehittämisessä)?

2. Miten nämä tavoitteet näkyvät NPDL-kouluissa?

3. Aiotteko jatkaa NPDL:n käyttöä ja levittämistä kaikkiin kouluihin? (Kysymys esitetään vain opetustoimen johdolle.)

JOHTAJUUS

4. Miten NPDL:n kehittämistyö on organisoitu kaupunkinne opetus-toimessa?

5. Miten NPDL:n vastuuhenkilö on onnistunut tehtävässään?

6. Onko NPDL:n vastuuhenkilö saanut tukea opetustoimen johdol-ta? Entä koulujen johdolta?

7. Onko kaupunkinne opetustoimessa NPDL-kehittämistyö yhdis-tetty OPS 2016 -käyttöönottoon?

ARVIOINTIKULTTUURI

8. Millaisia kokemuksia teillä on NPDL:n ydintaitojen arviointijärjes-telmästä?

9. Onko NPDL:n ydintaitojen arviointijärjestelmän avulla voitu kehit-tää opetustoimen ja koulujen toimintakulttuuria?

10. Voitko kertoa esimerkkejä koulujen toimintakulttuurin kehittymi-sestä? (Kysytään tarvittaessa.)

Page 28: Työkalu syväoppimisen vertaisauditointiin · PDF fileNPDL-auditointikäsikirja Työkalu syväoppimisen vertaisauditointiin Suomen NPDL-maaklusteri 2017 Peter Johnson & Hannu Laukkanen

28 NPDL FIN Audit Handbok

KUMPPANUUDET

11. Onko NPDL:n käyttöönotto lisännyt kaupunkinne opetustoimen yhteistyökumppaneiden määrää?

12. Onko yhteistyö yhteistyökumppaneiden kanssa ollut sujuvaa?

RESURSSIT

13. Ovatko NPDL:n ydintaitojen kehittämisen toimintaohjeet olleet dokumentoituna ja kaikkien saatavilla?

14. Ovatko NPDL:n ydintaitojen edistämiseen tarvittavat resurssit kuten koulutus ja perehdytys riittäviä?

15. Millaisia resursseja NPDL:n ydintaitojen edistämiseen tarvittaisiin lisää?

KAPASITEETIN KEHITTÄMINEN

16. Onko NPDL:n käyttöönotossa ollut mukana osaavia ihmisiä, jotka ovat tukeneet käyttöönottoa?

17. Onko NPDL-täydennyskoulutuksessa käytetty yhdessä oppimi-sen menetelmiä?

TIETO- JA VIESTINTÄTEKNOLOGIAN HYÖDYNTÄMINEN

18. Miten te käytätte kaupunkinne opetustoimessa tieto- ja viestin-täteknologiaa NPDL:n edistämiseen?

19. Onko kaupunkinne opetustoimessa suunnitelma tieto ja viestin-tätekniikan käytön edelleen tehostamisesta?

AVOIMET KYSYMYKSET20. Mitä sellaista haluaisit sanoa NPDL:stä, joka ei tullut haastatte-lussa esille?21. Millaisia terveisiä NPDL:n kehittäjille haluaisit sanoa?22. Mitä mieltä olit tästä haastattelusta?

Muista litterointia helpottavat toimintatavat haastat-telutilanteessa!

Page 29: Työkalu syväoppimisen vertaisauditointiin · PDF fileNPDL-auditointikäsikirja Työkalu syväoppimisen vertaisauditointiin Suomen NPDL-maaklusteri 2017 Peter Johnson & Hannu Laukkanen

NPDL FIN Audit Handbook 29

Liite 3. Auditoinnin eettiset ohjeet

4. Vastaaminen tapahtuu anonyymisti, vain tausta-tiedot kerätään analyysia ja vastausten ryhmitte-lyä varten.

5. Esikyselyyn vastaamiseen kannustetaan sähkö-postikutsulla ja sähköpostiosoitteet pyydetään kohdeyhteisöltä; sähköpostilistat poistetaan tieto-koneilta vastausajan päättymisen jälkeen.

6. Vastaamiseen varataan riittävän pitkä aika, jotta kaikki halukkaat ennättävät vastata; ennen vas-tausajan päättymistä lähetetään kaikille muistu-tusviesti.

7. Vastaajaryhmät kootaan niin suuriksi, että vas-taajien anonyymiys säilyy tuloksia käsitellessä ja analysoidessa.

8. Tulokset annetaan luottamuksellisesti osallistuvien kaupunkien opetustoimen johdolle ja auditoinnin kumppaneille niin, että vastaajien anonyymisyys säilyy

9. Tulokset julkaistaan niin, että kukin taho saa oman ryhmänsä vastausten keskiarvon, jota verrataan koko otoksen tulokseen pääkohdittain (6) ja jokai-sen kysymyksen kohdalla erikseen.

10. Tulokset saanut taho ei saa käyttää tuloksia mui-hin tarkoituksiin kuin toiminnan kehittämiseen. Tuloksia ei saa levittää eteenpäin kolmannelle taholle tai medialle.

1 Tutkimuslupa ja kutsumisen periaatteet

Auditointiin mukaan kutsuttujen kohdeyhteisöjen (kaupungin opetustoimi ja kohdekoulut) suostumus pyydetään opetustoimen johdolta. Auditointia varten haetaan tutkimuslupa kussakin kaupungissa noudatet-tavan käytännön mukaan. Osallistuminen on opetus-toimelle ja kohdekouluille vapaaehtoista.

Koska kysymyksessä on vertaisauditointi, kahden kaupungin opetustoimet muodostavat vertaisaudi-tointiparin. Parit muodostetaan sopimusmenettelyllä. Samoin sovitaan ajankohdat esikyselyille, auditoin-tikäynneille ja ryhmähaastatteluille sekä valitaan haastateltavat tämän käsikirjan periaatteiden mukaan. Ryhmähaastatteluun osallistuminen on jokaiselle kut-sutulle vapaaehtoista.

2 Esikysely1. Esikyselyn tarkoituksena on luoda pohjaa audi-

tointihaastatteluille.

2. Esikyselyn tarkoituksena on suomalaisen kehittä-vän arvioinnin periaatteen mukaan auttaa kohde-yhteisöä kehittymään.

3. Esikysely on auditointiprosessin ensimmäinen vaihe, jonka tavoitteena on antaa kohdeyhteisölle lopulta 3−5 kehittämissuositusta jatkokehitystä varten.

Page 30: Työkalu syväoppimisen vertaisauditointiin · PDF fileNPDL-auditointikäsikirja Työkalu syväoppimisen vertaisauditointiin Suomen NPDL-maaklusteri 2017 Peter Johnson & Hannu Laukkanen

30 NPDL FIN Audit Handbok

11. Tuloksia esitellessä huolehditaan siitä, että niiden esittely ei vahingoita tai haittaa kohdeyhteisön toimintaa tai mainetta.

12. Tuloksia esitellessä mainitaan vastausprosentti ja muut mahdolliset tekijät, jotka ovat saattaneet vaikuttaa aineistoon merkittävästi.

3 Auditointikäynti kohdekoululla sekä luokka- ja ryhmätilanteissa

1. Auditointikäynnin tarkoituksena on luoda pohjaa auditointihaastattelulle ja havainnoida sitä varten. Oppilaiden kanssa voidaan käydä lyhyitä keskus-teluja, mutta ne eivät saa häiritä luokkatilannetta tai muita henkilöitä.

2. Auditointikäynnillä tehdään havaintoja auditointia varten. Käynnillä mahdollisesti saadut tiedot kou-lun ja luokan toiminnasta, oppilaiden osaamisesta ja koulutyöstä yleensä sekä heidän sosioekonomi-sesta taustastaan ovat luottamuksellisia.

3. Auditointikohteena olevan koulun ulkopuoliset auditoijat allekirjoittavat vaitiolosopimuksen, jotta oppilaiden, opettajien ja koko kouluyhteisön oi-keusturva toteutuu. Sopimukset jätetään opetus-toimen johdolle, joka valvoo niiden toteutumista.

4. Auditointikohteena olevassa koulussa koulun ulkopuoliset auditoijat eivät saa valokuvata tai tehdä digitaalisia tallenteita. Henkilökohtaisen auditointipäiväkirjan tai muistiinpanojen kirjoitta-minen on mahdollista.

5. Auditointikäynnin aikana käytävät keskustelut koulun johdon, opettajien ja oppilaiden kanssa ovat luottamuksellisia ja ne tähtäävät auditoinnin tiedonkeruuseen.

6. Auditointikäynti suunnitellaan niin, että se muut-taa mahdollisimman vähän koulun päivittäistä toimintaa, eikä toisaalta koulun tule valmistautua erityisellä tavalla käyntiä varten. Auditoinnissa pyritään autenttisen koulutyön seuraamiseen.

7. Myös auditointikäynnin kaikissa vaiheissa huo-lehditaan, ettei auditointi vahingoita tai haittaa kohdeyhteisön toimintaa tai mainetta.

4 Auditointihaastattelu ryhmähaastatteluna

1. Aamun auditointikäyntien jälkeen toteutetaan haastattelut kahdessa ryhmässä. Kutsut haasta-teltaville on lähetetty noin viikkoa aikaisemmin sähköpostitse.

2. Ryhmien kokoamisen periaatteet on määritelty tässä käsikirjassa. Tarkoituksena on koota ryhmät niin, että niiden koko mahdollistaa sujuvan keskus-telun ja vuorovaikutuksen.

3. Ryhmähaastattelut ovat puolistrukturoituja, eli haastattelurungosta voidaan poiketa perustellusta syystä. Kysymysrunko toimitetaan haastateltaville etukäteen.

4. Auditoinnista vastaava henkilö toimii päähaastat-telijana ja muut ulkopuoliset auditoijat (2) voivat esittää tarkentavia kysymyksiä.

5. Päähaastattelija huolehtii haastattelun aikana, että jokaiselle haastateltavalle tulee tasapuolisesti vas-tausvuoro ja mahdollisuus myös kommentointiin. Lisäksi huolehditaan hyvästä ilmapiiristä ja mielipi-teiden esittämisen vapaudesta.

6. Haastattelut ovat luottamuksellisia, niiden sisällös-tä ei keskustella haastattelun päätyttyä eikä niistä anneta tietoja ulkopuolisille tahoille.

7. Haastattelulle varataan rauhallinen tila ja varmis-tetaan, että haastatteluryhmän ulkopuolisilla ei ole pääsyä sinne haastattelun aikana.

8. Haastattelut nauhoitetaan digitaalisesti ja litte-roidaan sanatarkasti analyysia varten. Sitä varten jokaiselle haastateltavalle luodaan oma kooditun-nus.

9. Haastattelun alussa jokaiselta haastateltavalta

Page 31: Työkalu syväoppimisen vertaisauditointiin · PDF fileNPDL-auditointikäsikirja Työkalu syväoppimisen vertaisauditointiin Suomen NPDL-maaklusteri 2017 Peter Johnson & Hannu Laukkanen

NPDL FIN Audit Handbook 31

kysytään taustatietoja hänen tehtävästään ja työkokemuksestaan. Samalla saadaan nauhoit-teelle ääninäyte litteroinnin helpottamiseksi.

10. Haastattelun aikana, litteroinnissa ja analyy-sivaiheessa huolehditaan, että haastateltavan anonyymiys taataan ja ettei hänen osallistumi-sensa auditointiin vahingoita tai haittaa hänen toimintaansa tai mainettaan.

11. Haastattelun lopuksi jokaiselle haastateltavalle varataan mahdollisuus kommentoida haas-tattelua tai kertoa asioita, joita ei haastattelun aikana tullut esille, mutta jotka tulisi vielä sanoa haastatteluaineiston autenttisuuden tai laadun varmistamiseksi.

5 Vertaisauditoijan ohjeetVertaisauditoinnin periaatteen toteutumiseksi au-ditointiryhmään kuuluu yksi jäsen auditointiparina toimivasta kunnasta ja on siis ulkopuolinen auditoi-ja. Hänen valintaperusteenaan on, että hän toimii NPDL-hankkeen vastuuhenkilönä parina olevassa kaupungissa ja on siten hyvin perehtynyt NPDL:n kontekstiin. Vertaisauditoija osallistuu auditoin-tipäivän kaikkiin vaiheisiin ja sitä ennen perehtyy käsikirjaan, ohjeisiin ja alan kirjallisuuteen. Aiempaa kokemusta auditoinnista ei välttämättä edellyte-tä. Tavoitteena on luoda ammatillista verkostoa ja vertaisuutta kahden kaupungin välille auditoinnin ohessa.

Vertaisauditoija1. tutustuu etukäteen NPDL-auditoinnin käsikir-

jaan, hallitsee sen kokonaisuuden sekä tutustuu etukäteen kohteena olevaan opetustoimeen ja kouluihin

2. kerää kouluilla auditointikäynnin aikana havain-toja NPDL-periaatteiden näkymisestä koulukult-tuurissa, päivittäisessä koulutyössä sekä opetta-jien ja oppilaiden toiminnassa

3. osallistuu ryhmähaastatteluihin tukien niitä tar-kentavilla kysymyksillä tai apukysymyksillä

4. osallistuu auditointipäivän päätteeksi haastatte-luryhmän yhteenvetokeskusteluun

5. antaa kommenttinsa auditointiraporttiin

6. allekirjoittaa vaitiolosopimuksen siitä, että auditointikäynnillä mahdollisesti välittyneet tiedot koulun ja luokan toiminnasta, oppilaiden osaamisesta ja koulutyöstä yleensä sekä heidän sosioekonomisesta taustastaan pysyvät luotta-muksellisina

7. allekirjoittaa vaitiolosopimuksen myös auditointi-haastatteluista ja reflektiokeskustelusta

8. saa käyttää omassa organisaatiossaan hyväksi niitä hyviä käytänteitä, joita on havainnut audi-toinnin yhteydessä ja vahvistaa syntyneitä am-matillisia yhteistyöverkostoja niin kuin parhaaksi näkee.

6 Haastatteluaineiston analysointi

Auditoinnin ryhmähaastattelujen aineiston ana-lyysi alkaa, kun haastattelut on saatu litteroitua ja toimitettua analyysia varten. Aineiston laadullinen analyysi noudattaa yleisiä tutkimuseettisiä periaat-teita. Koska kohteena on suhteellisen rajattu määrä haastateltavia, niin haastateltavien antonyymisyyden suojelemisessa tulee olla huolellinen. Esimerkiksi haastattelunäytteitä voidaan käyttää hyvin vähän, koska haastateltavan henkilöllisyys saattaa paljastua helposti. Kuitenkin tulee huolehtia siitä, että analyysi kattaa keskeiset tutkimukselliset havainnot, ja myös heikkoja signaaleja voidaan esittää raportoinnissa.

1. Haastatteluaineiston analyysin kaikissa vaiheissa huolehditaan, ettei auditointi vahingoita tai hait-taa kohdeyhteisön ja auditointiin osallistuneiden henkilöiden toimintaa tai mainetta.

2. Haastatteluaineiston analyysissa käytetään ai-neistolähtöistä sisällönanalyysia, joka yhdistetään raportointivaiheessa CAT-periaatteisiin.

3. Loppuraportoinnissa tai analyysin missään vai-heessa ei aseteta eri auditointikohteita vastakkain tai vertailuun. Auditointiprosessin päätteeksi kullekin kohdeyhteisölle annetaan 3−5 kehittä-missuositusta jatkokehityksen pohjaksi. Tavoit-teena on siis auttaa kohdeyhteisöä ja kollegoja kehittymään edelleen.

Page 32: Työkalu syväoppimisen vertaisauditointiin · PDF fileNPDL-auditointikäsikirja Työkalu syväoppimisen vertaisauditointiin Suomen NPDL-maaklusteri 2017 Peter Johnson & Hannu Laukkanen

32 NPDL FIN Audit Handbok

Liite 4. Vaitiolosopimus

Suomen NPDL-vertaisauditointiohjelma 2017 NPDL-auditointiin osallistuville VAITIOLOSOPIMUS (POHJA)

TaustaaNPDL-vertaisauditointiohjelman mukainen audi-tointiprosessi on aloitettu esikyselyllä, jonka tulokset annetaan osallistuville opetustoimille ja kouluille. Kohdeyhteisön tuloksia verrataan koko aineiston tuloksiin, eikä ole tarkoituksenmukaista vertailla vastaajaryhmiä keskenään. Auditointi jatkuu var-sinaisilla auditointikäynneillä ja -haastatteluilla _________________________2017.

Auditoinnissa noudatetaan korkeatasoisia tutkimus-eettisiä periaatteita, ja kaikkia osallistuvia henkilöitä pyydetään allekirjoittamaan vaitiolosopimus. Vaitiolo kattaa auditointiprosessissa tiedoksi tulevien esiky-selyjen tulokset (myös oman vastaajaryhmän osalta) sekä auditointikäyntien ja auditointihaastattelujen aikana syntyvät tutkimusaineistot ja tiedoksi tulevat asiat. Auditointihaastattelut ovat luottamuksellisia ja haastatteluaineiston käsittelyn aikana taataan haas-tateltavien anonyymiys.

Vaitiolosopimuksen sisältöAuditointiin osallistuvat sitoutuvat salassapitoon ja seuraavien periaatteiden noudattamiseen:

1. Esikyselyn tuloksia esitellessä huolehditaan siitä, että niiden esittely ei vahingoita tai haittaa koh-deyhteisöä.

2. Auditointikohteena olevassa koulussa koulun ulkopuoliset auditoijat eivät saa valokuvata tai tehdä digitaalisia tallenteita. Henkilökohtaisen au-ditointipäiväkirjan kirjoittaminen on mahdollista.

3. Auditointikäynnin aikana käytävät keskustelut koulun johdon, opettajien ja oppilaiden kanssa ovat luottamuksellisia.

4. Auditointikäynti suunnitellaan niin, että se muut-taa mahdollisimman vähän koulun päivittäistä toimintaa, eikä toisaalta koulun tule valmistautua erityisellä tavalla käyntiä varten. Auditoinnissa pyritään autenttisen koulutyön seuraamiseen.

5. Myös auditointikäynnin kaikissa vaiheissa huo-lehditaan, ettei auditointi vahingoita tai haittaa kohdeyhteisön toimintaa tai mainetta.

6. Auditointihaastattelut ovat luottamuksellisia. Niiden sisällöstä ei keskustella haastattelun päätyttyä eikä niistä anneta tietoja ulkopuolisille tahoille.

7. Haastattelun aikana, litteroinnissa ja aineiston analyysivaiheessa huolehditaan, että haastatelta-vien anonyymiys taataan ja ettei hänen osallistu-misensa auditointiin vahingoita tai haittaa hänen toimintaansa tai mainettaan.

8. Jokainen auditointikäyntiin osallistunut on allekir-joittanut vaitiolosopimuksen siitä, että auditoin-tikäynnillä mahdollisesti välittyneet tiedot koulun ja luokan toiminnasta, oppilaiden osaamisesta ja koulutyöstä yleensä sekä heidän sosioekonomi-sesta taustastaan pysyvät luottamuksellisina.

9. Jokainen auditointikäyntiin osallistunut allekirjoit-taa vastaavan vaitiolosopimuksen auditointihaas-tatteluista ja yhteenvetokeskustelusta.

Allekirjoituksellani sitoudun tämän sopimuksen mu-kaiseen vaitioloon ja edellä mainittujen periaatteiden noudattamiseen.

Page 33: Työkalu syväoppimisen vertaisauditointiin · PDF fileNPDL-auditointikäsikirja Työkalu syväoppimisen vertaisauditointiin Suomen NPDL-maaklusteri 2017 Peter Johnson & Hannu Laukkanen

NPDL FIN Audit Handbook 33

Olen myös tutustunut NPDL-auditoinnin eettisiin periaatteisiin.

Paikka ja aika

___________________________________ ____/____ 2017

Allekirjoitus ja nimen selvennys

______________________________________________________

____________________________________________________

Sopimuksesta toimitetaan kopio auditoinnin kohtee-na olevan kaupungin opetustoimeen.

Sopimuksesta antaa lisätietoja KT Peter Johnson (Licence to learn Ltd)

Alkuperäisiä sopimuksia säilytetään:

_____________________________________________________

Lähetä allekirjoittamasi vaitiolosopimus sähköpostit-se:

_________________________________________________ tai anna allekirjoitettu sopimus auditointiryhmän puheenjohtajalle ennen auditointiin osallistumistasi.

Page 34: Työkalu syväoppimisen vertaisauditointiin · PDF fileNPDL-auditointikäsikirja Työkalu syväoppimisen vertaisauditointiin Suomen NPDL-maaklusteri 2017 Peter Johnson & Hannu Laukkanen

34 NPDL FIN Audit Handbok

Liite 5. Auditointi vahvistaa kehittämisen yhtenäisyyttä ja tavoitteellisuutta

© Peter Johnson, Esko Johnson & Hannu Laukkanen 2017

NPDL (New Pedagogies for Deep Learning) on kan-sainvälinen oppimiseen, opetukseen, koulukulttuuriin sekä koulun ja opetustoimen johtamiseen kohdistuva kokonaisvaltainen tutkimus- ja kehittämisohjelma. Sen kehittäjä on kanadalainen Michael Fullan tiimei-neen (Fullan, Quinn & McEchen). Emeritusprofessori Fullan on maailmankuulu koulun uudistamisen ja kehittämisen asiantuntija.

NPDL esiteltiin vuonna 2014, ja sen kokonaisvaltai-nen lähestymistapa on ainutlaatuinen maailmassa. Vaikka kokonaisuus vaikuttaa hyvältä ja selkeältä, sitä kuitenkin täydentää oivallisesti Fullanin ja Quin-nin vuonna 2016 julkaisema teos Coherence. Siinä tähdennetään NPDL:n toimeenpanon, toteutuksen ja johtamisen yhdenmukaisuutta ja johdonmukaisuutta eli koherenssia (coherence). Koherenssin saavutta-minen vaatii johdonmukaista ja pitkäjänteistä johta-mista kaikilla organisaation tasoilla. NPDL:n Suomen maaklusterissa on koettu tärkeäksi, että koherenssin toteutumista edistetään auditoinnin avulla. Auditoin-tikäyntien avulla tuetaan NPDL:n toimeenpanoa ja niiden pohjalta laaditaan kolmesta viiteen kehittä-missuositusta kunnan opetustoimelle ja osallistuville kouluille NPDL:n jatkokehittämistä varten.

Kaiken kaikkiaan koherenssin vahvistamiseksi tarvitaan sekä toimivien käytänteiden vahvistamista että uusien toimintatapojen innovoimista. Kehittymisen ja kehittä-misen varmistamiseksi ja vahvistamiseksi tarvitaan oh-jaus- ja kehittämisjärjestelmä, joka antaa luotettavan analyysin kunnan opetustoimen ja koulujen tilanteesta. Hyvä avauksia tähän suuntaan ovat Opetushallituksen käynnistämät kunnallisen opetustoimen strategiset ke-hittämisideat kuten KuntaKesu, KouluKesu ja OpeKesu sekä kehittämiskouluverkostot kuten perusopetuksen kehittämiskouluverkosto Majakka. Nämä kehittämis-toimet voidaan yhdistää myös NPDL:n ydintaitojen saavuttamiseen ja syväoppimisen kehittämiseen.

Tämä artikkeli on kirjoitettu suomalaisille NPDL:n käyttäjille ja siitä kiinnostuneille. Keskeinen painotus on koherenssin eli yhdenmukaisuuden pohdinnalla ja sen kytkemisellä NPDL:n soveltamiseen suomalais-kouluissa ja paikalliseen NPDL-auditointiin. Artikkeli perehdyttää NPDL:n vertaisauditoijat sekä koherenssin että auditoinnin periaatteisiin. Tavoitteena on löytää monimutkaistuvassa maailmassa ja koulun työtodel-lisuudessa selkeitä ajattelutapoja ja käyttökelpoisia vastauksia koulun kehittämisen keskeisiin kysymyksiin.

Avainsanat: New Pedagogies for Deep Learning (NPDL), syväoppiminen, koherenssi, opetustoimen kehittäminen

Page 35: Työkalu syväoppimisen vertaisauditointiin · PDF fileNPDL-auditointikäsikirja Työkalu syväoppimisen vertaisauditointiin Suomen NPDL-maaklusteri 2017 Peter Johnson & Hannu Laukkanen

NPDL FIN Audit Handbook 35

NPDL pähkinänkuoressa

NPDL perustuu kuudelle ydintaidolle, jotka ovat syväl-lisen oppimisen edellytyksiä ja mahdollistajia. Nämä kuusi ydintaitoa ovat:1. itseohjautuvuus ja oppimaan oppiminen (character)2. globaali kansalaisuus (citizenship)3. tiimityötaidot (collaboration)4. viestintä- ja vuorovaikutustaidot (communication)5. luovuus (creativity)6. kriittinen ajattelu ja ajattelun taidot (critical

thinking).

Niissä on paljon yhteneväisyyttä Suomen esi- ja perusopetuksen opetussuunnitelman perusteiden (2014) laaja-alaisen osaamisen taitojen kanssa. Sen voi helposti havaita seuraavista kuvioista.

Kuten perusopetuksen opetussuunnitelman perusteis-sa (2014) todetaan, laaja-alaisella osaamisella tarkoi-tetaan tietojen, taitojen, arvojen, asenteiden ja tahdon muodostamaa kokonaisuutta. Siihen miten oppilaat käyttävät tietojaan ja taitojaan, vaikuttavat oppilaiden omaksumat arvot ja asenteet sekä tahto toimia. Laa-

ja-alaisen osaamisen kasvava tarve nousee ympä-röivän maailman muutoksista. Ihmisenä kasvaminen, oppiminen, työnteko ja kansalaisena toimiminen tänään ja tulevaisuudessa edellyttävät perinteiset tiedonalat ylittävää osaamista. Opetussuunnitelman perusteissa kuvataan perusteellisesti laaja-alaisen osaamisen kokonaisuutta ja sen osa-alueita, mutta niistä ei muodostu tavoitetasoittain etenevää tau-lukkoa tavoitteineen ja taitoineen eriteltynä kuten NPDL:ssä.

NPDL:ssa on keskeistä, että siinä määriteltyjä ydintai-toja harjoitellaan johdonmukaisesti. Ydintaitoihin on luotu laaja tavoitetaulukko tavoite- ja taitotasoineen (rubrics), joita voidaan käyttää mittareina toiminnan arvioinnissa ja toisaalta myös koulun kehitystyön ja johtamisen suunnittelussa. Ydintaitojen kehittyminen on jaoteltu edelleen useaan ulottuvuuteen, joiden avulla voidaan yksityiskohtaista kehittymistä arvioida moniportaisella kehittymisen asteikolla (esimerkiksi: vähäistä näyttöä kehityksestä, orastava kehitys, kehit-tyvä, voimakkaasti kehittyvä ja hyvin edistynyt).

Kuvio 2. Laaja-alainen osaaminen (Perusopetuksen opetussuunnitelman perusteet 2014)

Kuvio 1. Fullan’s Six C’s (ks. Fullan & Quinn 2016, 84)

1 Character Education

2 Citizenship

3 Communication

4 Critical

Thinking &

Problem-Solving

5 Collaboration

6 Creativity & Imagination

Page 36: Työkalu syväoppimisen vertaisauditointiin · PDF fileNPDL-auditointikäsikirja Työkalu syväoppimisen vertaisauditointiin Suomen NPDL-maaklusteri 2017 Peter Johnson & Hannu Laukkanen

36 NPDL FIN Audit Handbok

Syväoppimisen kehittyminen edellyttää koko opetustoimen organisaation kokonaisvaltaista ja johdonmukaista kehittymistä samaan suuntaan ja samanaikaisesti. Opetustoimen osaamista edistetään organisaation portaiden jokaisella tasolla: luokan tason, koulun tason, alue- tai opetustoimen tason ja globaalin tason systemaattisesti asetetuilla tavoit-teilla. Syväoppimisen pedagogiikka edellyttää myös johtamisrakenteiden ja -tapojen kriittistä tarkaste-lua. Kehittyminen johtaa myös opettajien tiimityön merkityksen syvälliseen ymmärtämiseen ja sen vahvistamiseen sekä yhdessä oppimisen merkityksen korostumiseen.

Kunnan opetustoimen ja koulujen liittyminen mukaan kehitysohjelmaan edellyttää sitoutumista monipuoli-seen koulutusohjelmaan ja taloudellista panostamista siihen. Koulutuksella halutaan taata, että jokaisen osallistuvan koulun opettajat ja rehtori voivat pe-rusteellisesti paneutua kokonaisuuteen ja sisäistää NPDL:n periaatteet.

NPDL:n leviämistä maailmanlaajuisesti edistää ja tukee globaali verkosto, jossa on luotu maaklustereita tähän mennessä 10 maahan. Siihen kuuluu noin 1000 koulua. Suomesta on mukana noin 20 kuntaa ja 200 koulua (11/2016), ja verkosto laajenee maassamme edelleen.

Yhtenäisyyden eli koherenssin johtaminen (leading for coherence)

Kuten usein aiemminkin koulun kehittämisen kirjal-lisuudessa on todettu, myös Fullan ja Quinn näkevät kirjassaan Coherence (2016) koulun kehittämisvai-keuksien johtuvan siitä, että elämme hyvin monimut-kaisessa maailmassa, jossa myös koulun kehittäminen on monimutkaista. Jotta ylipäätään voidaan edetä kehittämisessä, vaaditaan tavoitteiden selkiyttämistä ja asioiden yksinkertaistamista (simplexity). (Fullan & Quinn 2016, 127–128; ks. myös Hargreaves ym. 2014; Robinson & Aronica 2015.)

Fullan ja Quinn ovat luoneet yhtenäisyyden kehikon (coherence framework), jonka tavoitteena on asioi-den selkeä ja johdonmukainen käsittely. Vaikean on-gelman tullessa eteen on ensin tunnistettava joukko (4–6 kpl) ongelmaan vaikuttavia avaintekijöitä. Tämä on yleensä kohtalaisen helppoa ja ensi vaiheessa var-sin yksinkertaistakin. Tämän jälkeen nämä avaintekijät saavat hahmottua ja jäsentyä käytännön toiminnassa ja henkilöiden tulkinnoissa – tämä onkin jo monimut-kaisempi vaihe. Fullanin ja Quinnin yhtenäisyyden kehikossa on vain neljä isoa osa-aluetta, jotka ovat keskenään sidoksissa. Nämä osa-alueet muuttuvat ja tarkentuvat siinä kontekstissa, jossa työskennellään. Olennaista on, että osataan keskittyä oikeisiin asioihin ja samalla myös opitaan koko ajan uutta. (Fullan & Quinn 2016, 127–129.)

Tähän sopii hyvin esimerkiksi yksi parhaimmista oival-luksista, joka on peräisin erään menestyvän yrityksen toimitusjohtajalta. Kun häneltä kysyttiin, mikä on tärkein asia johtajuudessa, hän vastasi: ”On parempi olla oikeassa kokouksen tai neuvottelun päättyessä kuin sen alussa”.1 Hän käytti tätä oivallustaan hyvän muutosprosessin metaforana: johtajat vaikuttavat ryhmäänsä, mutta he myös oppivat siitä itse samal-la. Itse asiassa yhdessä oppimista tapahtuukin juuri tehokkaissa muutosprosesseissa. Jos olet oikeassa kokouksen tai neuvottelun alussa, olet oikeassa vain omasta mielestäsi. Mutta jos olet oikeassa vasta kun tullaan kokouksen päätösvaiheeseen, tämä merkitsee sitä, että olet käsitellyt ja prosessoinut asioita yhdessä ryhmäsi kanssa ja olette ratkaisseet asian yhdessä. Tämä vahvistaa kehittymisen yhtenäisyyttä, koherens-sia. (Fullan & Quinn 2016, 127.)

Fullanin ja Quinnin ajatuksia tukevat McKinsey & Companyn tutkimustulokset (2014) julkisen sektorin johtamisesta (mukana myös koulutusalan johtajia). Tutkimusraportti alkoi näin: ”Krooninen ali-investointi ( johtajuuden kehittämiseen) asettaa yhä enemmän vaatimuksia julkisen sektorin johtajille”.2 Tutkimukses-sa 200 julkisen sektorin johtajaa arvioi neljää kriittistä

1 David Coet, Honeywell, nyti.ms/1chUHqp.2 Callanan, Gardner, Mendonca & Scott 2014

Page 37: Työkalu syväoppimisen vertaisauditointiin · PDF fileNPDL-auditointikäsikirja Työkalu syväoppimisen vertaisauditointiin Suomen NPDL-maaklusteri 2017 Peter Johnson & Hannu Laukkanen

NPDL FIN Audit Handbook 37

4 Garden Grove sijaitsee Kaliforniassa, ks. https://en.wikipedia.org/wiki/Garden_Grove,_California ja katso myös http://ccee-ca.org/ documents/meetings/20150604/Item%206%20Attachment%202%20CORE%20CCEE.pdf

menestystekijää. Nämä olivat:1. innovoinnin ja toteuttamisen tasapainottaminen2. johtajatiimien luominen3. yhteistoiminnallisuus ja yhteistoiminta4. tulostavoitteiden johtaminen (managing outco-

mes).

Kyselyyn vastaajien mielestä heillä itsellään ja hei-dän vertaisryhmänsä jäsenillä oli puutteita kaikilla näillä neljällä alueella. Raportissa selvitetään myös, miten erilaisia kykyjä ja taitoja priorisointiin. Vastaa-jat arvioivat edellä mainittuja seikkoja sekä omina henkilökohtaisina että vertaiskollegojen vahvuuksina. Molemmissa arviointikohteissa (henkilökohtainen vs. vertaiskollegat) vain alle 40 prosenttia vastaajista3

arvioi kaikki kyvykkyyden alueet vahvoiksi. Esimerkiksi yhteistoiminnan kyvyn arvioi vahvaksi vain 24 pro-senttia (henkilökohtainen kyvykkyys) ja 24 prosenttia (kollegojen kyvykkyys). Tämä tutkimustulos osoittaa, että huippukyvykkyydestä on julkisen sektorin johta-misessa pulaa. (Fullan & Quinn 2016, 127–128.)

Johtajat edistävät yhtenäisyyttä, kun he onnistuvat kokoamaan Fullanin ja Quinnin yhtenäisyyden kehi-kon (coherence framework) neljä osa-aluetta niissä monimutkaisissa organisaatioissa, joita he johtavat. Koherenssin saavuttaminen on jatkuva prosessi, kos-ka ihmiset tulevat ja menevät. Tilanteiden dynamiikka muuttuu ja vaihtuu koko ajan. Johtajat kehittävät aktiivisesti eri vuorovaikutussuhteita horisontaalisesti ja vertikaalisesti. Näin yhteistoiminnan kulttuuri syve-nee, edistää syväoppimista ja vahvistaa fokusoitumis-ta keskeisiin asioihin. (Fullan & Quinn 2016, 127–128.)

Koherenssin saavuttaminen organisaatiossa kestää kauan ja edellyttää jatkuvaa huomiota ja kehittämistä. Merkittävin uhka koherenssille on johdon vaihtuvuus, koska uudet johtajat tuovat kukin oman johtamiskäsi-tyksensä mukanaan. Vaihtuvuus ei sinänsä ole ongel-ma vaan johtamisen suunnan epäjatkuvuus. Joskus heikosti suoriutuvat organisaatiot vaativat toki raviste-lua, mutta kirjoittajat ovat myös nähneet, kuinka uudet

johtajat horjuttavat pikemmin kuin rakentavat edelleen organisaatiossaan olevia hyviä asioita. Fullan ja Quinn ovat nähneet – tosin harvoin – koulupiirejä kuten Garden Grove4, joissa johdon (superintendents) vaihto perustui harkittuun suunnitelmaan jatkaa ja edistää järjestelmän tehokkuutta. Ihannetapauksessa johdon vaihtumisessa voidaan yhdistää jatkuvuus ja innovoin-ti. Fullan ja Quinn pitävät koherenssin kehittämistä ja uudelleen luomista jatkuvana ja päättymättömänä kehityskulkuna. He kiteyttävät johtajuuden kahteen pääsuositukseen: 1. hallitse yhtenäisyyden kehikko ja 2. edistä johtajuuden kehittymistä organisaation kaikilla tasoilla. (Fullan & Quinn 2016, 127–128.)

Hallitse yhtenäisyyden kehikkoYhtenäisyyden kehikko on tarkoitettu sovellettavaksi samanaikaisesti, koska systeemiajattelun mukaisesti kaikki osa-alueet vaikuttavat tosiinsa. Kun paneudu-taan yhteen osa-alueeseen, on ajateltava kuitenkin koko ajan kokonaisvaltaisesti. Suunnan ja yhteistyön määrittelyssä on kaksi puolta. Johtajalla tulee olla hyvä käsitys toiminnan moraalisesta päämäärästä. Nämä ajatukset eivät tarkennu ennen kuin johtaja on ryhmänsä kanssa vuorovaikutuksessa. Päämäärätie-toinen yhteistoiminta – eli edellä mainittu syvällinen muutosprosessi – auttaa määrittelemään toiminnan tarkoituksen ja tuottaa osaamista, joka johtaa suu-rempaan selkeyteen ja tehokkuuteen. Yhä useammin on huomattu, että opetuksen ja koulutuksen tarkoitus toteutuu syväoppimisen (deep learning) periaatteella. Tämä tarkoittaa sitä, että innovointi ja jatkuva kehittä-minen kulkevat rinnakkain – mikä on aina vaativa asia toteuttaa. (Fullan & Quinn 2016, 128–129.)

Kuviossa 3 esitetään yhtenäisyyden kehikko kokonai-suudessaan. Kuten kaikki suunnitelmat, myös tämä edellyttää toiminnan laadun ja kokonaisvaltaisuuden lisäksi yhteisen vision rakentamista ja sen omista-juutta. Kun johtajat tutustuvat näihin teemoihin ja jos he näkevät näillä ajatuksilla olevan mahdollisuuksia toteutua, he voivat aloittaa keskustelun lähestymis-

3 http://www.mckinsey.com/industries/social-sector/our-insights/what-social-sector-leaders-need-to-succeed

Page 38: Työkalu syväoppimisen vertaisauditointiin · PDF fileNPDL-auditointikäsikirja Työkalu syväoppimisen vertaisauditointiin Suomen NPDL-maaklusteri 2017 Peter Johnson & Hannu Laukkanen

38 NPDL FIN Audit Handbok

tavasta muiden kanssa. Dokumentoidun keskustelun jälkeen he voivat aloittaa suunnittelun perustuen kehikon neljään eri osa-alueeseen.

Yhtenäisyyden kehikon käsittelytapoja on monia ja siitä johdettua työkalua (Coherence Assessment Tool eli CAT) voidaan käyttää eri tavoin. Esimerkiksi aluksi johtaja voi yhdessä muiden johtoryhmän jäsenten kanssa alustavasti pohtia, miten soveltaisi kehikkoa omaan organisaatioonsa ja tarkastella samalla, tuliko kaikki asiat otettua huomioon. Seuraavaksi voidaan miettiä, kuinka hyvin kukin osa-alue on hallinnassa ja osataan. Toiseksi johtaja voi keskustella kehikosta johtoryhmän kanssa siten, että aloitetaan pääotsi-koista ja mietitään, tuntuvatko otsikot herättävän vastakaikua. Kolmanneksi voidaan aloittaa keskus-telu pääkäsitteistä yhdessä muiden organisaation johtajien kanssa ennen kuin tehdään suunnitelmia ja strategioita. Neljänneksi voi lähteä liikkeelle opera-tiivisesta toiminnasta (action forums) ja työstää näitä neljää aluetta toiminnan yhteydessä. (Fullan & Quinn 2016, 130.)

Miten tahansa edetäänkin, on syytä ottaa huomioon aiemmin annettu ohje: osallistu oppijana, työskentele yhdessä muiden kanssa ja vie näin organisaatiota eteenpäin. Yhtenäisyyden arvioinnin työkalua (CAT) ei ole tarkoitettu jäykäksi ajatusrakennelmaksi. Se

toimii lähtökohtana, kun aivan aluksi arvioidaan ja pohditaan, otetaanko todellakin huomioon neljä osa-aluetta ja niiden 13 alakohtaa. Toisaalta arvioin-nin kehikkoa kannattaa kuitenkin käyttää laajasti, jot-ta saadaan 360 asteen kokonaisvaltainen kuva siitä, kuinka yhtenäisyys ilmenee kaikilla eri tasoilla.

Kuviossa 4 on Fullanin ja Quinnin laatima yhtenäisyy-den arvioinnin työkalu (CAT). Se muodostuu nel-jästä osa-alueesta (A−D) sekä virikkeistä (prompts), joiden avulla keskustelu osa-alueista lähtee liikkeelle. CAT-menetelmän tekijät kannustavat tunnistamaan, mitä näyttöä (evidenssiä) kustakin osa-alueesta orga-nisaatiossa voi havaita. (Fullan & Quinn 2016, 131.)

Miten kannattaa edetä? Voit pyytää, että organisaa-tiossasi eri tehtävissä toimivat henkilöt pohtivat ensin yksin ja sitten yhdistävät pohdintansa edellä maini-tuista asioista yhteiseksi kokonaiskuvaksi. Seuraavaksi kannattaa miettiä osa-alueita, joissa käsitykset ovat samanlaisia, ja sen jälkeen tulee ottaa syvällisten kes-kusteluiden kohteiksi ne alueet, joissa käsitykset ovat erilaisia. Kannattaa kysyä, onko lähestymistapanne riittävän kattava ja kokonaisvaltainen ja onko otettu huomioon kaikki neljä osa-aluetta. Kehikon mukai-sesti kannattaa pohtia vahvuuksia, mutta myös niitä alueita, joissa on eniten kehittämistarpeita. Pohtikaa sitten keinoja, joilla voitte hyödyntää vahvuuksianne

Kuvio 3. Yhtenäisyyden kehikko (Fullan & Quinn 2016, 129)

Page 39: Työkalu syväoppimisen vertaisauditointiin · PDF fileNPDL-auditointikäsikirja Työkalu syväoppimisen vertaisauditointiin Suomen NPDL-maaklusteri 2017 Peter Johnson & Hannu Laukkanen

NPDL FIN Audit Handbook 39

ja parantaa kehittämisalueita. Etenemisessä ei ole yhtä oikeaa tapaa tai patenttiratkaisua. Tärkeintä on käyttää näitä pohdintoja hyväksi ennen kuin siirrytään toimenpiteisiin. (Fullan & Quinn 2016, 130.)

Kuten Fullan ja Quinn edellä totesivat, vahva muu-tosprosessi muokkaa ja uudelleen muovaa korkea-luokkaisia ideoita. Samalla tällainen muutosprosessi vahvistaa osallistujien osaamista, täysipainoista osal-listumista ja omistajuutta (ownership). Kun tulette yhä vahvemmiksi ja taitavammiksi yhtenäisyyden kehikon soveltamisessa, innostus kasvaa ja saavutatte parem-pia tuloksia, ja nämä vuorostaan kannustavat ihmisiä parempiin saavutuksiin. Keskustelu kehittämisestä (”talking the walk”) on sekä merkittävä mittari että suurenmoinen strategia, jolla ryhmä voi saavuttaa selkeämmän yhteisen käsityksen sekä sitoutua siihen yksilöinä ja ryhmänä. (Fullan & Quinn 2016, 133). Kehittämistoimiin ryhdyttäessä on sitten vuorossa puheiden muuttaminen teoiksi (”walking the talk”).

Osaavatko johtajat kaikilla tasoilla kuvata selkeästi kehikkoa ja sen soveltamista eri toimintaympäristöis-sä ja organisaatioissa? Kun käytetään yhtenäisyyden kehikkoa organisaation yhtenäisyyden pohtimiseen ja analyysiin, voidaan myös suunnitella etenemistä ja ke-hittää erityisiä johtajuuden osataitoja. Kirtman ja Fullan (2015) osoittavat, miten erittäin tehokkaiden ja menes-tyneiden johtajien seitsemän kompetenssia nivoutuvat koko järjestelmän kehittämiseen. Nämä seitsemän johtamisen osa-aluetta käyvät ilmi kuviosta 5.

Nämä kompetenssit sopivat myös yhtenäisyyden ke-hikkoon. Asioiden vallitsevan tilan ja vakiintuneiden pe-riaatteiden haastaminen on kaikkein oleellisinta silloin, kun keskitytään uuteen suuntaan ja kehitetään uutta. Luottamuksen rakentaminen ja yhdessä hyväksyttävän suunnitelman valmistelu ovat erittäin päämäärätietoista yhteistoimintaa. Kaksi seuraavaa kompetenssia – tu-loksiin ja jatkuvaan parantamiseen tähtäävä muutos-pyrkimys – nivoutuvat välittömästi yhteen sisäiseen ja ulkoiseen vastuullisuuteen (accountability). Ulkoiset verkostot ja partnerisuhteet ovat yhteistoiminnan ul-koinen kehä, joka tekee mahdolliseksi sen, että johtajat voivat hyödyntää ulkoista ympäristöä ja vaikuttaa siihen sekä tuoda oman panoksensa ulkoisen ympäristön kehittämiseen. (Fullan & Quinn 2016, 133.)

Kuten McKinseyn & Companyn tutkimus osoitti, useimmat johtajat eivät ole hyviä muutosprosessin johtamisessa. Yhtenäisyyden kehikon hallitsemi-nen vastaa tuohon osaamisvajeeseen, sillä se tekee johtajasta ja hänen organisaatiostaan paljon tehok-kaamman ja todennäköisesti paljon kestävämmän. Johtajan ei tarvitse suoriutua tästä kehitysprosessista yksin, eikä sitä voikaan tehdä yksin. Oleellista on, että johtajuuden kehittyminen tapahtuu organisaation kaikilla tasoilla. (Fullan & Quinn 2016, 133.)

Kehitä johtajuutta kaikilla tasoilla

Kanadassa Ontarion alueella koko koulutusjärjes-telmän kehittymiseen eniten vaikuttaneita tekijöitä on ollut johtajuuden kehittäminen kaikilla tasoilla eli koulun, koulupiirin ja osavaltion tasolla. Menestynei-den johtajien tunnuspiirre on ollut muun muassa se, että he eivät vaikuta pelkästään oppilaan tai opiske-lijan saavutuksiin. He valitsevat mentoroitavakseen uusia johtajia ja muutenkin kehittävät toisia johtajia ja tukevat heitä. Tästä on hyötyä kahdella tavalla. Lyhyellä aikavälillä heidän työnsä vaikuttaa, koska tällä tavalla työskentelevien johtajien kriittinen massa on riittävän suuri ja kasvaa edelleen. Pidemmällä ai-kavälillä heidän työnsä merkitys on vieläkin suurempi, koska nämä johtajat muodostavat kriittisen massan seuraavaa kehittämisvaihetta varten.

Asian voi kuvata myös siten, että oppivan organi-saation nuoremmat jäsenet kehittyvät tulevaisuutta varten oppiessaan ja kasvaessaan koko prosessin ajan. Voisi sanoa niinkin, että menestyvät johtajat ke-hittävät johtajatiimejä ja samalla, mikäli he onnistuvat tehtävässään, he tulevat yhä korvattavammiksi orga-nisaationsa kannalta. He ovat kehittäneet ydinjoukon muita johtajia, jotka vuorostaan jatkavat työtään ja menevät siinä yhä syvemmälle ja pidemmälle. Sen sijaan, jos yksittäiset johtajat ovat liian dominoiva, he jättävät tyhjiön lähtiessään organisaatiosta. Vaikka he menestyvät työssään, heidän vaikutuksensa on pinnallinen, koska menestys riippuu liian paljon heistä yksilöinä. Tavoitteena on, että johtaja tekee itsensä korvattavaksi, jotta organisaatio voi mennä eteen-päin, kehittyä ja menestyä. (Fullan & Quinn 2016, 134.)

Johtajuuden kehittämiseen tulee panostaa formaa-

Page 40: Työkalu syväoppimisen vertaisauditointiin · PDF fileNPDL-auditointikäsikirja Työkalu syväoppimisen vertaisauditointiin Suomen NPDL-maaklusteri 2017 Peter Johnson & Hannu Laukkanen

40 NPDL FIN Audit Handbok

leilla ja informaaleilla tavoilla. Ensinnäkin, yhteistoi-minnalliset kulttuurit kehittyvät luonnollisella tavalla vallitsevassa kulttuurissa. Sellaiset kulttuurit ovat yhdessä oppimisen kulttuureita ja tämän takia aina vaikuttavat johtajien ja johtajuuden kehittymiseen, koska ne ovat osa arjen kulttuuria. Tällaisen infor-maalisen kehittämisen kulttuurin ohella on tarpeen panostaa organisoidumpaan ja muodollisempaan johtajien ja johtajuuden kehittämiseen. McKinsey & Companyn raportin (2014, 3) mukaan ”Tehokkaat johtajat ympäröivät itsensä ihmisillä, joilla on moni-puolista ja erilaista kyvykkyyttä, jota menestyvä orga-nisaatio tarvitsee. Julkisen sektorin johtajat näyttävät tunnistavan tämän ja antavat sille etusijan. Mutta heidän vastauksensa (tutkimuksessa) toisaalta osoit-tavat, etteivät heidän organisaatiot ole menestyneet kovinkaan hyvin.” Tämän vuoksi jatkossa opetuksen ja opetustoimen johtajille on kaikkein tärkeintä kehittää muiden johtajuutta, toisin sanoen edistää ja kehittää oman organisaationsa johtajien kyvykkyyttä. (Fullan & Quinn 2016, 134–135.)

Johtaja kehittää muita johtajia -periaatteesta tulee luonteva toimintamalli, kun johtaja vakiinnuttaa oppimisen kulttuurin, jossa monien ihmisten odote-taan kehittävän omaa johtamisen kyvykkyyttään ja auttavan muita tässä tehtävässä. Lisäksi organisaa-tion tulee luoda ja käyttää muitakin työkaluja omien johtajiensa ja johtajuutensa järjestelmälliseen kehit-tämiseen. Näihin kuuluvat mentorointi, valmennus, palautteen antaminen sekä sellaisten erityisvalmiuk-sien kuten viestintä- ja mediataitojen opettaminen ja kehittäminen. Fullanin ja Quinnin malliin verrattuna ero on se, että nämä muodollisemmat kehittämistoi-met eivät ole varsinaisia muutostekijöitä eli ”draive-reita” (drivers) eivätkä perustu yhtenäisyyskehikon soveltamiseen. (Fullan & Quinn 2016, 135.)

Koherenssi on haasteTänään jos koskaan on tärkeätä pystyä johtamaan itseään niin, että oikeiden muutostekijöiden, ”drai-

vereiden”, merkitys ja käyttö korostuvat. Fullanin ja Quinnin mukaan näemme tänään pieniä merkkejä sii-tä, kuinka päättäjät huomaavat, että väärät ”draiverit” kuten rankaiseva vastuuvelvollisuus, keskittyminen yksilöihin, teknologian hankkiminen ja hyppiminen ad hoc -periaatteesta toiseen, eivät johda yhtenäisyy-den saavuttamiseen. Tällä hetkellä vallitsee näkö-alattomuus ja suuntatyhjiö. Tyhjiöt voidaan täyttää hedelmättömillä ja väärillä ajatuksilla − tai sitten ne voidaan täyttää määritellyllä suunnalla, määrätietoi-sella yhteistoiminnalla, syväoppimisella sekä omalla ja muiden vastuullisuudella. Julkisen sektorin johtajilla on erityinen velvollisuus ja oikeus edistää opetuksen ja koulutuksen avulla yhteiskunnan kehittämisen moraalisia ja eettisiä periaatteita − toisin sanoen tasapainottaa innovointia ja sen toimeenpanoa sekä jatkuvaa kehittämistä, rakentaa tavoitetietoisia ja tehokkaita tiimejä sekä johtaa kohti syvällisiä ja vaikuttavia tuloksia. Yleisesti ottaen kanadalainen yh-teiskunta ja oppilaiden nykyisyyden ja tulevaisuuden-kin näkymät ovat heikentyneet 1970-luvulta lähtien. Tämä heikentyminen on seurausta työpaikkojen vä-henemisestä sekä dramaattisesti kasvavasta taloudel-lisesta kuilusta. Ero yhä kaventuvan pyramidin huipun ja laajenevan pohjan välillä näyttää yhä kasvavan. Eikä ratkaisuja ole näkyvissä5. (Fullan & Quinn 2016, 135.)

Fullan ja Quinn toteavat kokoavasti, että sikäläinen koulutusjärjestelmä ja yhteiskunta yleensäkin ovat vastanneet kehitykseen hitaasti ja sen vuoksi niillä on edessään kilpajuoksu olemassaolostaan – tavalla jota ei koskaan aikaisemmin ole koettu. Tämän voisi sanoa myös niin, että emme enää puhu olemassa olevan järjestelmän eheydestä ja yhtenäisyydestä vaan perusteellisesta muutoksesta ja siirtymisestä syväop-pimiseen kaikilta osin. Tämä on koherenssin haaste!

Lopuksi Fullan ja Quinn muistuttavat, että heidän kirjansa lukijat eli ne joiden täytyy ryhtyä toimenpitei-siin, ovat johtajia kaikilla koulutusjärjestelmän tasoilla. Paikallisten koulunjohtajien ja koulupiirien johtajien (myös yhteisöjen ja vanhempien järjestöjen johtajien)

5 Fullan ja Quinn viittaavat kolmeen analyysiin/kirjaan, Brynolfsson & McAfee (2014), Ford (2015), McKinsey & Company (2015)

Page 41: Työkalu syväoppimisen vertaisauditointiin · PDF fileNPDL-auditointikäsikirja Työkalu syväoppimisen vertaisauditointiin Suomen NPDL-maaklusteri 2017 Peter Johnson & Hannu Laukkanen

NPDL FIN Audit Handbook 41

täytyy suunnata katseensa koherenssiin. Heidän täy-tyy myös yhdistää koulujensa sisäinen kehittäminen laajempaan poliittiseen ja päätöksenteon areenaan, ja heidän tulee tehdä tämä osallistumalla osavaltion-sa prioriteettien määrittelyyn ja päätöksentekoon – mikä voi usein tuntua tylsistyttävältä ja hämmen-tävältä. Mutta ennen kaikkea tulee miettiä, miten voisi käyttää ulkoa annettuja vaatimuksia paikallisen menestymisen ja saavutusten hyväksi. Poliitikkojen ja muiden päätöksentekijöiden tulee lopettaa vääriin muutostekijöihin (drivers) luottaminen. On aika ryh-tyä ja hakea esiin samanhenkiset ja liittyä niihin, jotka haluavat lähteä tälle yhteiselle, vaativalle matkalle. Fullan ja Quinn siis rohkaisevat aktivoimaan muita ja liittymään heihin paikallisesti, alueellisesti ja laajem-minkin – toimimaan muutoksen hyväksi yhtenäisyy-den kehikon avulla tässä kaoottisessa ajassamme. (Fullan & Quinn 2016, 135–136.)

Koherenssin vahvistamisen mahdollisuudet suomalaisessa kontekstissa

Suomalaisesta näkökulmasta katsoen olemme yhteis-kunnan kehityksen ja opetuksen kehittämisen kannal-ta samankaltaisessa tilanteessa kuin Kanada ja monet muutkin länsimaat. Kuitenkin meillä ja ”muilla” on selviä eroja koulutusjärjestelmien ja kulttuurien kes-ken – meidän eduksemme. Tietenkin kansainvälisessä vertailussa Suomi on pieni maa, mistä on sekä etua että haittaa. Kansainväliseen mittakaavaan verrattuna meidän mittakaavamme (esimerkiksi oppilaitosten ja oppilaiden määrä) on pieni, mistä saattaa olla etua, jos ajattelemme koherenssin mahdollisuutta kouluor-ganisaatiossa.

Suomessa kunnat ovat pääosin yleissivistävän opetuksen järjestäjiä, ja meidän kuntaperusteinen koulutusjärjestelmämme antaa paremmat mahdol-lisuudet yhtenäisyyden eli koherenssin kehittämi-seen kuin sellainen järjestelmä, jossa paikallisesti on monia rinnakkaisia järjestäjätahoja: julkinen, yksityi-nen ja vielä joku kolmas järjestäjätaho rinta rinnan. Esimerkiksi Yhdysvalloissa rinnakkaiset järjestelmät kilpailevat ankarasti sekä oppilaista että taloudellisis-ta resursseista.

Koulutusjärjestelmien erilaisuudesta johtuen kan-sainvälisessä koulusaavutuskeskustelussa on ryhdytty kritisoimaan esimerkiksi PISA-arviointien kaltaisia suuria kansainvälisiä arviointeja. Kritiikin kärki on kohdistunut siihen, johdetaanko koulujen kehittymis-tä suurissa arvioinneissa koottavista tietokannoista (Big Data) vai onko sen sijaan tai sen rinnalla koottava myös yksityiskohtaista tietoa (Small Data) ja arvos-tettava sitä yhtä paljon. (Sahlberg 2017; Sahlberg & Hasan 2016.) Koulukohtaisen tai kuntakohtaisen arvi-oinnin tasolla voidaan koota ja käsitellä myös pieniä laadullisia tutkimusaineistoja kuten esimerkiksi tässä suomalaisessa NPDL-auditoinnissa on tehty. Tapaus-tutkimuksen omaisesti kerätystä laadullisesta tutki-musaineistosta saattaa löytyä pieniä vihjeitä, hiljaisia signaaleja, jotka saattavat olla koulun kehittämisen ja tulevaisuuden kannalta ratkaisevan arvokkaita.

Edellä mainitun dilemman lisäksi on toinenkin dilem-ma, joka voidaan nähdä koherenssin vaatimuksen ja autonomian vaatimuksen välillä. Tiedämme, että maassamme on hyvin laaja autonomia kunnan, koulun ja opettajankin tasolla. Se on myös yleisesti nähty eräänä suomalaisen koulutuksen menestystekijänä, koska korkeatasoinen ammatillisuus ja luovuus vaa-tivat rinnalleen autonomiaa. Loukkaako koherenssin vaatimus opettajan vapautta tai kunnan ja sen kou-lujen autonomiaa? Koherenssiahan vaaditaan myös opetussuunnitelmauudistusten toimeenpanossa, kun opetussuunnitelman perusteilla on normina juridinen ohjausvaikutus ja opettajat toteuttavat opetussuunni-telmaa virkavastuulla. Pedagoginen vapaus ei vapauta opetussuunnitelman normisidoksesta, mutta se antaa toki mahdollisuuksia suunnitella opetusta luovasti, tilannesidonnaisesti ja tarkoituksenmukaisesti. Keskeis-tä on harkita tarkkaan eri opetusmenetelmien sovel-tamista ja pohtia, kuinka ne vaikuttavat oppimisen metataitoihin ja sosiaalisten taitojen kehittymiseen.

Suomessa on kautta vuosikymmenten otettu käyttöön muualla kehitettyjä koulutusinnovaatioita. Siitäkin huolimatta, että maamme katsotaan olevan kovinkin innovatiivinen, opetusalalla on otettu käyttöön monia muun muassa Pohjois-Amerikassa alun perin syntynei-tä innovaatioita. Esimerkkejä on monia. Deweyn kas-vatusfilosofiasta peräisin olevat tekemällä oppimisen ja yhdessä oppimisen periaatteet, Gardnerin ajatukset

Page 42: Työkalu syväoppimisen vertaisauditointiin · PDF fileNPDL-auditointikäsikirja Työkalu syväoppimisen vertaisauditointiin Suomen NPDL-maaklusteri 2017 Peter Johnson & Hannu Laukkanen

42 NPDL FIN Audit Handbok

lahjakkuuden monialaisuudesta, Fullanin esittämät koulun muutosteoriat, arvioinnin ja vaikkapa vertais-valmennuksen ideat. (Sahlberg 2015, 219–223.)

NPDL:n saapuminen maahamme on saanut aikaan laajaa kiinnostusta niin kuin aikanaan tapahtui edellä kuvattujenkin koulutusinnovaatioiden kohdalla. Toi-saalta NPDL:n Suomen maaklusteri on hyvin organi-soitunut ja NPDL:n kansainvälinen verkostoituminen on hyvin ennalta suunniteltu. Kokonaisvaltaisena ja teoreettisesti pitkälle kehitettynä mallina NPDL edustaa uudenlaista lähestymistapaa verrattuna siihen mihin Suomessa on totuttu. Se ”sparraa” totuttuja ajattelutapoja koulun paikallisesta kehittämisestä, eikä valmiine koulutusohjelmapaketteineen anna paikalli-selle autonomialle liikkumatilaa. Oikeutuksen tämän koulutusinnovaation henkiselle omaksumiselle antaa selvästikin se, että perusopetuksen opetussuunnitel-man perusteiden laaja-alaisen osaamisen kokonaisuus on ajatusrakennelmana lähes sama kuin syväoppimi-sen kuusi ydintaitoa.

”Suomalaiset luottavat nykyisyyteen, vaikka se muut-tuu koko ajan” (HS 2.12.2016). Tuo havainto syntyi tut-kimuksessa, jossa selvitettiin suomalaisten näkemyksiä maamme puolustuspolitiikasta. Se sopii myös tähän pohdiskeluun. NPDL:n parhaiden puolien omaksu-minen osaksi suomalaista pedagogisen ajattelun valtavirtaa olisi juuri tämän takia tarpeellista − siitäkin huolimatta, että opettajan autonomian ja pedagogisen vapauden puolustamisen nimessä voidaan vaatia, ettei vapautta saa loukata. Vapaus yleensä – niin kuin peda-goginen vapauskin – on kuitenkin kaksisuuntainen. Se on vapautta jostakin, mutta myös vapautta johonkin. NPDL:n parhaiden periaatteiden omaksumisen ja si-säistämisen tueksi tarvitaan koherenssia ja sitä tukevaa auditointia, jotta voidaan autonomiasta huolimatta päästä parempiin tuloksiin.

Nyt kehitysvaiheessa oleva suomalainen NPDL:n audi-tointiprosessi (Johnson & Laukkanen 2017), joka nojaa meikäläisiin kehittävän arvioinnin periaatteisiin, saattaa olla kriittinen tekijä syväoppimisen uuden pedagogii-kan menestymisen ja onnistumisen kannalta maas-

samme. Näemme, että yhtenäisyyden eli koherenssin vahvistamiseksi tarvitaan sekä toimivien käytänteiden vahvistamista että uusien toimintatapojen kehittämis-tä. Kehittymisen ja kehittämisen varmistamiseksi ja vahvistamiseksi tarvitaan ohjaus- ja kehittämisjärjestel-mä, joka antaa luotettavan analyysin kunnan opetus-toimen ja koulujen tilanteesta. Auditoinnin keskeisten havaintojen pohjalta laaditaan kehittämissuosituksia jatkokehittelyä varten. NPDL:n auditointia on pilotoitu Suomessa vuosina 2016–2017 ensimmäistä kertaa. Auditointi ei sellaisenaan sisältynyt NPDL:n malliin tai koherenssin arviointityökaluihin (CAT). Ensikokemukset näyttävät tietä eteenpäin, ja suomalaisen kehittävän arvioinnin periaatteen mukaan tämä auditointiproses-sikin kasvaa ajan myötä täyteen mittaansa.

Suomessa on perusopetuksen kehittämisessä ja arvioinnissa käytetty jonkin verran vertaisauditointia. Maassa ei kuitenkaan ole koottua tietoa auditoinnin käytöstä tai sen laajuudesta. Koulutuksen arviointikes-kuksen (Karvi) koulutuksen järjestäjien itsearviointia ja laadunvarmistusta selvittävässä raportissa (Harjunen ym. 2017) kerrotaan yhdestä hyvästä käytänteestä, joka on ollut käytössä Kirkkonummen opetustoimessa vuodesta 2013 alkaen. Perusopetuksen laatukriteerien arviointiprosessia syvennettiin lisäämällä vuosittaiseen arviointiin syksyisin toteutettavat kouluauditoinnit. Vertaisauditoijina toimivat koulun apulaisrehtori ja yksi opettaja, jotka tutustuvat etukäteen heille toimitettuun etukäteismateriaaliin, haastattelevat valitsemiaan audi-toitavan koulun henkilöitä ja käyvät päivän päätteeksi koulun rehtorin ja myöhemmin opetustoimen johdon kanssa palautekeskustelun. Tulokset myös esitellään koulun henkilökunnalle. Raportin mukaan Kirkkonum-men vertaisarviointiin perustuva auditointikäytänne korostaa toisilta oppimista, voimaannuttamista ja vertaistoimintaa kunnan sisällä. Tässä arviointimallissa vertaisauditointi on osana systemaattista arviointipro-sessia (Harjunen ym. 2017, 82). Vertaisauditointia on käytetty muutamissa muissakin maamme peruskou-luissa viime vuosien aikana. Toivottavasti NPDL-audi-tointihanke edistää vertaisauditoinnin käyttöä yleen-säkin koulun kehittämisessä maassamme. Tervetuloa koherenssin kehittäjien joukkoon!

Page 43: Työkalu syväoppimisen vertaisauditointiin · PDF fileNPDL-auditointikäsikirja Työkalu syväoppimisen vertaisauditointiin Suomen NPDL-maaklusteri 2017 Peter Johnson & Hannu Laukkanen

Lähteet / Kirjallisuutta

Korpi, A. 2017. Arvioinnilla luottamusta. Perusopetuk-sen ja lukiokoulutuksen järjestäjien laadunhallinta- ja itsearviointikäytänteet. Kansallinen koulutuksen arviointikeskus. Julkaisut: 4/2017 [https://karvi.fi/app/uploads/2017/01/KARVI_0417.pdf] Luettu 2.2.2017.

Helsingin Sanomat. 2016. Suomi luottaa nykyiseen. Pääkirjoitus 2.12. 2016.

[http://www.hs.fi/paivanlehti/02122016/art-2000004890076.html] Luettu 3.12.2016.

Johnson, P., Johnson, E. & Laukkanen, H. 2017. Audi-tointi vahvistaa kehittämisen yhtenäisyyttä ja tavoit-teellisuutta. (NPDL-auditoinnin käsikirjassa).

McKinsey & Company. 2015. A Labor market that works: Connecting talent with opportunity in the digital age, McKinsey Global Institute.

Sahlberg, P. 2015. Suomalaisen koulun menestysta-rina. Ja mitä muut voivat siitä oppia. Helsinki: Into Kustannus Oy.

Sahlberg, P. & Hasak, J. 2016. Next Big Thing in Educa-tion: Small Data. Washington Post, 5.9.2016. [https://www.washingtonpost.com/news/answer-sheet/wp/2016/05/09/big-data-was-supposed-to-fix-edu-cation-it-didnt-its-time-for-small-data/?utm_ter-m=.76e6025466c0] Luettu 15.5.2017.

Sahlberg, P. 2017. Big Data or Small Data: What’s the key to unlocking learning opportunities? Education International. 5.5.2017. [http://ei-ie.org.ln.is/u2zV8] Luettu 15.5.2017.

Robinson, K. & Aronica, L. 2015. Creative Schools. Re-volutionizing Education from the Ground Up. Viking. New York: Penguin Publishing Group.

Anon. 2016. An Invitation to Learn. New Pedagogies for Deep Learning ™. A Global Partnership. [http://npdl.global/wp-content/uploads/2015/09/npdl-invi-tationtolearn-1.pdf] Luettu 29.5.2016.

Anon. 2014. Perusopetuksen opetussuunnitelman perusteet. Opetushallitus. [https://eperusteet.opinto-polku.fi/#/fi] Luettu 2.12.2016.

Brynjofsson, E. & McAfee, A. 2014. Second Machine Age. New York: Norton.

Callanan, L., Gardner, N., Mendonca, L. & Scott, D. 2014. What social-sector leaders need to succeed. In-sights & Publications. London: McKinsey & Company.

Ford, M. 2015. Rise of Robots. Technology and the threat of a jobless future. New York: Basic Books.

Fullan, M. & Quinn, J. 2016. Coherence. The Right Drivers in Action for Schools, Districts, and Systems. Thousand Oaks, CA: Corwin.

Fullan, M. 2013. Great to Excellent: Launching the Next Stage of Ontario’s Education Agenda.

[http://www.michaelfullan.ca/wp-content/up-loads/2013/09/13_Fullan_Great-to-Excellent.pdf] Luettu 12.12.2016

Hargreaves, A., Boyle, A. & Harris, A. 2014. Uplifting Leadership. How Organizations, Teams And Commu-nities Raise Performance. San Francisco, CA: Jos-sey-Bass.

Harjunen, E., Hietala, R., Lepola, L, Räisänen, A. &

Heikkinen, H.L.T., Rovio, E. & Syrjälä, L. (toim.) 2006. Toiminnasta tietoon. Toimintatutkimuksen menetel-mät ja lähestymistavat. Kansanvalistusseura. Vantaa: Dark Oy.

NPDL FIN AUDIT HANDBOOK 43

Page 44: Työkalu syväoppimisen vertaisauditointiin · PDF fileNPDL-auditointikäsikirja Työkalu syväoppimisen vertaisauditointiin Suomen NPDL-maaklusteri 2017 Peter Johnson & Hannu Laukkanen

44 NPDL FIN Audit Handbok