miltä näytöt näyttävät? luotettavuus ja luottamus ammatillisten perustutkintojen arvioinnissa,...

MITÄ NÄYTÖT NÄYTTÄVÄT? Luotettavuus ja luottamus

ammatillisten perustutkintojen näyttöperusteisessa arviointiprosessissa

Otavan opiston luento

Mikkeli 10.11.2011

Mari Räkköläinen

Opetusneuvos

Arviointi- ja tietotuotanto /opetushenkilöstön osaamisen kehittäminen

Esityksen sisältö

•Esityksen perustana olevan tutkimuksen lyhyt esittely•Arvioinnin käsitteistön tarkastelu•Arvioinnin jännitteet•Näyttöperusteinen arviointi•Arvioinnin laatuvaatimukset ja luotettavuuden kriteerit•Osallistava arviointi ja luottamus arvioinnissa•Tutkimuksen tuloksia ja niiden tarkastelua•Pohdintoja luotettavuudesta ja luottamuksesta arvioinnissa

Tutkimus luotettavuudesta ja luottamuksesta näyttöperusteisessa arvioinnissaTutkimuksen lähtökohdat

• Näyttöperusteisen arviointijärjestelmän käytännön kehittämistyö nosti esiin arviointitiedon ja koko uuden järjestelmän luotettavuuden (osuvuus, vertailtavuus ja käyttökelpoisuus) •Esiin nousi myös kysymys arvioijan ja arvioinnin kohteen välisestä suhteesta (Luottamus)•Luotettavuus ja luottamus tulevat myös arviointikirjallisuudessa ja arviointiteoreettisessa keskustelussa esiin tavalla tai toisella; ovat keskeisiä arvioinnin kysymyksiä eri arviointitraditioissa•Eri arviointinäkemyksissä otetaan aina kantaa arvioinnin luotettavuuskriteereihin ja arviointisuhteeseen (kontrolliin perustuva vs. vuorovaikutukseen perustuva)

TUTKIMUKSEN TARKOITUKSESTA

•TUOTTAA TIETOA ARVIOINNISTA NÄYTTÖPERUSTEISEN ARVIOINTIJÄRJESTELMÄN KEHITTÄMISESSÄ•LISÄTÄ TEOREETTISTA YMMÄRRYSTÄ NÄYTTÖPERUSTEISESTA AMMATTIOSAAMISEN ARVIOINNISTA, ARVIOINNIN JÄNNITTEISTÄ, ARVIOINNIN LUOTETTAVUUDESTA JA LUOTTAMUKSESTA ARVIOINTIPROSESSISSA•TUOTTAA TIETOA, JOLLA ON MERKITYSTÄ TEHTÄESSÄ KÄYTÄNNÖLLISIÄ PÄÄTELMIÄ NÄYTTÖPERUSTEISEN ARVIOINTIJÄRJESTELMÄN KEHITTÄMISESSÄ

TUTKIMUSKYSYMYKSET

1.Miten kontrolli ja luottamus ilmenevät näyttöperusteisessa ammatillisen osaamisen arvioinnissa?

2.Millaista arviointitietoa näyttöperusteinen ammatillisen osaamisen arviointi tuottaa eri konteksteissa, erityisesti opiskelijan arvioinnin, oppilaitosten arviointikäytäntöjen ja järjestelmätason arvioinnin kannalta?

3.Miten arviointitiedon luotettavuutta varmistetaan ja miten edistetään luottamusta uudessa näyttöperusteisessa ammatillisen osaamisen arviointijärjestelmässä?

ARVIOINNIN KÄSITTEISTÖÄ

•Reflektio, palaute, assessment, evaluation, apraisal•Arviointi – tutkimus - arviointitutkimus•Tilivelvollisuus •Intelligent accountability (”viisas tilivelvollisuus”)•Kontekstiperusteinen arviointi•Osallistava arviointi•Kehittävä arviointi•Vertaisarviointi (peer review)

Arviointinäkemys /arvioinnin lähestymistapa => käytän, kun tarkastelen erilaisia käsityksiä arvioinnista ja erilaisia tapoja toteuttaa arviointia•Miten tietoa saadaan, mitä on mahdollista tietää ja miten arviointitietoa voidaan käyttää•arviointitiedon luonne•arvioinnin tarkoitus ja tavoite•arvioijan – arvioinnin kohteen välinen suhde•tiedon tuottamisen tapa (arviointiasetelmat ja arviointimenetelmä)•Arvioinnin luotettavuuskriteeristö ja luotettavuuden varmistaminen•arviointitiedon käyttö Lähde: Räkköläinen 2011

ARVIOINNIN (evaluation)ERI TARKOITUKSET

Arviointi tilivelvollisuuden varmistamiseksi

(evaluation for accountability)

Arviointi toiminnan kehittämiseksi

(evaluation for development)

Arviointi tiedon lisäämiseksi

(evaluation for knowledge)

Ks. esim. Chelimsky 1997;Jakku-Sihvonen 1992; Saunders 2006; Stern 2004

ARVIOINNIN (ASSESSMENT) ERI TARKOITUKSET

• Opiskelijan arvioinnissa arviointitietoa voidaan tuottaa oppimisen edistämiseksi (assessment for learning) tai

• oppimisen saavutusten, oppimistulosten seuraamiseksi (assessment of learning)

• Arviointi voi olla formatiivista, oppimisprosesseihin liittyvää tai kokoavaa, oppimistulosten summatiivista arviointia

ARVIOINNIN ULOTTUVUUKSIEN JÄNNITTEET

FORMATIIVINEN – SUMMATIIVINEN

SISÄINEN – ULKOINEN

LUOTTAMUS – KONTROLLI

(Lähde: Räkköläinen 2011)

Kuvio 8. Arvioinnin ulottuvuuksien jännitteet

ARVIOINNIN JÄNNITTEET

SISÄINENYksityinen,henkilökohtain

en

ULKOINENJulkinen,yleinen

FORMATIIVINENSUMMATIIVINEN

LUOTTAMUSKONTROLLI

© Mari Räkköläinen

NÄYTTÖPERUSTEINEN OSAAMISEN ARVIOINTI (vrt. ammattiosaamisen näytöt )(vrt. ammattiosaamisen näytöt)• Osaamista arvioidaan työelämän toimintayhteyksissä

(kontekstiperusteinen arviointi)

• Suoritus tai esitys (performace-based) ”oikeassa elämässä” ja arvioinnin kriteerit johdettu todellisista (työ)elämän vaatimuksista

• Arvioidaan toteennäytettyä osaamista (demonstrated combetence)

• Huomio toimintaprosessiin, toimijoihin ja prosessin ”omistajiin” sekä tietojen ja taitojen soveltamiseen (autenttinen arviointi)

• Tavoitteena on arviointitiedon tuottamisen lisäksi tuottaa laadullisesti hyvä kokemus (huomio osaamista tuottaviin oppimisprosesseihin)

• Arviointi sinällään tuottaa oppimista ja osaamista (tuotos- ja prosessiarviointi)(vrt. combetence-based assessment, oucome-based assessment, achieved-based assessment)

(Virta 1999, Wolf 1996, Räkköläinen 2011)

KRITEERIPERUSTEINEN ARVIOINTI

• Osaamista arvioidaan suhteessa asetettuihin tavoitteisiin

• Kriteeri on peruste, johon nojautuen arvioiva johtopäätös tehdään

• Tavoitteet ja kriteerit on ennalta sovittu sekä selvästi ja avoimesti ilmaistu (arvioinnin läpinäkyvyys, oikeudenmukaisuus) (transparency)

• Antaa opiskelijalla mahdollisuuden suunnitella ja arvioida omaa oppimistaan sekä asettaa tavoitteita suoritukselleen (osallistava arviointi) (empowerment)

• Luo pohjan summatiiviselle arvioinnille (näyttötodistukset) ja vertailtavuudelle

(vrt. criterion-referenced / norm-referenced)

(Mukaillen Kolb 1984; Mezirow 1981; Pettigrew 1985, Poikela 2004, 2005; Nonaka & Takeuchi 1995, Crossan, Lanen & White; Räkköläinen 2000,2005, 2011; Wolf 1996; Ecclestone 1999, 2005)

REFLEKTIO ERI KONTEKSTEISSA• Reflektio pitää yllä oppimista toiminnan ja ajattelun

välillä• Reflektio on pienin yhteinen nimittäjä arvioinnin ja

oppimisen välillä, • Reflektio on perusta yhteis- ja itsearvioinnille, tietoiselle

tavoitteiden asettelulle ja kriittiselle (oppimis)tulosten arvioinnille

• Palaute (feedback), arviointi (assessment), evaluointi (evaluation) ja tutkimus (research) perustuvat reflektioon eri tasoilla, eri konteksteissa

• Reflektiivinen oppiminen edellyttää oppijan osallisuutta arvioinnin kaikissa vaiheissa

(Poikela 2004; Poikela & Räkköläinen 2006; Räkköläinen 2011)

Kuvio 10. Näyttöperusteinen arviointiprosessi

Reflektio/tieto

Palaute Arviointi Evaluointi

OsallisetYksilöt

Toimijat/kehittäjätYhteisö

Omistajat/päättäjät

Organisaatio

Näyttö Järjestelmä

Tutkimus/ tieto

Jännite


ARVIOINNIN LAATUVAATIMUKSET ja luotettavuuden kriteeritOSUVUUS / validiteetti

VERTAILTAVUUS / reliabiliteetti

”DEPENDABILITY”

LUOTETTAVUUS/ USKOTTAVUUS/ thrusthworthiness, credibility

TARKOITUKSENMUKAISUUS / relevanssi, hyöty, vaikutukset, vaikuttavuus

OSALLISUUS (aste)

MONITAHOISUUS

ARVIOINNIN MERKITYS JA SEURAAMUKSET

-> arvioinnin oikeudenmukaisuus(Räkköläinen 2011)

”DEPENDABILITY” (it depends…)-Reliabiliteettia ja validiteettia ei tulisi erottaa liian jyrkästi toisistaan-Vähemmän tieteellinen käsite ja antaa enemmän vapauksia arviointiasetelmissa -Joissakin konteksteissa arvioinnin osuvuus (validiteetti) on tärkeämpää kuin vertailtavuus (reliabiliteetti)-Toisissa konteksteissa vertailtavuuden ja yleistettävyyden painottaminen on tarkoituksenmukaisempaa kuin validiteetin painottaminen-”fitness for purpose”

(Stobart 2008)

Luottamus arvioinnissa

Intelligent accountability (”viisas tilivelvollisuus”)

Osallistava arviointi

Voimaannuttava arviointi

Kehittävä arviointi

Osa

llist

um

isen

ast

eArvioinnin toteuttaminen

Toimeenpano (esittäminen ja tulosten levittäminen)

Käsittely (johtopäätösten esittäminen ja levittäminen)

Tiedonkeruu ja analysointi (arvioinnin toteuttaminen)

Suunnittelu (arviointikysymyksen ja menetelmien muotoilu)

Uudistusten toimeenpano

Keskustelu (tulosten tulkinta)

Aloite (ongelman määrittäminen, arvioinnin ”tilaaminen”)-

+

Kuvio 1. Osallistumisen aste arviointiprosessissa (mukaillen Bitel 2006; Fetterman 2001; Patton 1997; Rossi, Lipsey & Freeman 2004; Stern 2005, 2006 ja Saunders 2006a ja b)


Ei osallistumista, vain

konsultaatiota

Kohtuullinen osallistuminen

Laajaosallistuminen

Osallistava arviointi

Voimaannuttava arviointi

evaluation

Objektiivinen, puolueeton

arviointi

Sidosryhmään pohjautuva

arviointi

Osallistumisen syvyys

Sidosryhmänohjaama/ kontrolloima

Tasapaino Arvioijanohjaama/ kontrolloima

Arviointiaohjaava

taho


INTELLIGENT ACCOUNTABILITY

• Tulosvastuu ylläpitää ja vahvistaa luottamusta eri osapuolten välillä

• Arviointiprosessissa koetaan voimakasta osallisuutta, ammatillista vastuuta ja vaikutusvaltaa

• Arviointitieto tuotetaan reflektion ja itsesääntelyn avulla

• Tilivelvollisuusvaateet kannustavat syvälliseen tarkasteluun ja pitkäjänteiseen työhön

• Palaute on olennainen osa arviointia(O´NEIL 2002; Crooks 2002, 2003)

Tutkimuksen tuloksia

Tutkimuksen tuloksia: Mitä näytöt näyttävät?

• Näytöillä useita erilaisia tehtäviä• Näytöillä myönteisiä vaikutuksia • Kontrolli ja sääntely lisääntyivät• Näyttöihin luotetaan, mutta niiden

vertailukelpoisuutta epäillään• Osallisuus arvioinnissa edistää luottamusta

(Räkköläinen 2011)

Opettaja

”Näyttöpaikka, tilanne, ajankohta, tehtävät yms. ovat olleet koko opiskelijaryhmälle samat.” (opettaja)

”Kysymyksessä oli ryhmänäyttö, tehtävät olivat toisiaan vastaavia.” (opettaja)

Opettaja

”Samasta opintokokonaisuudesta toisilla on suppeampi ja toisilla laajempi tehtävä.” (opettaja)

”Työelämän kokemus kriteerien käytöstä ja ohjaajan oma osaaminen vaikuttaa siihen, miten ohjaa ja arvioi. Toiset ohjaajat voivat olla vähemmän vaativia kuin toiset johtuen tästä.” (opettaja)

Työelämän edustaja

”Näyttöpaikka tarjosi tarvittavat puitteet vaadittaviin kriteereihin ja tavoitteiden toteutukseen.” (työelämän edustaja)

”Kun kriteerit ovat samat niin mielestäni voi hyvin verrata.” (työelämän edustaja)

Työelämän edustaja

”Mielestäni eri näyttötöitä ei voi oikein verrata, koska jokainen näyttötyö on kuitenkin aina oma ”juttunsa”. (työelämän edustaja)

”Jokaisella omat tavoitteet, ovat omia yksilöitä – ei voi verrata keskenään opiskelijoita.” (työelämän edustaja)

Opiskelija

”Samantyyppistä työtä teki kaikki, joten arvosanoja voi vertailla, muttei kuitenkaan täysin, koska erilaisia työtehtäviäkin oli.” (opiskelija)

”Voidaan verrata, koska kaikilla oli samankaltainen työssäoppimispaikka ja tilanne.” (opiskelija)

Opiskelija

”Joillakin muilla oppilailla oli paljon vaativampi työssäoppimispaikka, kun taas minulla oli ns. helppo, missä ei edes ollut vuodepotilaita.” (opiskelija)

”Ei sitä verrata muihin kuin omiin arvosanoihin. Ihmiset ovat erilaisia ja tekevät asiat erilailla.” (opiskelija)

Taulukko 4. Näyttöperusteisen arvioinnin vahvuudet ja ongelmakohdat arvioinnin luotettavuuden kannalta

Vahvuuksia Ongelmakohtia– Näytöt lisäävät arvioinnin osuvuutta,

merkitystä ja autenttisuutta opiskelijan arvioinnissa (luotettavuus, aitous)

– Näytöissä on mahdollista arvioida laaja-alaista ammatillista osaamista

– Näytöt kehittävät opiskelijan arviointia ja mahdollistavat ammatillisen osaamisen yhteisarvioinnin

– Näytöt lisäävät oppilaitosten ja työpaikkojen paikallista yhteistyötä

– Näyttöperusteinen arviointi koetaan hyödylliseksi ja motivoivaksi paikallisella tasolla

– Näytöt eivät suoraan tuota vertailukelpoista tietoa kansallisella tasolla

– Näytöt on suunniteltu ennen kaikkea lisäämään arvioinnin osuvuutta eikä yhdenmukaisuutta

– Yhdenmukaistamisen vaarana on näyttöjen kaventuminen, arvioinnin osuvuuden ja autenttisuuden väheneminen

– Näyttöjen organisointi ja arviointikäytännöt sekä arvioitava osaaminen vaihtelevat paljon

– Näyttöperusteisen arvioinnin tarkoitus ja käyttö kansallisella tasolla on vielä epäselvä


Näyttöjen eri tarkoitukset (funktio)

• Näyttöjä käytetään eri tarkoituksessa. Osana opiskelijan arviointia ne ovat formatiivista, kehittävää arviointia ja edistävät oppimista. Arviointi ei ole julkista, vaan liittyy opetuksen ja oppimisen sisäisiin prosesseihin.

• Osana kansallista arviointia näytöt ovat summatiivista arviointia, samoin arvosanojen antaminen ja niiden kirjaaminen näyttötodistukseen. Tällöin arviointi on julkista ja vertailtavaa.

Kuvio 18. Arvioinnin ulottuvuudet näyttöperusteisessa arviointiprosessissa

Data

KONTROLLILUOTTAMUS

Saavutukset, oppimistulokset Näytöt

Testit, kokeetPortfolio, näytöt Feedback

FORMATIIVINEN SUMMATIIVINEN

Diagnostinenarviointi

Formatiivinenarviointi

Summatiivinenarviointi

Opettaminen, oppiminen

Sisäiset arvioitsijat

Formatiivista jasummatiivista evaluointia

Ulkoiset arvioitsijat

Data

SISÄINEN ULKOINENARVIOINNIN ULOTTUVUUDET


Näyttöperusteisen arvioinnin luotettavuutta ja luottamusta arviointiin lisäävät:• opettajan ja työelämän edustajan yhteisarviointi • ja opiskelijan osallistuminen arviointikeskusteluun• näyttöjen toteuttamine työpaikoilla• kriteeriperusteinen arviointi• palautteen saaminen ja kokemus sen

hyödyllisyydestä• osallisuus näyttötoiminnan laadunvarmennuksen

toteuttamisessa (kuten vertaisarviointi).

JOHTOPÄÄTÖKSIÄ:

•Kontrollin ja luottamuksen lisääminen tiettyyn pisteeseen vaikuttaa myönteisesti luottamukseen. Kontrolli ja sääntelyn keskeneräisyys tai epämääräisyys tai liiallinen joustavuus heikentävät luottamusta•Kontrollin ja luottamuksen välinen jännite on yhteydessä arvioinnin tarkoitukseen ja tehtävään Kontekstilla on erityinen merkitys arvioinnin funktioihin•Luotettavuus ja luottamuksen ilmeneminen ovat myönteisellä tavalla yhteydessä toisiinsa•Samat asiat, jotka lisäävät luotettavuutta, ovat yhteydessä myös luottamukseen

JOHTOPÄÄTÖKSIÄ•Luottamusta näyttöperusteiseen arviointiin voidaan lisätä arvioijien koulutuksella, selkiyttämällä kriteeriperusteista arviointia ja tuottamalla kansallisessa arvioinnissa enemmän vertailutietoa ja taustatietoa oppimistulosten tulkinnan tueksi

•Osallistavat laadunvarmennuksen menetelmät, kuten vertaisarviointi, vahvistavat luottamusta (erityisesti opettajat)

•Luottamusta lisää ennen kaikkea kansallisen oppimistulosten arvioinnin funktion/ tarkoituksen kirkastaminen ja siitä sopiminen.

•Dependability, reliabiliteettiriskit

•Ulkoisen ja sisäisen arvioinnin yhdistäminen (vertaisarviointi)

JOHTOPÄÄTÖKSIÄ

- Luottamus on yhteydessä arvioinnin seuraamuksiin- Myönteiset seuraamukset synnyttävät luottamusta- Luottamus on yhteydessä siihen, miten hyödylliseksi

ja käyttökelpoiseksi arviointi ja saatu palaute koetaan

- Autenttisuus on luotettavuuden kannalta merkittävintä

- Osallisuus arvioinnissa vahvistaa luottamusta- Yhteisarviointi herättää voimakkaimmin luottamusta.

Yhteisarvioinnissa arviointivastuu jaetaan, mikä puolestaan edistää osallisuutta

KOHTI KEHITTÄVÄÄ ARVIOINTIA

- Arviointi johtaa kehittämiseen-Pitkän tähtäimen tavoitteiden seuranta, pitkäjänteisyys ja syvällinen tarkastelu - Arvioinnin kohteen osallisuus arviointiprosessissa, dialogi ja neuvottelu- Kokemus ammatillisesta vastuusta ja vaikutusmahdollisuuksista- Kriteeriperusteisuus (ennalta asetetut ja osapuolten tiedossa)- Arviointiin liittyy aina palaute (vertailu, kriteerit)- Pohjautuu luottamukselle sekä ylläpitää ja edistää luottamusta- Osallisuuden ehtona on tietoisuus arvioinnin tarkoituksesta ja arviointikysymyksistä

Lähteitä: Crooks 2002; Fetterman 2001; O´Neil 2002; Räkköläinen 2011

YHTEENVETOA

- Tilivelvollisuus sinällään ei ole uhka luottamukselle, vaan pikemminkin voi olla luottamusta edistävää- Liiallinen läpinäkyvyyden vaatimus on uhka luottamukselle- Pelkkä joustavuus ei vielä tee arvioinnista kehittävää eikä hyödyllistä arvioinnin kohteelle-Julkistamisella voi olla joko myönteisiä tai kielteisiä vaikutuksia arvioijan ja arvioinnin kohteen väliseen luottamukseen, vaikutukset riippuvat kontekstista

Arviointi ei koskaan ole täysin oikeudenmukaista, mutta siitä voi aina tehdä oikeudenmukaisempaa…

Kuvio 20. Arvioinnin, laadun ja kehittämisen yhteys

LAATU & ARVIOINTI & KEHITTÄMINEN

Laadunhallinta

Laadunohjaus

LaadunvarmistusQA

LaatukontrolliQC

Palaute

Laadun parantaminen

Kehittäminen

ResurssitTavoitteetNormitTieto

Arviointi


Kuvio 19. Ehdotus näyttöperusteiseksi arviointijärjestelmäksi (Räkköläinen 2005a, 53)

KOULUTUKSEN JÄRJESTÄJÄN /OPPILAITOKSEN PALAUTE•Oppilaitoksen oma tulos•Kansallinen vertailutieto•Laadunvarmennuksen tulokset•Taustatekijät ja -muuttujat

• opiskelija, opettaja, oppilaitos• näyttöprosessi• toimintaympäristö

KANSALLINEN TULOS•Koonti•Analyysi•Palaute•Seuranta

Parhaatkäytännöt

Kehittämis-toiminnot

Tietoverkko(OPH)(Koulutuksen järjestäjä ym.)

Oppilaitos

Data

Palaute

SYVÄANALYYSI•Teemat•Poikkeamat•KehittämiskohteetArviointitutkimus

Näytöt

Data

Data


miltä näytöt näyttävät? luotettavuus ja luottamus ammatillisten perustutkintojen arvioinnissa,...

Documents