juurakko-paavola: yo-kielikokeiden tulokset verrattuna lopsiin

ylioppilastutkinto.fi digabi.fi

Mitä ylioppilastutkinto kertoo

lukiolaisten kielitaidon tasosta

- ylioppilastutkinnon

kielikokeiden tulokset

verrattuna LOPSiin

Taina Juurakko-Paavola & Sauli Takala

30.11.2013

Taustaa ja tavoitteet

Tuloksia

Johtopäätöksiä

Esityksen rakenne

● OKM:n erillisrahoitus v. 2012

● Jatkona Kielivaliokunnan tekemälle määrätietoiselle kehittämis- ja

laadunvarmistustyölle

● Tavoitteet

1) laadunvarmistus: varmistaa että kielikokeet vastaavat Lukion

OPSissa kullekin oppimäärälle esitettyjä tavoitetaitotasokuvauksia

2) yo-arvosanojen kansainvälisen vertailtavuuden edistäminen:

tulosten vertaaminen Eurooppalaisen viitekehyksen

taitotasokuvauksiin (=EVK, CEFR)

3) taustatiedon antaminen lukion ops-työhön

Taustaa ja tavoitteet

Taitotasojen määrittämisen taustamateriaalit

● Eurooppalainen viitekehys (=EVK 2003, Common European

Framework of Reference for Languages=CEFR 2001)

● Lukion opetussuunnitelman perusteiden taitotasokuvaukset

(2003)

● Manual for Relating Language examinations to the CEFR

(2009) (Council of Europe)

Taustaa

A B

C

A1 A2

B1

B2

C1

C2

Alle A1

EVK-asteikolla

voidaan tehdä monia

tasoerotteluja

A1.1

A1.2

A2.2

A2.1

B1.1

B1.2

B2.1

B2.2

C1.1

C1.2

C2.1

C2.2

Lukion oppimäärät ja tavoitetasot

Taitotasojen asettaminen (1)

● Lähtöoletus on, että kokeen/tutkinnon tulee olla korkealaatuinen: reliaabeli

ja validi. Tämä lähtökriteeri ei aiheuta ongelmia.

● Yhdistetään asiantuntijoiden arviot tehtävien edellyttämästä taitotasosta

empiiriseen tietoon niiden vaikeustasosta/taitotasosta.

● Asiantuntijoiden on tunnettava eurooppalaiseen viitekehyksen ja

opetussuunnitelman taitotasomääritelmät ja osattava tulkita tasoja riittävän

tarkasti.

● Varmistetaan, että asiantuntijoiden kyky arvioida tehtävät on hyvä, jotta

saadaan näyttöä, kuinka hyvin taitotasojen asettamisen keskeinen edellytys

täytetään.

Taitotasojen asettaminen (2)

● Käytetään lukuisista mahdollisista metodeista sellaista, joka soveltuu hyvin aineistoon ja josta on hyviä kokemuksia aikaisemmista hankkeista (pitkä englanti v. 2001 ja keskipitkä ruotsi v. 2004).

● Analysoidaan aineisto tilastollisesti ja määritellään taitotasorajat.

● Tarkistetaan, kuinka kokeen tehtävät (osiot ja kirjoitussuoritukset) sijoittuvat taitotasoille.

● Tarkastellaan tämän perusteella, miten kokeet vastaavat opetussuunnitelmassa asetettuja tavoitetasoja (kokeiden vaikeustason sopivuus).

● Tarkastellaan ylioppilaskokeen pisterajoja suhteessa taitotasorajoihin.

● Pohditaan mahdollisia jatkotoimenpiteitä.

Taitotasojen asettamisen vaihe 1a

Kielivaliokunnan ja sensoreiden tekemää työtä

1 a) Perehtyminen viitekehyksen taitotasoihin:

● Etukäteistehtävänä tutustua tiettyihin taitotasokuvauksiin

● Kuvausten läpikäyminen yksi kuvaus kerrallaan

● Oikeiden taitotasojen näyttäminen

● Keskustelu tuloksista

Tulokset osoittavat, että arvioijat olivat perehtyneet hyvin

taitotasoihin

Arvioija Kuullun

ymmärtä-

minen

Luetun

ymmärtä-

minen

Kirjoitta-

minen

Kielioppi Sanasto

.980 .983 .970 .960 .983

.964 .983 .979 .976 1.00

.929 .923 .965 .942 .940

.864 .912 .990 .960 .973

.922 .869 .957 .899 .969

.941 .895 .905 .946 .909

.936 .941 .974 1.00 .982

.944 .842 .990 1.00 .812

.957 .852 .928 .875 .983

Englanti: Sensoreiden kuvainten arvioinnnit verrattuna viitekehyksen tasoihin; korrelaatio (samansuuntaisuus; tarkka vastavuus alhaisempi mutta varsin hyvä; +/1 yksi taso)

Osataito Täysi yksimielisyys Taitotasojen

vaihteluväli

Yhden tason

poikkeaminen +/-

Kuullun ymmärtä-

minen (12

väittämää)

60, 58, 85, 43,

88, 80, 70, 58,

70, 53, 60

2-4

100, 93, 98, 100, 98,

100, 98, 100, 98, 95,

93, 100,100

Luetun

ymmärtäminen (12

väittämää)

81, 67, 70, 91,

37, 51, 67, 58,

58, 58, 49, 28

2-4

81, 95, 91, 88, 88, 97,

88, 81, 77, 91, 100

Kirjoittaminen (10

väittämää) 53, 46, 51, 53,

63, 63, 88, 59,

80, 78

2- 5 78, 93, 98, 90, 90, 90,

100, 95, 95, 100

Kielioppi (10

väittämää) 52, 73, 73, 64,

93, 73, 25, 64,

75, 68

2-3 89, 86, 100, 100,

100, 100, 100, 100,

100, 100

Sanasto (10

väittämää) 93, 75, 34, 70,

91, 48, 84, 95,

73, 93

2-4 100, 100, 93, 100,

98, 91, 98, 100, 91,

100

Deskriptoreiden arviointien tarkkuus ( %)

Taitotasojen asettamisen vaihe 1b

Kielivaliokunnan ja sensoreiden tekemää työtä

1b) Tekstien ja tehtävien/Kirjoitussuoritusten arviointi

viitekehysten taitotasokuvausten avulla

● Jokainen teksti ja tehtävä/osio arvioitiin erikseen

● Kirjoitussuoritukset suoraan viitekehyksen taitotasokuvausten avulla ja

YTL-pisteasteikolla

Taitotasojen asettamisen vaihe 2

Taitotasojen asettamiseen perehtyneiden asiantuntijoiden ja

aktuaarin tekemä työ

● Vaiheessa 1 tuotetun datan syöttäminen

● Valmiina olevan datan hyödyntäminen (esim. osioiden

ratkaisuprosentit)

● Tilastolliset ajot ja testit

Koodi

Osio

-

tyyp

pi

Ma

x

pist

.

Pai-

no

Ratk

. %

Arv_

k-arvo

Arv_

media

ani

Arv_

moodi

Keski-

virhe Viitek.

taso

Ops

_tas

ot

KY1 MV 1 1 54,7 9,96 7 7 0,16

B2/C1 B2.2

KY2 MV 1 1 89,8 5,45 5 5 0,14

A2/B1 A2.2

KY3 MV 1 1 81,6 8,92 7 7 0,18

B1 B1.1

KY4 MV 1 1 62,6 8,60 7 7 0,14

B2 B2.1

KY5 MV 1 1 59,5 8,44 7 7 0,19

B2/C1 B2.2

Osiotasoiset tulokset – englanti (ote, esimerkki tulostuksesta)

Pitkä englanti: Osioiden koodi, koetyyppi, maksimipistemäärä, painokerroin, rat-

kaisuprosentti, taitotasoarviointien keskiarvo/mediaani/moodi, keskiarvon keskivirhe

sekä eurooppalaisen viitekehyksen ja opetussuunnitelman mukainen taitotaso.


Tuloksia

● Mikä on Ylioppilastutkinnon kielikokeiden vaikeustaso

verrattuna LOPSin taitotasoihin?

Tutkimuskysymys 1.

Keskipitkä suomi

Keskipitkä ruotsi

Pitkä englanti

Lyhyt ranska

Lyhyt saksa

Kokeiden vaikeustaso vs. Lukion opetussuunnitelman

perusteiden tavoitetaso

Suhteellisesti helpoin Suhteellisesti vaikein

Taulukko 14. Pitkän englannin kokeen

osioiden jakautuminen taitotasoille

Osataito Osiot Alle

A2.2

A2.2 B1.1 B1.2 B2.1 B2.2 Yli

B2.2

Kuullun

ymmärtä-

minen/30 osiota

n 4 7 8 7 4

% 13,3 23,3 26,7 23,3 13,3

Luetun

ymmärtäminen/

30 osiota

n 2 4 8 5 9 2

% 6,7 13,3 26,7 16,7 30,0 6,7

Sanasto ja

rakenteet/

40 osiota

n 6 12 8 4 2 8

% 15,0 30,0 20,0 10,0 5,0 20,0

Osioita/100 n 2 14 27 21 20 8 8

% osioista % 2,0 14,0 27,0 21,0 20,0 8,0 8,0

Taulukko 15. Keskipitkän ruotsin kokeen


Osataito Osiot Alle

A2.2

A2.2 B1.1 B1.2 Yli

B1.2

Kuullun

ymmärtäminen

/

30 osiota

n 3 16 7 3 1

% 10,0 53,3 23,3 10,0 3,3

Luetun

ymmärtäminen

/

30 osiota

n 7 11 9 1 2

% 23,3 36,7 30,0 3,3 6,7

Sanasto ja

rakenteet/

30 osiota

n 4 14 8 4

% 13,3 46,7 26,7 13,3

Osioita/90 n 14 41 24 8 3

% osioista % 15,6 45,6 26,7 8,9 3,3

Taulukko 16. Keskipitkän suomen kokeen


Osataito Osio

t

Alle

A2.

2

A2.2 B1.1 B1.2 Yli

B1.2

Kuullun

ymmärtämine

n/

25 osiota

n 8 11 5 1

% 32,0 44,0 20,0 4,0

Luetun

ymmärtämine

n/

30 osiota

n 6 17 6 1

% 20,0 56,7 20,0 3,3

Sanasto ja

rakenteet/

25 osiota

n 3 13 6 3

% 12,0 52,0 24,0 12,0

Osioita/80 n 17 41 17 2 3

% osioista % 21,3 51,3 21,3 2,5 3,8

Taulukko 17. Lyhyen ranskan kokeen


Osataito Osiot Alle

A2.1

A2.1 A2.2 B1.1 Yli

B1.1

Kuullun

ymmärtämine

n/

30 osiota

n 8 8 7 5 2

% 26,7 26,7 23,3 16,7 6,7

Luetun

ymmärtämine

n/

30 osiota

n 9 7 8 6

% 30,0 23,3 26,7 20,0

Sanasto ja

rakenteet/

30 osiota

n 4 12 8 3 3

% 13,3 40,0 26,7 10,0 10,0

Osioita/90 n 21 27 23 14 5

% osioista % 23,3 30,0 25,6 15,6 5,6

Taulukko 18. Lyhyen saksan kokeen


Osataito Osio

t

Alle

A2.1

A2.1 A2.2 B1.1 Yli

B1.1

Kuullun

ymmärtäminen/

30 osiota

n 7 9 5 9

% 23,3 30,0 16,7 30,0

Luetun

ymmärtäminen/

30 osiota

n 11 6 10 2 1

% 36,7 20,0 33,3 6,7 3,3

Sanasto ja

rakenteet/

26 osiota

n 4 9 10 3

% 15,4 34,6 38,5 11,5

Osioita/86 n 18 19 24 21 4

% osioista % 20,9 22,1 27,9 24,4 4,7

● Mitkä ovat Ylioppilastutkinnon kielikokeissa

saavutetut taitotasot?

Tutkimuskysymys 2.

Kuvio 2. Kokelaiden jakaumat kielittäin eri

taitotasoille keväällä 2012

0

10

20

30

40

50

60

70

80

Alle A2.1 A2.1 A2.2 B1.1 B1.2 B2.1 B2.2 Yli B2.2

Pitkä englanti

Keskipitkä ruotsi

Keskipitkä suomi

Lyhyt ranska

Lyhyt saksa

Kuvio 3. Prosentuaaliset taitotasojakaumat keskipitkässä

ruotsissa ja keskipitkässä suomessa

0

10

20

30

40

50

60

70

80

Alle A2.2 A2.2 B1.1 Yli B1.1

3

65,5

28,8

2,8 4,3

70,2

23,3

2,4

Keskipitkä ruotsi Keskipitkä suomi

Taulukko 22. Eri oppimäärien kirjoittajien osuudet lyhyessä

ranskassa ja lyhyessä saksassa keväällä 2012

Oppim

äärä

Lyhyt ranska Lyhyt saksa

n % n %

A 118 9,9 293 16,9

B1 16 1,3 13 0,8

B2 507 42,4 757 43,8

B3 442 37,0 548 31,7

Ei

tietoa

113 9,4 119 6,9

Yht. 1196 100,0 1730 100,0

Kuvio 4. Prosentuaaliset taitotasojakaumat lyhyessä ranskassa ja

lyhyessä saksassa

0

10

20

30

40

50

60

Alle A2.1 A2.1 A2.2 B1.1 Yli B1.1

0,9

13

52,5

29,8

3,7 1

9,5

52,6

34,4

2,5

Lyhyt ranska Lyhyt saksa

● Mikä on Ylioppilastutkinnon kielikokeiden

arvosanojen ja opetussuunnitelman perusteiden

taitotasojen vastaavuus?

Tutkimuskysymys 3.

Eri kielten yo-arvosanojen ja Lukion opetussuunnitelman

perusteiden (2003) taitotasojen vastaavuus

Kieli Tavoitetaso Arvosana

Keskipitkä suomi B1.1/B1.2 Eximia cum laude

Keskipitkä ruotsi B1.1/B1.2 Magna cum laude

Pitkä englanti B2.1 Cum laude

Lyhyt ranska A2.1/A2.2 Approbatur/

Lubenter

Lyhyt saksa A2.1/A2.2 Approbatur/

Lubenter

Taulukko 29. Eri kielten yo-arvosanojen ja Lukion opetussuunnitelman perusteiden (2003) taitotasojen

vastaavuus kevään 2012 tutkinnossa vertailussa tietyn arvosanan laskennalliseen tavoitetasoon (LOPS-

tavoitetaso varjostettu)

Kieli Approba

tur

Lubenter Cum laude Magna Eximia Laudatur

Pitkä

englanti

K-2012 Matala

B1.2

Vahva B1.2 Matala B2.1 Vahva

B2.1

Vahva 2.1/

Matala B2.2

Vahva B2.2/Yli

B2.2

Lask. Vahva B1.1

B1.2 Matala B2.1 Vahva

B2.1

Matala B2.2 Vahva B2.2

Keskipit

kä

ruotsi

K-2012 Matala

A2.2

Keskitasoinen

A2.2

Vahva A2.2 Matala

B1.1

Keskitasoi-

nen B1.1

Vahva B1.1/

B1.2

Lask. Matala

A2.2

Keskitasoinen

A2.2

Vahva A2.2 Matala

B1.1

Vahva B1.1 B1.2

Keskipit

kä

suomi

K-2012 Matala

A2.2

Keskitasoi-nen

A2.2

Keskitasoine

n A2.2

Vahva

A2.2

Matala B1.1 Vahva B1.1/

B1.2

Lask. Matala

A2.2

Keskitasoinen

A2.2

Vahva A2.2 Matala

B1.1

Vahva B1.1 B1.2/Vahva

B1.1

Taulukko 29. Eri kielten yo-arvosanojen ja Lukion opetussuunnitelman perusteiden (2003) taitotasojen

vastaavuus kevään 2012 tutkinnossa vertailussa tietyn arvosanan laskennalliseen tavoitetasoon (LOPS-

tavoitetaso varjostettu)

Kieli Approbatu

r

Lubenter Cum laude Magna Eximia Laudatu

r

Lyhyt

ranska

K-2012 Keskitasoi

nen A2.1

Vahva

A2.1/Matala

A2.2

Keskitasoine

n/Vahva A2.2

Vahva A2.2/

Matala B1.1

Keskitasoi-

nen/

Vahva B1.1

Vahva

B1.1/

B1.2

Lask. Matala A2.1 Vahva A2.1 Matala A2.2 Vahva A2.2 Matala B1.1 Vahva

B1.1

Lyhyt

saksa

K-2012 Vahva A2.1 Matala A2.2 Vahva A2.2 Vahva A2.2/

Matala B1.1

Vahva B1.1 Vahva

B1.1/

B1.2

Lask. Matala A2.1 Vahva A2.1 Matala A2.2 Vahva A2.2 Matala B1.1 Vahva

B1.1

Kuvio 5. Yo-arvosanojen ja taitotasoarvosanojen

jakaumat pitkässä englannissa

0

5

10

15

20

25

30

35

i a b c m e l

Yo-arvosana Taitotasoarvosana

Kuvio 6. Yo-arvosanojen ja taitotasoarvosanojen jakaumat

keskipitkässä ruotsissa

0

5

10

15

20

25

30

i a b c m e l



keskipitkässä suomessa

0

5

10

15

20

25

30

i a b c m e l

yo-arvosana taitotaso


lyhyessä ranskassa

0

5

10

15

20

25

30

i a b c m e l



lyhyessä saksassa

0

5

10

15

20

25

30

35

40

i a b c m e l



Johtopäätöksiä

1) Arvostelun kehittäminen:

- suhteellinen arvostelu ei toimi kielikokeissa ja eri kielten arvosanat eivät vertailukelpoisia keskenään: lyhyissä kielissä vaatimustaso hyvään arvosanaan kohtuuton verrattuna lukion tavoitetasoon

- taitotasoperustainen arviointi yo-arvosanan rinnalle, arvosanamerkintä esim. tyyliin:

● Englanti (pitkä oppimäärä), laudatur (B2)

2) Kokeiden vaikeustason laadunvarmistus: sähköistämisen myötä siirtyminen osiopankkipohjaiseen testaukseen, myöhemmin adaptiiviseen testaukseen

3) Opetussuunnitelmatyö ja opetuksen kehittäminen:

erityisesti Lukion opetussuunnitelmien perusteiden mahdolliset tarkistustarpeet tavoitetasojen osalta ja opetuksen kehittäminen

Kehittämistarpeita

Jo sovittu

• Uuden laskentamallin käyttö arvosanoja jaettaessa keväästä 2014 alkaen (kaikissa aineissa)

• Pitkässä englannissa ja keskipitkässä ruotsissa taitotasoarvio yo-arvosanan lisäksi mahdollisesti keväästä 2014 alkaen

Myöhemmin

• Kokonaisvaltaisen kielikokeiden kehittämissuunnitelman laatiminen

• Nyt tutkimuksen ulkopuolelle jääneiden oppimäärien vertaaminen

• Tutkimus- ja kehittämistyötä yhdessä tutkijoiden ja opettajien kanssa

• Suullisen kielitaidon osakoe viimeistään 2019

Kehittämistyön seuraavat askeleet

Lisätietoja

Tutkijayliopettaja Taina Juurakko-Paavola, sposti taina.juurakko-

[email protected]

Professori (emer.) Sauli Takala, sposti [email protected]

juurakko-paavola: yo-kielikokeiden tulokset verrattuna lopsiin

Education