utvikling av nye spørsmål til studiebarometeret: …...•steg 1: idemyldring •steg 2:...
TRANSCRIPT
Utvikling av nye spørsmål til Studiebarometeret:
Kvalitativ og kvantitativ testing
Kristoffer F. Øygarden, Førstekonsulent Avdeling for Evaluering og Analyse
Dagens presentasjon
• Overordna: korleis jobbar NOKUT med testing og utvikling av spørsmål?
• Kva fører til at vi endrar / legg til spørsmål?
• Prosess• Kvalitativ testing: valideringsintervju med studentar
• Kvantitativ testing: surveyundersøking
• Eksempel• Utvikling av spørsmål om praksis til SB2019
• Testing av ulike skalaar
Kva fører til at vi endrar / legg til spørsmål?
• Referansegruppe
• Tematiske satsingar / tidsaktuelle tema (dynamisk del i skjemaet)
• Tilbakemeldingar frå sektoren
• Interne evalueringar av spørsmål / tema
Referansegruppa
• Medlemmar: representantar frå institusjonane og andre relevante aktørar (KD,
NSO, Rådgiverforum, NIFU, SPS, NHO, SSB, UHR, etc.)
• Viktig kjelde til innspel til utvikling av Studiebarometeret
• To møter i året• Rundt lansering (januar, februar)
• Før sommarferien (mai, juni)
Kvalitetiv testing: fokusgruppeintervju
• Fokusgruppeintervjuer – som regel i april/mai
• Rekrutterer på institusjonane gjennom Studiebarometers kontaktpersonar
• Studentar frå ulike studieprogram og fagfelt – avhengig av målgruppe
Kvanititativ testing: spørreundersøking
• Spørjeskjema
• Respondentar som har sagt seg villige til å delta I framtidige undersøkingar i
førre Studiebarometer• N=11 000 i 2018
• Testar ofte ulike variantar av spørsmål på to eller fleire randomiserte grupper
• Analyse av resultat• Sjå på og samanlikne svarfordelingar
• Sjekke andel “veit ikkje”
• Kvantitative analyser – faktoranalyse, korrelasjonar, etc.
• Lese fritekstfelt
Eksempel 1: spørsmål om praksis og arbeidsliv 2019
Eksempel 1: spørsmål om praksis 2019
• Praksisbatteri i SB sidan 2014 (stort sett uendra)
• Praksis fordjupningstema for årets Studiebarometer• Komande stortingsmelding om arbeidslivsrelevans, NOKUTs eiga praksissatsing
• Operasjon Praksis: https://www.nokut.no/prosjekter-i-nokut/operasjon-praksis-
20182020/
• Til glede og besvær – praksis i høyere utdanning (NOKUTs analyser - 2018)
• Samtidig: spørsmålsbatteri om arbeidslivstilknytning
Eksempel 1: spørsmål om praksis 2019
• Steg 1: Idemyldring
• Steg 2: Fokusgruppeintervju
• Steg 3: Kvantitativ testing 1 – spørjeskjema
• Steg 4: Analyse av resultat / presentasjon av resultat til referansegruppa
• Steg 5: Kvantitativ testing 2 (nylig avsluttet)
• Steg 6: Ferdigstille endeleg batteri
• Tidsperiode: April-September 2019 (5-6 månadar)
Eksempel 1: spørsmål om praksis 2019
26,5 %
23,9 %
17,8 %
22,0 %
3,9 %1,8 % 0,9 % 0,9 % 0,1 % 1,0 % 0,2 %
0,0 %
5,0 %
10,0 %
15,0 %
20,0 %
25,0 %
30,0 %
1 2 3 4 5 6 7 8 9 10 12
Tal praksisperiodar
Kor mange praksisperiodar har du hatt i løpet av studieprogrammet ditt?
Eksempel 1: spørsmål om praksis 2019
57%
28%
15%
0%
10%
20%
30%
40%
50%
60%
Ja Nei Veit ikke
Ga praksisopphaldet studiepoeng?
Eksempel 1: spørsmål om praksis 2019
50%
31%
2%
7%9%
0%
10%
20%
30%
40%
50%
60%
Eg blei tildeltpraksisplass av
studieprogrammetutan moglegheit
for å påvirkeutfallet
Eg blei tildeltpraksisplass av
studieprogrammetpå bakgrunn av
eigeønske/prioritering
Eg måtte søke påpraksisplass
Eg måtte finnepraksisplass heilt
sjølv
Anna
Korleis fekk du praksisplass?
Eksempel 2: Test av svarskala
Eksempel 2: test av svarskala
• Vår 2018: testa ulike svarskalaar i valideringsundersøkelsen
• Bakgrunn: Hypotese om at labels kan påvirke svarmønster
• Test av tre varianter, i to rundar: • Variant 1 – labels på kvar svarkategori
• Variant 2– nye labels på endekategoriane (meir symmetrisk skala)
• Variant 3 – tilfredshetsskala vs. eininghetsskala
Runde 1 – labels på kvar svarkategori
Runde 1 – labels på kvar svarkategori
0
5
10
15
20
25
30
35
40
45
50
1 2 3 4 5 999
Pro
sen
t
Blå søyler: Fire spm om engasjement, label på 1 og 5Oransje søyler: Fire spm om engasjement, label på alle
Eige engasjement
Runde 1 – labels på kvar svarkategori
4,0
4,2
3,7
3,9
3,4
3,6
3,8
3,9
1,0 2,0 3,0 4,0 5,0
Eg er motivert for studieinnsats
Eg er motivert for studieinnsats (label-alle)
Eg nyttar meg av dei organiserte læringsaktivitetane som…
Eg nyttar meg av dei organiserte læringsaktivitetane som…
Eg møter godt budd til undervisinga
Eg møter godt budd til undervisinga (label-alle)
Eg opplever at studieinnsatsen min er høg
Eg opplever at studieinnsatsen min er høg (label-alle)
Eige engasjement (gj. snitt)
Serie1
Runde 2 – ny label på endekatogori
Runde 2 – ny label på endekatogori
0
5
10
15
20
25
30
35
40
45
50
1 2 3 4 5 999
Blå søyler: Fire spm om engasjement, 1=ikkje einig, 5=heilt einigOransje søyler: Fire spm om engasjement, 1=heilt ueinig, 5=heilt einig
Eige engasjement
Runde 2 – gradsskala vs. tilfredsheitsskala
Dette er kun nokre eksempel på testing…
Spørsmål?
Takk for merksemda!