owd2012 - e2 - adaptieve leersystemen voor taal en rekenen - han van der maas
TRANSCRIPT
Han L.J. van der Maas
Hoogleraar Psychologische Methodenleer UvA
Wetenschappel i jk di recteur Oefenweb.nl
ADAPTIEF OEFENEN IN
TAAL EN REKENEN
UITDAGING
Niet-lineaire
methode
1 op 1
1 op 30
Thema : Taal en rekenen
Spreker : Marlijn Bouwman
(Oefenweb)
Locatie : Rotterdam Hall
Playgrounds,
max. 30 personen)
14:15-14:45 Sessieronde 4
DEMOMSTRATIE EN ZELF PROBEREN?
Stelling 1: het cognitieve systeem in
ontwikkeling is een complex systeem
Meten is weten
Stelling 2: rekenen en taal zijn vormen
van cognitieve expertise
Veel oefenen op niveau met snelle feedback
(deliberate practice)
Stelling 3: individuele verschillen zijn
enorm
20% van groep 4 scoort boven gemiddelde
groep 5, 10 % boven gemiddelde groep 6
Stelling 4: ICT biedt grote kansen
Glasvezel, Ipads, laptops, software?
UITGANGSPUNTEN
• Basisidee: Digitale schriftjes
• Keuze oefening automatisch
afgestemd op kind, dif ferentiatie
• Combinatie spelenderwijs oefenen
en toetsen (volgen)
Geen aparte toetsen meer nodig
• Geen nakijkwerk, wel
scoreprofielen
Meten dagelijkse
ontwikkeling/opbrengstgericht werken
• Web-based (cloud)
• Nieuwe vorm van adaptief toetsen
met tijdsdruk (psychometrie)
WEB-BASED ADAPTIEVE OEFENVOLG
SYSTEMEN
Vergelijkbaar probleem: vind een gelijkwaardige tegenstander in sport
Oplossing gebaseerd op ratingsysteem uit schaakwereld, bedacht door Prof. EloRating van een speler verandert afhankelijk van de uitkomst van de parti j en de rating van de tegenstander.
Kinderen spelen tegen items.Als een kind een fout antwoord geeft, wint de opgave, afhankelijk van de rating van het kind.
NIEUW COMPUTER ADAPTIEF SYSTEEM
ELO IN WERKING
Laag Hoog
Vragen (Moeilijkheid)
Kinderen (Vaardigheid)
WELK PROBLEEM IS MOEILIJKER?
19 + 58
80 + 10
2 + 2
44 + 3
8 + 9
9 + 66
1 + 703 + 6
Snelheid en nauwkeurigheid zijn
twee kanten van dezelfde
medaille.
Weten, en weten dat je iets (niet)
weet (kan)
Score (in virtuele muntjes) hangt af
van resterende tijd
Snelle (foute) gok kost veel muntjes
SCOREREGEL: TIJD WEEGT MEE
VOORBEELD: REKENTUIN
Games: tellen, reeksen,
optellen, aftrekken, keer,
delen, snelheidsmix,
breuken, cijfers,
mastermind, klokkijken,
procenten
Grote itembanken voor
elk spel van zeer
makkelijk tot zeer
moeilijk
Automatische analyse & rapportage
TUINCENTRUM
(VOOR DE LEERKRACHT)
± 700 scholen NL & BE
Ook VO en PABO
Remedial teachers & families
> 70.000 actieve gebruikers
= 500.000 rekensommen per dag
> 125 miljoen sommen sinds augustus 2009
Hoge betrouwbaarheid, hoge correlatie met Cito
DEELNEMERS
Live counter
ONDERWIJS & ONDERZOEK
Innovatieve psychometrie
Anonieme data
Doel:
Rekenonderwijs verbeteren
Onderwijs Wetenschap
Nieuwe inzichten rekenontwikkeling & leerprocessen
• Maris, G. & Van der Maas, H. L. J. (in press). Speed-accuracy response models: Scoring rules based on response time
and accuracy. Psychometrika.
• Klinkenberg S , Straatemeier. M., & van der Maas H. L. J. (2011). Computer adaptive practice of Maths ability using
a new item response model for on the fly ability and difficulty estimation. Computers in education, 57, 1813-1824.
• Jansen, B., Louwerse. J., Straatemeier. M. , van der Ven. S. , Klinkenberg. S., & van der Maas, H.L.J.. The influence of
experiencing success in math on math anxiety, perceived math competence, and math performance. Submitted
• van der Maas H. L. J., , Klinkenberg S., Straatemeier. M. (2010). Rekentuin.nl: combinatie van oefenen en toetsen.
Examens (2010), p. 10-14.
TAALZEE.NL
15
Inventarisatie taaldomeinen
Vastgesteld op basis van het CITO, schoolboeken en taalwebsites.Onderdelen:
• Spelling• Begrijpend lezen• Technisch lezen• Ontleden• Woordbetekenis• Spreekwoorden• Afkortingen• Rijmwoorden
• Lettergrepen• Zinnen formuleren • Werkwoorden • Vergelijkende trap• Mannelijke/vrouwelijke
vormen• Synoniemen• Antoniemen
• Bijvoeglijk naamwoorden
• Verkleinwoorden• Meervoudsvormen• Verwijswoorden• Voorzetsels• Interpunctie
flits
Spelling Vervoegingen Grammatica Lezen
Elk spel bevat opgaven van zeer eenvoudig tot
zeer moeilijk (samen 20000 opgaven).
Woordkennis Spreekwoorden
GEBRUIK
RATING ONTWIKKELING ITEMS
Grootste
stijgers
Grootste
dalers
SEKSE- EN GROEPSEFFECTENspraaktaak.
Figuur 7 laat voor beide spellingstaken de samenhang zien tussen spelerrating en sekse, over de
verschillende schoolgroepen.
Figuur 7: Rating per sekse (over schoolgroepen) voor taalflits (links) en taalspraak (rechts)
Zoals verwacht, werd er geen samenhang gevonden tussen sekse en spelerratings op beide taken:
taalflits F(1, 7747) = 2.64, p = .10, taalspraak F(1, 5813) = 1.69, p = .19. Wel was er bij de flitstaak
sprake van een interactie-effect tussen sekse en schoolgroep F(7, 7747) = 3.08, p < .01. T-toetsen
tussen schoolgroepen lieten zien dat jongens en meisjes in schoolgroep 3 (t(773.77) = 3.06, p < .01),
groep 4 (t(1350) = 1.99, p < .05) en groep 7 (t(1141.39) = 2.34, p < .05) significant van elkaar
verschillen; daarbij presteren meisjes beter dan jongens. Ondanks het feit dat er geen sprake was
van een interactie-effect bij taalspraak, werden t-toetsen uitgevoerd over de verschillende
schoolgroepen. Deze toetsen lieten zien dat jongens en meisjes in groep 2 significant van elkaar
verschillen, t(159.8) = 2.25, p < .05. Ook hier doen meisjes het beter dan jongens.
Middels lineaire regressie analyse werd de samenhang onderzocht tussen itemratings op beide
spellingstaken en de voorspellers woordlengte, woordfrequentie, aanbiedingswijze en tags. Daarbij
werden de afzonderlijke analyses in het merendeel van de gevallen alleen uitgevoerd over de items
19
WAT MAAKT FLITS ITEMS
MOEILIJK?
Tabel 5: Voorspellers van itemratings voor de flitstaak geordend op 'aandeel'
Voorspeller Schatting Standaardfout t p
length 0.747 0.009 83.627 < 0.001
letterbyletter 0.248 0.006 40.516 < 0.001
hoofdletter 0.089 0.006 14.230 < 0.001
leenwoord 0.068 0.007 9.977 < 0.001
`c/k, c/s` 0.066 0.007 10.002 < 0.001
trema 0.063 0.007 9.027 < 0.001
e 0.055 0.008 6.693 < 0.001
gesloten 0.048 0.007 7.226 < 0.001
accent 0.047 0.006 7.337 < 0.001
q 0.043 0.006 6.846 < 0.001
`i/ie` 0.036 0.007 5.176 < 0.001
y 0.032 0.006 5.004 < 0.001
`-air` 0.031 0.006 5.126 < 0.001
x 0.030 0.006 4.928 < 0.001
`-th` 0.028 0.006 4.419 < 0.001
`mv klinker 's` 0.025 0.006 4.142 < 0.001
open 0.022 0.007 3.280 < 0.01
eau 0.019 0.007 2.928 < 0.01
`-isch` 0.012 0.007 1.900 0.058
`ei/ij` 0.012 0.007 1.745 0.081
`ou, au, ouw, auw` 0.012 0.006 1.843 0.065
ch 0.011 0.007 1.722 0.085
`-nk` -0.011 0.006 -1.726 0.084
`-ch, -cht` -0.012 0.007 -1.715 0.086
`-ng` -0.013 0.006 -2.083 < 0.05
`f/v` -0.015 0.006 -2.344 < 0.05
`-ge` -0.016 0.007 -2.428 < 0.05
`-eer, -oor, -eur` -0.017 0.006 -2.657 < 0.01
`-sch, -schr` -0.028 0.006 -4.415 < 0.001
`-heid` -0.029 0.006 -4.551 < 0.001
koppelteken -0.032 0.007 -4.839 < 0.001
`lange klank` -0.035 0.006 -5.463 < 0.001
`-er, -el, -en, -em` -0.042 0.007 -6.509 < 0.001
tussenletter -0.056 0.007 -8.318 < 0.001
verklein -0.071 0.008 -9.188 < 0.001
freq -0.110 0.008 -14.595 < 0.001
21
VEELGEMAAKTE FOUTEN
Uitbreidingen:
• Foutenanalyses
• Referentieniveaus
• Voortgezet onderwijs
• Directe terugkoppeling aan kinderen
Nieuwe toepassingen: • Taalzee (o.a. begrijpend lezen)
• Wetenschapstuin (IQ)
• Vreemde talen
Video project (koppeling met
Laat eens zien! )
TOEKOMST
Typetuin
Statistiekfabriek
Rekentuin en Taalzee zijn opgezet om het oefenen (op eigen niveau) en toetsen (volgen) te vergemakkelijken. Leerkracht geeft de instructie (op basis van output Rekentuin/Taalzee)
Echter veel leerkrachten volgen bestaande methoden. Voor individuele instructie is geen tijd (Bloom’s 2 probleem).
LANGERE TERMIJN:
DE STAP NAAR INSTRUCTIE
• Kunnen we zonder de bestaande Reken- en taalmethoden?
• Kunnen we een methode ontwikkelen op basis van een adaptief
Oefenvolg systeem?
CREËER EEN AUTOMATISCHE
LEERCYCLUS VOOR ELK KIND
Instructie
Oefenen
Analyse
?
Geïsoleerde
module
Instructie
Oefenen
AnalyseInstructie
Oefenen
Klassieke lineaire
methode
Oefenen
•rekendomeinen
Analyse
•Fouten
•stagnatie
Instructie
•Verschillende media
•Persoonlijke uitleg
Niet-lineaire
methode
Web-based adaptieve oefen-volg
systemen zijn een veelbelovende
toevoeging op het onderwijs
Van Rekentuin naar Taalzee (typetuin en
statistiekfabriek)
Wetenschappelijk zeer interessant (data)
Grote uitdaging is de stap naar instructie
CONCLUSIES
Han van der Maas
Hoogleraar Psychologische Methodenleer UvA
Wetenschappelijk directeur Oefenweb.nl (spin -
off UvA)
BEDANKT VOOR UW
AANDACHT
optellen
•Tot 10
•Tot 20
•Tot 100
aftrekken
•Tot 10
•Tot 20
•Tot 100
keer
•Tot 10
•Tot 20
•Tot 100
Etc.
VOLGORDE IN INSTRUCTIE DILEMMA
optellen
Tot 10
Tot 20
Tot 100
aftrekken
Tot 10
Tot 20
Tot 100
keer
Tot 10
Tot 20
Tot 100
Etc.
optellen
• Tot 10
• Tot 20
• Tot 100
aftrekken
• Tot 10
• Tot 20
• Tot 100
keer
• Tot 10
• Tot 20
• Tot 100
Etc.
Methode:
VerticaalNadeel: volgorde
willekeurig
Internet: HorizontaalNadeel: geen structuur
Alternatief:
Netwerk van instructies
Mogelijke instructiebronnen:
• Verzameling rekenvideo’s (Laat
eens zien!, Khan Academy)
• Papieren overzichten (binas
boek rekenen)
• Instructiemateriaal internet
• Leerkracht, ouder, bijles,
• skype teacher
LAAT DE STOFKEUZE ZOVEEL MOGELIJK AFHANGEN
VAN DE RESULTATEN VAN HET OEFENVOLG SYSTEEM
1. Terugkomende typische fouten 34+8=32, 34+19=43, etc.
2. Geen stijging meer in vaardigheidsscore (rating)
Voor 1 is er behoefte aan specifieke remediërende instructie (bv. lenen)
Voor 2 is er behoefte aan algemene instructie (conceptuele uitleg, handige strategieën voor snel optellen tot 100).
Bied kinderen beide instructies aan zonder tussenkomst leerkracht.