silvester draaijer
TRANSCRIPT
![Page 1: Silvester Draaijer](https://reader034.vdocuments.net/reader034/viewer/2022050803/5875f8f51a28ab42028b5fcf/html5/thumbnails/1.jpg)
HOE ONDERSTEUN JE DOCENTEN BIJ MAKEN VAN TOETSVRAGEN SILVESTER DRAAIJER
![Page 2: Silvester Draaijer](https://reader034.vdocuments.net/reader034/viewer/2022050803/5875f8f51a28ab42028b5fcf/html5/thumbnails/2.jpg)
Vrije Universiteit Amsterdam
CONCLUSIE
> Goede toetsvragen resulteren in goede toetsen
> Toetsvragen maken is mensenwerk
> Toetsvragen maken is een creatieve
probleemoplossingstaak
> Goede toetsvragenmakers vragen gerichte training
> Werk met voorbeelden
> Effectieve toetsvragenmakers zijn niet persé sneller
(misschien wel juist niet)
2 Emerge
![Page 3: Silvester Draaijer](https://reader034.vdocuments.net/reader034/viewer/2022050803/5875f8f51a28ab42028b5fcf/html5/thumbnails/3.jpg)
Vrije Universiteit Amsterdam
RATIONELE BENADERINGEN – 12 STEPS
3 Emerge
1. Overall plan
2. Content definition
3. Test specifications
4. Item development
5. Test design and assembly
6. Test production
7. Test administration
8. Scoring test responses
9. Passing scores
10. Reporting test results
11. Item banking
12. Test technical report
![Page 4: Silvester Draaijer](https://reader034.vdocuments.net/reader034/viewer/2022050803/5875f8f51a28ab42028b5fcf/html5/thumbnails/4.jpg)
Vrije Universiteit Amsterdam
RATIONELE BENADERINGEN
Toetsmatrijs/
Specificatietabel
4 Emerge
![Page 5: Silvester Draaijer](https://reader034.vdocuments.net/reader034/viewer/2022050803/5875f8f51a28ab42028b5fcf/html5/thumbnails/5.jpg)
Vrije Universiteit Amsterdam
ALGEMENE REGELS – VOORKOM ONDUIDELIJKHEID
> Gaat de vraag over een belangrijk onderwerp en niet over detailkennis?
> Is het de student duidelijk wat gevraagd wordt?
> Houd het taalgebruik eenvoudig.
> Richt de vraag op de student.
> Bevat de vraag een duidelijk probleem?
> Staan alle gegevens vermeld die nodig zijn om de vraag te kunnen beantwoorden?
> Is de vraag kort en zakelijk geformuleerd?
> Vraag niet naar een mening of vermeld in ieder geval wiens mening weergegeven wordt.
> Leer de student niet iets nieuws in de vraag. Het gaat om het testen van reeds verworven kennis.
> Wees u constant bewust van het niveau waarop u de studenten wilt bevragen (feitenkennis, toepassen van kennis, kritisch denken, probleem oplossen).
> Wees nauwkeurig in grammatica, spelling en interpunctie.
> Voorkom het weggegeven van het antwoord door grammaticale fouten of aanduidingen (zoals bijv. het weggeven van het type lidwoord voor een gevraagd begrip: schrijf de/het ..)
> Stel geen strikvragen (maar neem wel misconcepties op in de alternatieven).
5 Titel in voettekst, aanpassen via Voettekst aanpassen, tab VU
![Page 6: Silvester Draaijer](https://reader034.vdocuments.net/reader034/viewer/2022050803/5875f8f51a28ab42028b5fcf/html5/thumbnails/6.jpg)
Vrije Universiteit Amsterdam
VOORKOM ONDUIDELIJKEHEID
6 Titel in voettekst, aanpassen via Voettekst aanpassen, tab VU
Probleem Omschrijving
Ontkenningen voorkomen Gebruik geen ontkenningen in de stimulus of alternatieven (onderstreep in ieder
geval altijd woorden zoals niet, geen e.d.). Gebruik zeker geen dubbele
ontkenningen.
Loze alternatieven
voorkomen
Zijn er geen alternatieven die vooraf te elimineren zijn; zijn alle alternatieven in
principe aannemelijk voor iemand die de stof niet beheerst?
Herhaling voorkomen. Herhaal niet dezelfde zinsnede als begin van elk alternatief - plaats het in de
stimulus.
Geen overlappende
alternatieven
Pas elkaar overlappende afleiders niet toe (zorg ervoor dat de alternatieven geen
subsets van elkaar zijn).
Geen normatieve begrippen
gebruiken.
Gebruik geen normatieve begrippen zoals moeten, zinloos, dienen. Wordt er niet
per ongeluk naar een mening gevraagd? Geef aan wie die mening verkondigt.
Geen absolute aanduidingen
gebruiken
Gebruik geen absolute woorden zoals nooit, alleen, allemaal, geen
enkele, altijd tenzij het echt absoluut zo is (er zijn bijna altijd uitzonderingen te
bedenken op problemen, oplossingen of concepten).
Geen vage aanduidingen
gebruiken
Gebruik geen vage aanduidingen zoals misschien, kan, soms, in het
algemeen, een paar, enkele. Deze worden niet door iedereen hetzelfde
geïnterpreteerd.
Geen dubbele stellingvragen
gebruiken
Stellingvragen (ook wel complexe multiple-choice vragen genoemd): zijn de twee
stellingen terecht tot één vraag gecombineerd? Bij voorkeur dergelijke vragen
splitsen in aparte vragen.
![Page 7: Silvester Draaijer](https://reader034.vdocuments.net/reader034/viewer/2022050803/5875f8f51a28ab42028b5fcf/html5/thumbnails/7.jpg)
Vrije Universiteit Amsterdam
RATIONELE BENADERINGEN
7 Emerge
Doel Modelvraag Weten en begrijpen: de
student heeft kennis van de onderwerpen.
Wat is de beste definitie voor…?
Wat is (niet) karakteristiek voor…
Uit welke onderdelen bestaat het probleem? Welke verschillende categorieën zijn er in het probleem?
Kritisch denken
(evalueren): de student
kan de eigenschappen
van feiten, procedures,
principes of theorieën gebruiken.
Wat is het effectiefste (/geschikt) voor…?
Wat is beter (/slechter)…?
Wat is de meest kritieke stap in een procedure?
Als je weet dat X waar is, wat is dan tevens waar over Y?
Wat is (niet) nodig in een procedure? Wat is het belang van het probleem?
Kritisch denken
(voorspellen): de student
kan op basis van feiten,
procedures, principes of
theorieën aangeven wat gevolgen zijn.
Wat zou er gebeuren als…?
Als dit gebeurt, wat zou je dan doen?
Op basis van…, zou je wat doen?
Gegeven…, is wat belangrijkste reden dat…?
Probleem oplossen: de
student kan op basis van
gegevens problemen
oplossingen geven of beoordelen.
Wat is de aard van het probleem?
Wat heb je nodig om dit probleem op te lossen?
Wat is de eerstvolgende beste stap om dit probleem op te lossen?
Wat is een mogelijke oplossing?
Wat is de meeste effectieve (/efficiënte) oplossing?
Waarom is… de meest effectieve (efficiënte) oplossing?
![Page 8: Silvester Draaijer](https://reader034.vdocuments.net/reader034/viewer/2022050803/5875f8f51a28ab42028b5fcf/html5/thumbnails/8.jpg)
Vrije Universiteit Amsterdam
RATIONELE BENADERINGEN
8 Emerge
![Page 9: Silvester Draaijer](https://reader034.vdocuments.net/reader034/viewer/2022050803/5875f8f51a28ab42028b5fcf/html5/thumbnails/9.jpg)
Vrije Universiteit Amsterdam
RATIONELE BENADERINGEN
9 Emerge
4 Toetsvragen ontwerpen bij
afzonderlijke begrippen
4.1 Vertalen
4.2 Definiëren
4.3 Voorbeelden geven
4.4 Voorbeelden herkennen en
benoemen
4.5 Herkennen en benoemen bij
formeel gedefinieerde begrippen
4.6 Beschrijvende uitspraken
5 Toetsvragen ontwerpen bij relaties
tussen begrippen
5.1 Vertalen en afbeelden
5.2 Onderscheiden
5.3 Classificaties
5.4 Stappenschema’s,
algoritmen, routines
5.5 Wetmatige relaties
6 Toetsvragen ontwerpen bij tekst
6.1 Participatiecontrole
6.2 Thema’s en hoofdpunten
6.3 Analyse
6.4 Inferentie
6.5 Compositie
6.6 Tekst en de naïeve lezer
7 Problemen stellen
7.1 Over problemen gesproken
7.2 Inventarisatie
7.3 ontwerpregels
![Page 10: Silvester Draaijer](https://reader034.vdocuments.net/reader034/viewer/2022050803/5875f8f51a28ab42028b5fcf/html5/thumbnails/10.jpg)
Vrije Universiteit Amsterdam
RATIONELE BENADERINGEN
10 Emerge
![Page 11: Silvester Draaijer](https://reader034.vdocuments.net/reader034/viewer/2022050803/5875f8f51a28ab42028b5fcf/html5/thumbnails/11.jpg)
Vrije Universiteit Amsterdam
RATIONELE BENADERINGEN
11 Emerge
![Page 12: Silvester Draaijer](https://reader034.vdocuments.net/reader034/viewer/2022050803/5875f8f51a28ab42028b5fcf/html5/thumbnails/12.jpg)
TOETSVRAGEN MAKEN
Writing high quality questions is regarded as difficult
> A difficult task > (T. M. Haladyna, 1997, p. 67; Osterlind, 1998, p. 40)
> A unique skill > (Downing & Haladyna, 2006, p. 11)
> An art > (Popham, 1984, p. 40).
> Creativity is of essence too > (Osterlind, 1998, p. 2; Rikers, 1988, p. 16; Vale, 1995).
> Especially developing plausible distracters is regarded as
being difficult, specifically the 3rd distractor of a four-option
multiple-choice question > (Roid & Haladyna, 1982), (Mayenga, 2009)
Emerge 12
![Page 13: Silvester Draaijer](https://reader034.vdocuments.net/reader034/viewer/2022050803/5875f8f51a28ab42028b5fcf/html5/thumbnails/13.jpg)
Vrije Universiteit Amsterdam
TOETSVRAGEN MAKEN
“Item writing requires an uncommon combination of special abilities. It is mastered only through extensive and critically supervised practice. It demands and tends to develop high standards of quality and a sense of pride in craftsmanship.”
“Item writing is essentially creative. Each item as it is being written presents new problems and new opportunities. Just as there can be no set formulas for producing a good story and a good painting, so there can be no set of rules that will guarantee the production of good test items.”
Robert L. Ebel 1951
Emerge 13
![Page 14: Silvester Draaijer](https://reader034.vdocuments.net/reader034/viewer/2022050803/5875f8f51a28ab42028b5fcf/html5/thumbnails/14.jpg)
Vrije Universiteit Amsterdam
TOETSVRAGEN MAKEN
“The process of selecting item ideas goes on
simultaneously with the process of inventing them. Skill in
item writing depends not only upon prolific inventiveness but
also upon discriminating judgment in the selection. In
selecting item ideas, the writer must consider their
appropriateness, importance, and probable discriminating
ability.”
Robert L. Ebel 1951
Emerge 14
![Page 15: Silvester Draaijer](https://reader034.vdocuments.net/reader034/viewer/2022050803/5875f8f51a28ab42028b5fcf/html5/thumbnails/15.jpg)
Vrije Universiteit Amsterdam
TOETSVRAGEN MAKEN
> Thorough mastery of the subject matter being tested.
> Possess a rational and well developed set of thinking processes to determine what is most important to test.
> Must understand the individuals for whom the test or items are intended.
> Must be a master of verbal communication.
> Must be skilled in handling the special technology used for item writing.
James B. Olsen 2004
Emerge 15
![Page 16: Silvester Draaijer](https://reader034.vdocuments.net/reader034/viewer/2022050803/5875f8f51a28ab42028b5fcf/html5/thumbnails/16.jpg)
Vrije Universiteit Amsterdam
TOETSVRAGEN MAKEN
> There is no automatic process for the production of item
ideas. They must be invented or discovered and in the
process, chance ideas and inspirations are very important.
It is possible, however, to stimulate these processes by
appropriate material.
James B. Olsen 2004
Emerge 16
![Page 17: Silvester Draaijer](https://reader034.vdocuments.net/reader034/viewer/2022050803/5875f8f51a28ab42028b5fcf/html5/thumbnails/17.jpg)
Vrije Universiteit Amsterdam
ONTWIKKELEN VAN TOETSVRAGEN
> Yet, knowing the principles of effective item writing is no
guarantee of an item writer’s ability to actually produce
effective test questions. Knowing is not necessarily doing.
Thus, one of the more important validity issues associated
with test development concerns the selection and training of
item writers
(Downing & Haladyna, 1997)
Emerge 17
![Page 18: Silvester Draaijer](https://reader034.vdocuments.net/reader034/viewer/2022050803/5875f8f51a28ab42028b5fcf/html5/thumbnails/18.jpg)
ONTWIKKELEN VAN TOETSVRAGEN
> Is not a science, it’s a craft
> Learning to develop good test questions takes 16-40 hours
of instruction-practice-feedback (to derive from Case, Holzman & Ripkey, 2001 )
There is little scientific basis for multiple-choice
item writing. Most item writing knowledge is
based on personal experience or wisdom passed
on from particular mentors.
Welch, Haladyna (2004)
Emerge 18
![Page 19: Silvester Draaijer](https://reader034.vdocuments.net/reader034/viewer/2022050803/5875f8f51a28ab42028b5fcf/html5/thumbnails/19.jpg)
Vrije Universiteit Amsterdam
TRAINING TOETSVRAGEN MAKEN
Effective item writers are trained, not born.
(Downing & Haladyna, 1997)
The instruction–practice–feedback–reinforcement loop is
important for the effective development and maintenance of
solid item writing skills
(Jozefowicz et al., 2002). Instruction
Practice
Feedback
Reinforcement
Emerge 19
![Page 20: Silvester Draaijer](https://reader034.vdocuments.net/reader034/viewer/2022050803/5875f8f51a28ab42028b5fcf/html5/thumbnails/20.jpg)
Vrije Universiteit Amsterdam
TRAINING TOETSVRAGEN MAKEN
> Bespreken doelen van de toets
> Bespreken format van de toetsvragen
> Bespreken typische voorbeelden van goede en minder goede vragen – uit het domein zelf > Systeem om al bestaande (studeersnel, QuizLet, ProProfs, CFA Institute)
of ontwikkelde vragen eenvoudig te raadplegen
> Vragen uit ‘oude toetsen’
> Zelf maken van vragen
> Beoordelen van vragen van collega’s > Laat correcte antwoord niet zien!
> Essentieel: constructieve houding! – bedenk verbetervoorstellen/aanvullingen/kleine correcteis
> Een flink aantal vragen is ‘niet te redden’
> Voortdurende aanvulling/aanpassing van toetsvraaghandleiding maken
> Als mogelijk: studenten vragen laten maken …
20 Emerge
![Page 21: Silvester Draaijer](https://reader034.vdocuments.net/reader034/viewer/2022050803/5875f8f51a28ab42028b5fcf/html5/thumbnails/21.jpg)
Vrije Universiteit Amsterdam
TRAINING TOETSVRAGEN MAKEN
> Toetsvragen maken paradox!
> Goed getrainde toetsvragenmakers zijn wel effectiever,
maar niet sneller!
21 Emerge
![Page 22: Silvester Draaijer](https://reader034.vdocuments.net/reader034/viewer/2022050803/5875f8f51a28ab42028b5fcf/html5/thumbnails/22.jpg)
Vrije Universiteit Amsterdam
EN NU IETS TOTAAL ANDERS
22 Emerge
![Page 23: Silvester Draaijer](https://reader034.vdocuments.net/reader034/viewer/2022050803/5875f8f51a28ab42028b5fcf/html5/thumbnails/23.jpg)
Vrije Universiteit Amsterdam
DIVERGEREN EN CONVERGEREN
23 Emerge
![Page 24: Silvester Draaijer](https://reader034.vdocuments.net/reader034/viewer/2022050803/5875f8f51a28ab42028b5fcf/html5/thumbnails/24.jpg)
Vrije Universiteit Amsterdam
DIVERGEREN EN CONVERGEREN
24 Emerge
![Page 25: Silvester Draaijer](https://reader034.vdocuments.net/reader034/viewer/2022050803/5875f8f51a28ab42028b5fcf/html5/thumbnails/25.jpg)
Vrije Universiteit Amsterdam
QUESTION DESIGN AS PROBLEM SOLVING
Problem finding (Pretz et al. 2003): Recognizing, Defining, and Representing problems
Divergent thinking ability is necessary > Brainstorming (applying safe
environment and constructive feedback)
> Force-fitting
> Brain-writing
> Morfological approaches
Convergent thinking ability is necessary > Evaluate using criteria lists (the 31
guidelines by Downing and Haladyna, 2002!)
> Peer judgement Extended effort
Emerge 25
![Page 26: Silvester Draaijer](https://reader034.vdocuments.net/reader034/viewer/2022050803/5875f8f51a28ab42028b5fcf/html5/thumbnails/26.jpg)
Vrije Universiteit Amsterdam
DIVERGENT PRODUCTION
Emerge 26
![Page 27: Silvester Draaijer](https://reader034.vdocuments.net/reader034/viewer/2022050803/5875f8f51a28ab42028b5fcf/html5/thumbnails/27.jpg)
Vrije Universiteit Amsterdam
CONCLUSIE
> Goede toetsvragen resulteren in goede toetsen
> Toetsvragen maken is mensenwerk
> Toetsvragen maken is een creatieve
probleemoplossingstaak
> Goede toetsvragenmakers vragen gerichte training
> Werk met voorbeelden
> Effectieve toetsvragenmakers zijn niet persé sneller
(misschien wel juist niet)
27 Emerge
![Page 29: Silvester Draaijer](https://reader034.vdocuments.net/reader034/viewer/2022050803/5875f8f51a28ab42028b5fcf/html5/thumbnails/29.jpg)
Vrije Universiteit Amsterdam
ALGEMENE REGELS – VOORKOM ONDUIDELIJKHEID
> Gaat de vraag over een belangrijk onderwerp en niet over detailkennis?
> Is het de student duidelijk wat gevraagd wordt?
> Houd het taalgebruik eenvoudig.
> Richt de vraag op de student.
> Bevat de vraag een duidelijk probleem?
> Staan alle gegevens vermeld die nodig zijn om de vraag te kunnen beantwoorden?
> Is de vraag kort en zakelijk geformuleerd?
> Vraag niet naar een mening of vermeld in ieder geval wiens mening weergegeven wordt.
> Leer de student niet iets nieuws in de vraag. Het gaat om het testen van reeds verworven kennis.
> Wees u constant bewust van het niveau waarop u de studenten wilt bevragen (feitenkennis, toepassen van kennis, kritisch denken, probleem oplossen).
> Wees nauwkeurig in grammatica, spelling en interpunctie.
> Voorkom het weggegeven van het antwoord door grammaticale fouten of aanduidingen (zoals bijv. het weggeven van het type lidwoord voor een gevraagd begrip: schrijf de/het ..)
> Stel geen strikvragen (maar neem wel misconcepties op in de alternatieven).
29 Titel in voettekst, aanpassen via Voettekst aanpassen, tab VU
![Page 30: Silvester Draaijer](https://reader034.vdocuments.net/reader034/viewer/2022050803/5875f8f51a28ab42028b5fcf/html5/thumbnails/30.jpg)
Vrije Universiteit Amsterdam
VOORKOM ONDUIDELIJKEHEID
30 Titel in voettekst, aanpassen via Voettekst aanpassen, tab VU
Probleem Omschrijving
Ontkenningen voorkomen Gebruik geen ontkenningen in de stimulus of alternatieven (onderstreep in ieder
geval altijd woorden zoals niet, geen e.d.). Gebruik zeker geen dubbele
ontkenningen.
Loze alternatieven
voorkomen
Zijn er geen alternatieven die vooraf te elimineren zijn; zijn alle alternatieven in
principe aannemelijk voor iemand die de stof niet beheerst?
Herhaling voorkomen. Herhaal niet dezelfde zinsnede als begin van elk alternatief - plaats het in de
stimulus.
Geen overlappende
alternatieven
Pas elkaar overlappende afleiders niet toe (zorg ervoor dat de alternatieven geen
subsets van elkaar zijn).
Geen normatieve begrippen
gebruiken.
Gebruik geen normatieve begrippen zoals moeten, zinloos, dienen. Wordt er niet
per ongeluk naar een mening gevraagd? Geef aan wie die mening verkondigt.
Geen absolute aanduidingen
gebruiken
Gebruik geen absolute woorden zoals nooit, alleen, allemaal, geen
enkele, altijd tenzij het echt absoluut zo is (er zijn bijna altijd uitzonderingen te
bedenken op problemen, oplossingen of concepten).
Geen vage aanduidingen
gebruiken
Gebruik geen vage aanduidingen zoals misschien, kan, soms, in het
algemeen, een paar, enkele. Deze worden niet door iedereen hetzelfde
geïnterpreteerd.
Geen dubbele stellingvragen
gebruiken
Stellingvragen (ook wel complexe multiple-choice vragen genoemd): zijn de twee
stellingen terecht tot één vraag gecombineerd? Bij voorkeur dergelijke vragen
splitsen in aparte vragen.
![Page 31: Silvester Draaijer](https://reader034.vdocuments.net/reader034/viewer/2022050803/5875f8f51a28ab42028b5fcf/html5/thumbnails/31.jpg)
Vrije Universiteit Amsterdam
SPEEL IN OP BEREKENENDE STUDENT
> Ik kies het langste antwoord
> Ik kies b) of c)
> Ik kies nooit alternatieven waar altijd of nooit in staan, want deze zijn niet correct
> Bij twee tegengestelden in de antwoorden kies ik één van de twee en negeer de anderen
> Bij twijfel gok ik altijd
> Ik kies het antwoord dat het meest wetenschappelijk klinkt
> Ik kies het antwoord waar in ieder geval iets staat over het onderwerp
> Als 'alle bovenstaande' het laatste alternatief is, is het snel duidelijk of dat het juiste alternatief is of niet
> Als 'geen van bovenstaande' het laatste alternatief is is het snel duidelijk of dat het juiste alternatief is of niet
31 Titel in voettekst, aanpassen via Voettekst aanpassen, tab VU