3 beleid in dienst van flexibele toetsing - edugroepen...voeren komt uitgebreid aan de orde in de...

Flexibilisering van Toetsing

pagina 32 van 32

3 Beleid in dienst van flexibele toetsing Uit het vorige hoofdstuk is gebleken dat toetsvragen en toetsen een belangrijke rol kunnen en moeten spelen in de verschillende fasen van het onderwijs. ICT kan daar een belangrijke rol in krijgen. Om dat te realiseren is schaalvergroting het belangrijkste ingrediënt. Schaalvergroting betekent dat er gezocht moet gaan worden naar standaardisering op het gebied van werkwijzen en techniek. Schaalvergroting betekent ook dat er verder gespecialiseerd moet gaan worden op het gebied van vraagontwikkeling, vraagbeheer, ICT-inrichting en ICT-beheer en evaluatie. Standaardisering en specialisatie maken het dan mogelijk om toetsvragen en toetsen flexibeler te ontwikkelen en inzetbaar te maken; voor zelfstudie, formatieve en summatieve toetsen. Daarmee bestaat ook de mogelijkheid het toetsen los te koppelen van specifieke – beperkende – onderwijscontexten, zoals de toevallige aanwezigheid van een enthousiaste docent. In dit hoofdstuk beschrijven we hoe beleid ingezet kan worden om flexibele toetsing te realiseren. Daarbij moet het beleid inspelen op een aantal belangrijke ontwikkelingen op het gebied van onderwijs. Zo moet het onderwijs vraaggerichter worden en meer competentiegericht zijn. Deze ontwikkelingen in het onderwijs komen aan bod in paragraaf 3.1. Daarnaast kan beleid vorm krijgen op verschillende niveaus: het niveau van de instelling, van de vakgroep en van de docent. De armslag die instelling, vakgroep en docent hebben om beleid te bepalen, te ontwikkelen en uit te voeren komt uitgebreid aan de orde in de paragrafen 3.2 tot en met 3.4.

3.1 Ontwikkelingen in het onderwijs Veel van het huidige aanbod in het hoger onderwijs is geconcentreerd rond de docent. Zonder duidelijke sturing van bovenaf kan deze zelf invulling geven aan het onderwijs en de toetsing. Hoewel een docent expert kan zijn op het gebied van toetsen en beoordelen, is de kans groot dat onderwijs gecentreerd rondom de docent leidt tot een suboptimale inrichting van dat onderwijs en de toetsing. Zonder afstemming kan op deze wijze namelijk een gebrek aan verband ontstaan tussen de verschillende onderdelen van het onderwijsprogramma en de vormgeving van de toetsing. Vooral als het gaat om het inspelen op de meer abstracte ontwikkelingen, zoals digitalisering, vraaggericht onderwijs, competentiegericht opleiden, vraaggestuurd leren en accreditering, kan niet verwacht worden dat individueel opererende docenten daar vorm aan kunnen geven. Het realiseren van bijvoorbeeld competentiegericht onderwijs vergt visie en van daaruit een duidelijke vertaling naar beleid en het operationaliseren daarvan op het gebied van toetsing. Er moet een goede mix van kennistoetsing en competentietoetsing worden gekozen. Op het gebied van kennistoetsing kan het zijn dat zelfstudietoetsen in elke curriculumonderdeel moeten worden opgenomen, dat er al of niet een vorm van voortgangstoetsing moet worden geïntroduceerd of dat toetsing met de computer moet gebeuren. Voor competentietoetsing moet een goede mix van bijvoorbeeld portfoliotoetsing, integrale assessments of 360-graden feedback worden vastgesteld. (Polderdijk, Volder et al. april 2004). Maar ook als het gaat om dergelijke operationalisaties – die al minder abstract zijn – zal onderwijs geconcentreerd rondom de docent nog steeds leiden tot een suboptimale inrichting. Docenten kunnen op individuele basis niet werken aan dergelijke nieuwe onderwijsmethoden. Daar is vooral afstemming, onderwijskundige en technische ondersteuning, professionalisering en specialisatie voor nodig.


pagina 33 van 33

In de praktijk van het hoger onderwijs blijkt dat docenten weinig samenwerken en weinig geschoold zijn in de kunde van toetsen en beoordelen en dat ze er nauwelijks systematisch aandacht aan besteden (Hermans 2001; Berkel en Bax 2002). Zelfs als duidelijk is welke rol en welke soort onderwijs en toetsing moeten worden georganiseerd en afgenomen. Dat komt vooral door het gebrek aan aandacht voor dit onderwerp bij beleidsmakers op het gebied van onderwijs en bij de verantwoordelijken op het terrein van de techniek. Alles wijst erop dat onderwijs en de daarmee verbonden toetsing alleen op het niveau van een opleiding en op het niveau van een instelling een rol moeten spelen. Hieronder gaan we eerst dieper in op de ontwikkelingen in het onderwijs die het noodzakelijk maken om zelftoetsing, formatieve en summatieve toetsing serieus te nemen. Daarna beschrijven we het beleid per niveau: van de instelling, de opleiding/faculteit en van de docent.

3.1.1 Vraaggerichter onderwijs

Door veranderende kenmerken van studenten en opleidingen moeten onderwijsinstellingen steeds meer inspelen op vraaggericht onderwijs. De kenmerken van de huidige generatie studenten zijn: • jongvolwassen studenten hebben vaak weinig tijd om te studeren door bijbaantjes of

deeltijdbanen; • oudere studenten hebben om dezelfde reden weinig tijd; • studenten komen vanuit steeds gevarieerdere culturen en vanuit verschillende talen; • studenten stellen zich steeds meer op als kritische consumenten binnen het onderwijs, ze

willen kwaliteit en adequate begeleiding en sturing; • onderwijsprogramma’s bestaan steeds minder uit programma’s waarvoor het principe ‘one

size fits all’ geldt. Door de introductie van de bachelor-masterstructuur en de invoering van de major-minorstructuur volgen studenten in toenemende mate individuele leerroutes en moet dezelfde vakinhoud op meerdere niveaus aangeboden worden.

De uitvoering en de inhoud van het onderwijs moeten worden geplooid rondom de eisen die deze doelgroep stelt. Het is daarom van belang om hen bijvoorbeeld een breder repertoire van toetsmogelijkheden aan te kunnen bieden, om snel in te kunnen spelen op hun specifieke onderwijsvraag. Dit moet gebeuren zonder dat het onderwijs didactisch te vrijblijvend wordt. Ook is het van belang dat de organisatorische en financiële haalbaarheid in het oog wordt gehouden.

3.1.2 Activerender onderwijs

Naast vraaggerichter moet het onderwijs ook activerender worden. Baltzer (Baltzer 2002) schrijft hierover het volgende. “Docenten worden vaak geconfronteerd met het feit dat studenten passief en weinig betrokken de colleges volgen en het grondig bestuderen van de stof uitstellen tot het moment waarop de tentamendatum in zicht komt. De vraag is hoe men studenten ertoe kan bewegen tijdig en planmatig met de stof aan het werk te gaan, waarbij leerstrategieën worden aangewend die passen bij het leerdoel en de taaksituatie. De kunst die de docent moet beheersen is het activeren van studenten en een beroep doen op de eigen verantwoordelijkheid van studenten op het juiste moment. Gebeurt dit niet als de tijd er rijp voor is, dan ontstaat een frictie tussen leer- en doceerstrategieën. Bij een te grote kloof tussen zelfwerkzaamheid en sturing is deze frictie destructief. De kloof is constructief wanneer de docent gedeeltelijk stuurt en dit de student aanzet tot meer zelfstandigheid. Omgekeerd kan de frictie ook destructief zijn als de docent alles in de hand houdt en strak stuurt, daar waar studenten al geleerd hebben bepaalde strategieën uit te voeren. Zij zouden deze dan zelfs weer af kunnen leren. Wanneer docenten precies die activiteiten overnemen die studenten nog niet eerder zelfstandig hebben uitgevoerd, dan is er weliswaar sprake van evenwicht (of naadloze aansluiting) tussen leer- en docentstrategie maar zal de student niet verder komen in het


pagina 34 van 34

ontwikkelen van zijn eigen leer- en denkstrategieën. Er is dan dus sprake van stilstand. Om iets te leren is een zekere frictie dus altijd nodig.” Activerend onderwijs gaat uiteindelijk over manieren om studenten actief met de kennis en vaardigheden te laten omgaan, zodat ze deze zichzelf ‘eigen maken’. Gegeven de veranderende studentpopulatie en de noodzaak om vraaggerichter te kunnen zijn, is het van groot belang om toetsvragen en toetsen flexibel in een curriculum te verweven.

3.1.3 Competentiegerichter onderwijs

De meeste instellingen voor hoger onderwijs (vooral het hbo) onderkennen dat het onderwijs erop gericht moet zijn om studenten op te leiden tot beginnende beroepsbeoefenaars. Daarom moet het verwerven van beroepscompetenties centraal staan in het ontwerp van het curriculum. Het grote voordeel hiervan is dat het onderwijs hierdoor beter aansluit op de beroepspraktijk. Competentiegericht onderwijs houdt in dat studenten zo veel mogelijk worden getraind en beoordeeld op hun beheersing van complexe beroepsvaardigheden. Dit maakt een realistischer toetsing mogelijk waarin kennis, vaardigheden en attitudes tegelijkertijd worden bevraagd. Voorbeelden van toetsen die hiervoor ingezet kunnen worden zijn portfoliotoetsing, integrale assessments en stages. De klassieke vorm van onderwijs voor de student - zo veel mogelijk vakkennis verwerven – krijgt daarmee minder nadruk. Dit betekent echter niet dat de rol van kennis(toetsen) zal verdwijnen. Ook in competentiegericht onderwijs spelen het opbouwen van kennis en het (separaat) toetsen van die kennis nog een belangrijke rol. Deeltaakoefening door bijvoorbeeld practice-and-drill blijven belangrijk om kennis te verwerven en toe te passen. De computer blijft daarbij het meest geschikte medium om dit soort oefeningen aantrekkelijk en effectief te maken (Merriënboer 2002). Daarnaast is er volgens bijvoorbeeld Dochy (Dochy 2002) een noodzaak om kennis (in context) te toetsen. Hij geeft het advies om met een mix van toetsvormen te werken, waarbij (traditionele) kennistoetsen voor ca. 1/5 meetellen naast bijvoorbeeld overall toetsen (of koepeltoetsen) en (professionele) producten in kader van projecten. Daarnaast blijkt voorkennis in het algemeen een van de belangrijkste factoren die het leergedrag en dus het leerresultaat beïnvloeden bij het werken aan complexe, zelfgestuurde leertaken (Jong, Veermans et al.). Mirande (Mirande 2000) geeft aan dat ‘know what’, in de vorm van basiskennis, belangrijk is om de juiste vragen te stellen voor het ‘know why’ en ‘know how’; de theorie en de toepassing in praktijksituaties. Daarom is het belangrijk om iets van de voorkennis van de leerling te weten (diagnostisch toetsen) en het leermateriaal hieraan te kunnen aanpassen. Als de benodigde voorkennis niet aanwezig is, moet dit een van de leerdoelen zijn van het curriculum. Competentiegericht onderwijs betekent ook dat studenten meer verantwoordelijk worden gemaakt voor hun eigen leerproces. Ze moeten in hun studieloopbaan meer en meer zelf keuzes maken, prioriteiten stellen en individuele leertrajecten uitstippelen en volgen. Het bieden van een breed repertoire van onderwijs(vormen) en toetsmogelijkheden is dan de taak van een onderwijsinstelling om studenten die zelfverantwoordelijkheid te kunnen geven.

3.1.4 Meer aandacht voor kwaliteitszorg

In het kader van studenttevredenheid, visitatie en accreditatie is goede kwaliteitszorg van het onderwijs van steeds groter belang voor opleidingen (Jaspers en Schade 2002). In studieconsumentengidsen wordt tentaminering daarbij ook vak als belangrijk thema gekozen (VSSD 1987-2003; Steenkamp, Tuinder et al. 2003). Vaak zijn studenten geïnteresseerd in:


pagina 35 van 35

• Is het cijfer snel genoeg bekend? • Worden verkeerd geformuleerde vragen uit toetsen verwijderd? • Sluit de toets aan bij het college? • Zijn de condities tijdens de tentamenafname optimaal (licht, temperatuur, geluid)? Vanuit de accreditatie gelden algemenere thema’s. Zo heeft het Nederlandse Accreditatie Orgaan (NAO) het volgende criterium geformuleerd voor toetsing en beoordeling: “Door de beoordelingen, toetsingen en examens wordt adequaat getoetst of de studenten de leerdoelen van (onderdelen van) het programma hebben gerealiseerd.” Over het algemeen scoren opleidingen bij visitaties slecht op het gebied van toetsing. Nu accreditatie gekoppeld is aan visitaties en 'geen accreditatie' betekent 'geen erkenning en financiering van de opleiding', is het des te noodzakelijker om (ook) de toetsing op orde te hebben. Bij de visitaties wordt er in het bijzonder op gelet dat alle beslissingen weloverwogen en goed gedocumenteerd zijn. Kortom: er dient toetsbeleid te zijn en daarvan afgeleide toetsplannen. Dit houdt in dat opleidingen alle eisen die aan toetsing worden gesteld aan kwaliteitszorg en kwaliteitsborging moeten onderwerpen. Het hebben van beleid en het effectueren van dat beleid is daarom belangrijk.

3.1.5 Meer digitaliseren

Studenten zijn steeds meer digitaal geletterd. Omgaan met computers en werken met gespecialiseerde computerprogramma’s en internet worden al geïntroduceerd op de basisschool. Informatie die gebruikt wordt binnen de onderwijscontext is bijna allemaal digitaal beschikbaar in on-lineboeken, journals en voorlichtingswebsites. In veel beleidsstukken van instellingen voor hoger onderwijs staat de implementatie van ICT nog steeds hoog op de agenda. De instellingen erkennen dat de inzet van ICT in het onderwijs belangrijk is om tegemoet te komen aan de wensen van de studenten en het bedrijfsleven. De aandacht voor ICT is niet in de laatste plaats noodzakelijk omdat de meeste medewerkers onvoldoende ICT-vaardigheid of ideeën hebben om ICT in te zetten om vernieuwend onderwijs te maken. Het lukt nog wel om ICT in te zetten bij de informatievoorziening, administratieve functies en standaardapplicaties, maar bij inhoudelijke communicatie en informatie (zoals digitaal leermateriaal in een elektronische omgeving) is het al veel lastiger. En zeker als het gaat om het inzetten van computers bij toetsing worden de kansen volkomen onbenut gelaten (Vleuten en Daniëls 2002; Schoonenboom, Roozen et al. 2004). Dit is opmerkelijk, omdat er voldoende initiatieven zijn geweest om toetsing met de computer in het onderwijs in te voeren. Deze zijn ook bekend uit de literatuur en de in het kader van dit project verzamelde casussen. (Mirande 1994b; Heijnen en Meeder 1999). In de casussen bij dit handboek Flexibilisering van Toetsing die te vinden zijn op de website van de Digitale Universiteit (http://www.du.nl/flextoets) worden ook een aantal van die initiatieven. Hoe komt het dan dat de indruk bestaat dat daarmee nog zo weinig is gedaan? Die indruk wordt wellicht veroorzaakt door het misverstand dat ‘toetsing met computers’ hetzelfde is als ‘beeldschermtoetsing’. Als we daarvan uitgaan, dan blijkt inderdaad dat er in het onderwijs nog steeds veel meer schriftelijk wordt getoetst dan via het beeldscherm. Beeldschermtoetsing is beperkt tot inzet bij ‘die ene docent’ of bij ‘die ene vakgroep’ of dat ‘specifieke vak’. Vaak worden initiatieven gestart, maar blijken die door veranderende omstandigheden weer afgebouwd te worden. Dat versterkt de indruk dat computers nog weinig worden ingezet bij toetsing.

http://www.du.nl/flextoets


pagina 36 van 36

Deze indruk is echter onjuist: computers worden wel degelijk al op vrij grote schaal ingezet bij bijvoorbeeld het opbouwen en beheren van itembestanden en bij toetsverwerking (scannen van formulieren en automatische toetsanalyse). Toetsanalyse en toetsafname met behulp van een computer wordt al meer dan dertig jaar toegepast. Sinds een jaar of twintig bestaan er ook programma’s om toetsen digitaal op te slaan en te beheren. Bovenstaande laat onverlet dat er nog een wereld te winnen is als ICT op veel grotere en systematische schaal gebruikt zou worden in het toetsproces.

3.1.6 Meer effectiviteit en efficiëntie

Bij de efficiëntie van toetsen gaat het om de (gunstige) verhouding tussen enerzijds de kwaliteit van het middel (de toets) en anderzijds de kosten daarvan (de tijd die het kost om de toetsen te ontwikkelen en de tijd en de middelen die het toetsen zelf kost). De druk op de onderwijsbegroting is de afgelopen jaren steeds sterker geworden. Vergeleken met andere OESO-landen investeert Nederland relatief weinig in het onderwijs in relatie tot de steeds groter wordende studentenaantallen. Bovendien wordt steeds meer geld afgeroomd van begrotingen van onderwijsinstellingen om centrale voorzieningen te realiseren. Deze tendensen maken dat de onderwijsuitvoering met zelftoetsing, formatieve toetsen en certificerende toetsing, voortdurend effectiever en efficiënter moet worden.

Hoeveel tijd wordt besteed aan toetsing? Naar schatting besteden docenten zo’n 30 procent van hun onderwijstijd aan toetsing, dat wil zeggen aan het maken, het organiseren, afnemen en nakijken ervan (Pilot 1998). In zijn algemeenheid is natuurlijk niet vast te stellen hoeveel tijd het toetsen kost, omdat dat afhangt van het vakgebied, aantallen studenten en hoe de lokale organisatie geregeld is. Maar ook als het toetsen 20 procent van de docententijd zou kosten, gaat het om een economisch belang van jewelste. Duidelijk is in elk geval dat nakijken arbeidsintensief is. Alleen al vanuit dat perspectief is het interessant om te proberen alternatieven of verbeteringen te vinden.

Een summatieve toets is effectief als voldaan wordt aan de complete lijst van kwaliteitseisen voor validiteit en betrouwbaarheid. Voor de certificeringsfunctie zijn dat andere eisen dan voor de formatieve of de zelftoets. De efficiëntie kan met ICT op verschillende manier vergroot worden, namelijk door: • beheer en administratie van resultaten te automatiseren; • samenwerking met anderen (deskundigen, opleidingen, andere vakgenoten); • toepassing van dezelfde toetsing voor meer studenten (schaalvergroting); • besparing van studenten- en docententijd door kortere toetsen (bij gelijke kwaliteit) of • de toetskwaliteit te verhogen (bij gelijke kosten). Soms is er niet veel op tegen om de efficiëntie te verlagen. Bijvoorbeeld als kwaliteitsstijging echt noodzakelijk is of als op andere aspecten van het onderwijs kosten bespaard kunnen worden. Er kan dan een soort uitruil plaatsvinden tussen bijvoorbeeld contacttijd van het onderwijs en tijd voor toetsing. Het inzetten van hetzelfde toetsmiddel voor verschillende doeleinden kan minder effectief zijn, omdat de gestelde kwaliteitseisen zo verschillend zijn. Met voldoende inzicht in het ontwikkelen van toetsvragen en toetsen kunnen desondanks wel tegelijkertijd verschillende varianten van toetsen en


pagina 37 van 37

toetsitems ontwikkeld worden Dit kan leiden tot een efficiënter onderwijsontwikkelings- en uitvoeringsproces.

3.2 Beleid op instellingsniveau Vanuit instellingsniveau is de roep om flexibilisering van onderwijs en toetsing vaak het meest ambitieus. Bestuurders en managers zouden graag met hun onderwijs omgaan als met een doos lego. Voor elke vraag kan, met kleine standaardblokjes, voor iedere student een specifiek onderwijsaanbod worden gecreëerd. Door te spelen met de soort, de grootte en de kleuren van de blokjes, kan een variatie aan bij elkaar behorende grotere bouwwerken worden aangeboden. Helaas is het onderwijs wat minder flexibel dan dat. Veel zaken binnen het onderwijs zijn moeilijk in een bepaalde richting te ‘kneden’, laat staan te veranderen. Onderwijs aanbieden dat geschikt is voor zowel deeltijdstudenten als voltijdstudenten is al een hele opgave. Vaak wordt voor beiden een compleet ander programma bedacht, maar net zo vaak krijgen deeltijders een afgeslankte versie van het onderwijs van de voltijders voorgeschoteld of moeten deeltijders zich maar schikken naar de voltijders. ICT-middelen maken een grotere flexibilisering van het onderwijs mogelijk, maar niet alles kan. Om te beargumenteren welke keuze gemaakt moeten worden is het essentieel dat een instelling beleid formuleert. Zonder dergelijk beleid zullen investeringen in flexibeler toetsen op langere termijn verloren moeite blijken te zijn. Daarnaast moet de instelling ook oog hebben voor de wensen en behoeften die spelen ‘op de werkvloer’. De werkvloer bestaat in dit verband uit het management van de opleidingen en de docenten, waarbij docenten professionals zijn op hun vakgebied en willen werken met een gevoel van ‘academische vrijheid’. Hieronder bespreken we de verschillende mogelijkheden van instellingen om het beleid op toetsgebied vorm te geven. Allereerst gaan we in op het toetsbeleid zelf. Daarna komen verandermanagement, voorwaardenscheppend beleid en sturend beleid aan de orde. Aan het slot van deze paragraaf over de armslag voor instellingen bespreken we ook de financiële consequenties van deze beleidsvormen.

3.2.1 Toetsbeleid

Bij veel instellingen voor hoger onderwijs staat het hebben of ontwikkelen van centraal toetsbeleid sterk in de belangstelling. Het besef groeit dat toetsing een belangrijk en integraal onderdeel van het onderwijs vormt en dat om vele redenen een centrale visie, strategie en beleid op dat terrein noodzakelijk zijn (Jaspers en Schade 2002). In het Digitale Universiteitproject ‘Toetsplanontwikkeling’ wordt veel aandacht geschonken aan dat aspect (Polderdijk, Volder et al. april 2004). Wat is goed toetsbeleid? Schade en Jaspers (1997) schrijven daarover het volgende. “Toetsbeleid wordt onder andere bepaald door externe (wettelijke) regels, zoals voorgeschreven in de Wet hoger onderwijs en wetenschappelijk onderzoek (WHW), en door het stelsel van visitatie en accreditatie. Daarnaast zijn allerlei interne factoren van onderwijskundige, organisatorische, financiële en personele aard van invloed op het toetsbeleid. Vast staat in ieder geval dat toetsing een vak apart is en een prominente rol dient te vervullen in het onderwijsleerproces.”


pagina 38 van 38

Toetsbeleid is uiteindelijk de keuze uit de methoden, de mensen en de middelen waarmee de opleiding doelen wil realiseren ten aanzien van het beoordelen van competenties van de student. In deze doelen dienen prioriteiten gesteld te worden, omdat niet alles mogelijk is en bovendien niet alles haalbaar is. Vragen die bij de formulering van toetsbeleid beantwoord moeten worden, zijn: • Heeft de opleiding kaderstellend toetsbeleid geformuleerd? • Wat is het doel van het geformuleerde beleid? • Wat betekent het gewenste beleid voor de huidige manier van toetsing? • Wat betekent het beleid voor de toetscultuur van de opleiding? • Is het onderwijs vertaald naar adequate toetsvormen? • Is de onderwijsvisie zichtbaar in het toetsbeleid? • Wat is de invloed van de toetsen op het studeergedrag van de student? • Wordt de kwaliteit van de toetsing bewaakt door reflectie en evaluatie? • Worden studenten ingeschakeld in het ontwikkelen en beoordelen van toetsen? • Is het toetsbeleid betaalbaar? • Zijn de toetsen te organiseren voor onderwijsgevenden, studenten en onderwijsorganisatie? • Zijn procedures transparant en beoordeelbaar? • Hoe beoordelen studenten het toetssysteem? • Bevordert het toetsbeleid doorstroom van studenten? • Voldoet het toetsbeleid aan formele kaders en externe regelgeving? • Welke deskundigheidsbevordering hebben onderwijsgevenden nodig ten aanzien van

toetsing? Kortom: veel vragen die beantwoord moeten worden waarbij er vanuit het centrale niveau sprake moet zijn van luisteren naar de wensen, het scheppen van randvoorwaarden en tegelijkertijd sturen. Dit proces wordt bij verschillende instellingen met een grote variëteit aan diepgang en succes ingezet. Daarbij moet ook bedacht worden dat de operationalisering op drie niveaus gestalte krijgt, namelijk op het niveau van de instelling (macro), de opleiding of faculteit, (meso), vakgroepen, disciplines en individuele docenten (micro). Binnen deze drie niveaus worden weer grote en vooral veel kleine beslissingen genomen over de opzet en de vormgeving van de toetsing en de inzet van digitale middelen hierbij. Hoe, welke en met welke mate van succes en coherentie innovaties op toetsgebied plaatsvinden is afhankelijk van de organisatie van een onderwijsinstelling en van de verdeling van taken.

3.2.2 Verandermanagement

Computers zijn op steeds grotere schaal beschikbaar in onderwijsinstellingen en de software wordt steeds gebruiksvriendelijker. Ook het gebruik van elektronische leeromgevingen neemt toe. Hoe kunnen we dan bevorderen dat toetsen met ICT meer benut wordt binnen onderwijs? Het innoveren van het onderwijs door verrijking met zelftoetsen, formatieve en summatieve toetsmogelijkheden vraagt om een expliciete innovatiestrategie en veranderingsaanpak. Het succes van die veranderingsaanpak wordt uitgedrukt door het resultaat dat gerealiseerd is of het effect dat tot stand gebracht is (Twijnstra en Gudde 2003). Veranderen heeft echter niet alleen betrekking op een resultaat, maar ook op een proces: de weg van de ene toestand naar een andere of de werkwijze die gevolgd wordt. Daarnaast heeft veranderen onbewustere betekenissen die de zienswijzen en strategieën betreffen die achter veranderingen schuilgaan. Bekendheid met deze zienswijzen blijkt een krachtig middel om communicatie tussen managers, medewerkers en adviseurs eenduidiger en helderder te maken. Veranderen is nodig om ICT een grotere rol te laten spelen in het onderwijs. In dat opzicht behoort verandermanagement per definitie tot de verantwoordelijkheid van het management van een instelling of opleiding.


pagina 39 van 39

Voor zowel kleine als complexe toetsinnovaties moet er heel wat gebeuren. Innovaties worden bijna altijd in projectvorm uitgevoerd en bij innovatie op opleidingsniveau moet een tijdpad uitgezet worden. Voor een verandering die het niveau van een individuele docent overstijgt moet er een nieuwe organisatie opgezet worden voor het toetsen. Ook moet er voldoende aandacht besteed worden aan de betrokkenen bij de innovatie. De vernieuwing kan namelijk pas slagen als de betrokkenen zich achter de vernieuwing opstellen. Hiervoor moet gecommuniceerd worden en vaak is het ook nodig dat de betrokkenen (meer) kennis en kunde op toetsgebied opdoen. Het is niet eenvoudig om een dergelijk traject goed te doorlopen (Hermans 2001). Over projectmatig werken en veranderkunde is veel literatuur beschikbaar (Kotter 1998; Boonstra 2000; Caluwé en Vermaak 2002; Kor 2002). Ook binnen het project ‘Portfolio Implementatie’ van de Digitale Universiteit is op dat terrein veel informatie verzameld die ook van toepassing is op het realiseren van flexibel toetsen (zie http://www.du.nl/portfolioimplementatie voor meer informatie). In dit boek willen we echter onderstaande aanwijzingen geven waarvan we denken dat ze vooral op het gebied van flexibel toetsen als ‘gouden regels’ kunnen worden gezien. Planmatige aanpak Brands (Brands 2001) schrijft het volgende over de invoering van ICT in het onderwijs. “Het is nogal opvallend hoezeer in tal van publicaties de nadruk wordt gelegd op de planmatigheid waarmee ICT ingevoerd en versterkt zou moeten worden. […] De gedachte echter dat het gebruik van ICT op strategisch niveau planmatig aangepakt moet en kan worden, berust enerzijds op een (tamelijk hardnekkig) misverstand en anderzijds op een bureaucratische noodzaak. Het misverstand is dat strategievorming een (gezamenlijk) rationeel proces is. In werkelijkheid is het enerzijds vrij onbewust meegaan met wat ieder op een bepaald moment tamelijk vanzelfsprekend acht en anderzijds is het juist het (telkens weer opnieuw) zien van de mogelijkheden en kansen in een veranderende omgeving, die juist niet voorbedacht konden worden. Op een terrein waar ook deskundigen nauwelijks harde voorspellingen over toekomstige gebruiksmogelijkheden kunnen doen, is des te meer sprake van kansen zien (door de voorlopers) en op een gegeven moment meedoen.” Zeker het wetenschappelijk onderwijs heeft karakteristieken die planmatige verandering moeilijk maken: • de academische cultuur is zeer individualistisch; • autonomie en academische vrijheid worden gekoesterd; • universitaire systemen en structuren zijn zo ingesleten, dat iedere verandering langzaam

gaat, voortdurend aandacht behoeft en complex is. Realistische doelstellingen In aansluiting daarop geeft Van der Vleuten (Vleuten en Daniëls 2002) nog een aantal andere aanwijzingen om de kans op succes van innovatie op toetsgebied te vergroten. De belangrijkste aanwijzing daarbij is dat bij de formulering van doelen van innovaties de verwachtingen vaak niet realistisch zijn: hoge ambities worden duur betaald. Verstandiger is de ambities realistisch te formuleren: • erken dat de meerwaarde van ICT vaker ligt in efficiëntiebevordering dan in een echte

educatieve meerwaarde; • erken dat onderwijskundige meerwaarde komt in kleine stapjes; • bedenk geen problemen voor technische oplossingen; • koop in plaats van maak, want zelf maken is duur en gevaarlijk;

http://www.du.nl/portfolioimplementatie


pagina 40 van 40

• maak het samen en houd het simpel. Tot slot kan gesteld worden dat voor een succesvol veranderingsproces in dat opzicht minimaal nodig is: • een gepassioneerde leider; • een gepassioneerd ‘product champion’: iemand die gelooft in de kracht van een bepaald idee. Succesvol veranderingsproces in acht stappen Om dat kracht bij te zetten citeren we hier John Kotter (Kotter 1998), die acht stappen in een grootschalig veranderingsproces aangeeft die de kans op succes vergroten: 1. Creëer een dwingende noodzaak

Zonder een duidelijke noodzaakbeleving komen mensen niet in beweging. De noodzaak dient voelbaar te zijn.

2. Formeer een krachtig en leidend team Een sterk en krachtig ‘leidend team’, met autoriteit, leiderschapskwaliteiten, deskundigheid en geloofwaardigheid, is onontbeerlijk. Uit analyses blijkt dat leiderschap voor 25 procent uit management bestaat en voor de rest uit echt leiderschap. Het management behartigt de dagelijkse zaken, zorgt voor consolidatie, planning/budgettering, organiseren/bemensen, controle en ziet zo toe op orde en voorspelbaarheid. Leiderschap is meer gericht op de toekomst. Geeft nieuwe richtingen aan, zorgt voor de verbindingen, motiveert, inspireert en brengt de veranderingen op gang.

3. Ontwikkel een heldere visie De visie en de doelen moeten helder zijn, opdat de richting bekend is. Beide dienen herkenbaar zijn voor medewerkers.

4. Communiceer die visie Communicatie is een onmisbaar element in het veranderingstraject. Duidelijke, heldere, open en eerlijke communicatie bevordert het veranderingsklimaat. Een visie moet daarbij niet vier of vijf keer worden gecommuniceerd, maar voortdurend, waarschijnlijk tientallen tot honderden malen.

5. Rust anderen toe om naar de visie te handelen Betrek medewerkers bij het invullen van de gewenste veranderingen. Beloon initiatieven die passen binnen de gewenste veranderingen, pak obstructie aan.

6. Plan en zorg voor kortetermijnwinsten Creëer meer draagvlak door aan te tonen dat met de veranderingen zichtbare of meetbare verbeteringen worden geboekt.

7. Consolideer de winst en vergroot deze Het is belangrijk tempo in de veranderingen te houden. Timing en introductie van steeds nieuwe stappen houden het veranderingsproces in gang. In de dagelijks praktijk komt bij veel veranderingen de ‘waaromvraag’ niet of nauwelijks aan de orde. Het kan verhelderd zijn de vraag te stellen wat er gebeurt als de veranderingen niet worden doorgevoerd. Alle belanghebbende groepen dienen de urgentie te voelen.

8. Institutionaliseer de nieuwe aanpak Zorg dat veranderingen niet tijdelijk van aard zijn. Zij dienen ingebed te worden in de dagelijkse handelingen en worden overgedragen aan nieuwkomers.

3.2.3 Voorwaardenscheppend beleid

Welke activiteiten en voorzieningen kunnen nu op centraal instellingsniveau worden gerealiseerd om flexibilisering van toetsing op de werkvloer uiteindelijk mogelijk te maken? Op centraal niveau moeten op zijn minst de technische en organisatorische randvoorwaarden worden gecreëerd om verdere innovatie met ICT mogelijk te maken. Daarin spelen de centrale eenheden van instellingen


pagina 41 van 41

voor hoger onderwijs de hoofdrol. Instellingsbreed moet de expertise worden gebundeld en moeten standaardvoorzieningen worden gecreëerd. Dit gaat de armslag van opleidingen – laat staan individuele docenten – namelijk te boven. In dit kader moeten we vaststellen dat de meeste instellingen op centraal niveau beschikken over een service voor de zogenoemde tentamenanalyse. Het betreft dan over het algemeen een deskundig medewerker en apparatuur om automatisch gestandaardiseerd antwoordformulieren te verwerken en te analyseren. Als het erom gaat toetsen met ICT verder te flexibiliseren, zullen daar diensten aan toegevoegd moeten worden. Vooral onderwijsinstellingen met grote aantallen (>~3000) studenten kunnen veel voordeel halen uit een centraal toetssysteem waarin naast de reguliere ‘tentamenverwerking’ ook diensten worden opgenomen om itembanken aan te leggen, toetsen te genereren en summatieve beeldschermafname mogelijk te maken. Deze diensten moeten organisatorische, technische, didactische, juridische en toetstechnische kennis en kunde bieden om een dergelijk systeem op de werkvloer te ondersteunen en succesvol in te zetten. Dat resulteert in iets wat we een centrale toetsservice kunnen noemen. Zo’n centrale service is een noodzakelijke voorwaarde om toetsen te kunnen standaardiseren en van daaruit te flexibiliseren. De portee van dit boek is dat een dergelijke faciliteit en de ondersteuning in de toekomst tot de reguliere infrastructuur van een onderwijsinstelling gerekend worden. Een aantal instellingen heeft al een centraal systeem, maar zijn nog in de beginfase van het opzetten van een toetsorganisatie. Vooral dat laatste wordt verder uitgewerkt in hoofdstuk 4.

3.2.4 Sturend beleid

Naast het scheppen van randvoorwaarden moeten instellingen ook aangeven welke functies toetsvragen en toetsen kunnen dienen en hoe ze ingebed moeten worden in het onderwijs. Hiervoor kunnen de instellingen richtlijnen geven die opleidingen en docenten kunnen helpen te bepalen welke soort en welke kwantiteit toetsvragen en toetsen ze moeten inzetten. Daarnaast kunnen de instellingen eisen stellen aan de kwaliteit van de toetsing.

Kader 9 Voorschrijven van tussentijdse toetsen aan de Katholieke Universiteit van Leuven

In het academiejaar 2001-2002 is de KU Leuven overgegaan van een jaarexamensysteem naar een semesterexamensysteem. Bij de invoering werd grote aandacht besteed aan ondersteuningsmaatregelen voor eerstejaarsstudenten. Een van deze maatregelen was de introductie van tussentijdse toetsen (Huyck 2002). Deze toetsen zijn bedoeld om, als formatieve evaluatie, studenten te ondersteunen in het verwerken van de leerstof en om zo nodig hun leergedrag bij te sturen. Om dit proces voor docenten te faciliteren, kunnen docenten voor het aanmaken en aanbieden van hun tussentijdse toets(en) gebruikmaken van een webgebaseerd toetsplatform, dat de KU Leuven centraal aanbiedt.

Zoals we eerder hebben aangegeven, speelt het beheer van de toetsen en de itembank bij centraal toetsbeleid een grote rol. Een van de belangrijkste problemen bij het opzetten en beheren van een centrale itembank is dat de structuur, de kwaliteitscontrole en de benodigde communicatie rondom het systeem veel complexer zijn dan wanneer een docent zijn eigen toetsvragen beheert, zie o.a. Leijen (Leijen 2002). De sturende rol van het toetsbeleid moet daarom op alle fronten en niveaus ondersteund worden, zie o.a. Wolters (Wolters 1999). Toetsitems en toetsen moeten via geëigende schijven behandeld worden, formeel worden vastgelegd en aan kwaliteitscontrole worden


pagina 42 van 42

onderworpen. Het opbouwen van een groot en kwalitatief goed bestand is dus een onderneming op zich, zoals ook blijkt uit onderstaand voorbeeld.

Kader 10 Fontys Toets- en Evaluatie Service Organisatie (FTESO)

Binnen Fontys Hogescholen heeft de afdeling Onderwijs van het Facilitair Bedrijf met ingang van 1 januari 2004 de dienstverlening FTESO gestart. De dienstverlening bestaat uit twee delen: enerzijds de centrale verwerking van papieren toetsen (op termijn ook van beeldschermtoetsen en evaluaties) en anderzijds ondersteuning bij de implementatie van het itembanksysteem en toetsorganisatie. Deze twee delen kunnen uiteraard ook beide plaatsvinden. Ter voorbereiding is het gehele toetsproces in 2003 uiteengerafeld in verschillende processtappen. Vervolgens is vastgesteld welke van de processtappen door wie zou moeten worden uitgevoerd. Hieronder als voorbeeld de fase Construeren items:

Processen

Type

taak

Exam

enco

mm

issi

e

Toet

scom

mis

sie

Scre

enin

gsco

mm

issi

e

Doc

ent

Func

t. aa

nspr

eekp

unt H

S

Adm

in. H

S

Surv

eilla

nten

Adm

inis

tratie

Func

t. Be

heer

Hel

pdes

k

Tech

nisc

h - e

n a

pplic

atie

behe

er

4.3.2 Construeren itemsv Verdelen van taken voor de constructie van de items

onder de docenten (evt. op contractbasis)x

u Signaleren dat nieuwe items nodig zijn x xv Geven van opdracht tot het produceren van items xv Ontwikkelen of wijzigen van items xu Invoeren items (met status initieel) x xv+u Screenen van nieuwe of herschreven items op basis

van vastgestelde criteria inhoudelijk/vraagtechnischx

v+u Screenen van nieuwe of herschreven items op basis van vastgestelde criteria vormtechnisch (metadata)

x

u Statuswijziging items: vrijgave voor toets x

Verantwoordelijkheid resp. uitvoering door:

Decentraal Centraal

In dit schema worden de taken voor de verschillende rollen duidelijk. Voor de andere fasen van het toetsproces heeft deze uitsplitsing ook plaatsgevonden.

3.2.5 Financiële consequenties

De verantwoording van de financiering van flexibilisering moet onderdeel zijn van het beleid van een instelling. Bij de opstelling van financieringsmodellen wordt vaak een belangrijk aspect veronachtzaamd: innovaties moeten verankerd worden en dat heeft langetermijn financiële consequenties. Projecten zijn nodig om innovaties te initiëren en te ontwikkelen (systemen en werkwijzen). Wat daarna echter vaak vergeten wordt is dat een gerealiseerd systeem met werkwijze via een implementatiefase (bijvoorbeeld scholing) naar een exploitatiefase en institutionalisatiefase moet worden geleid (bijvoorbeeld ondersteuning, beheer, uitbreiding, aanpassing, integratie van systemen). Dergelijke systemen brengen ook na afloop van het project – en tot in lengte van dagen – kosten met zich mee. Binnen de uitvoering van het initiële project dient daarom veel aandacht te zijn voor dat aspect. In het licht van flexibilisering van toetsing moeten instellingen voor hoger onderwijs in hun langetermijnbegroting dus eigenlijk al aanzienlijke budgetten opnemen voor toetsing en assessment. Het is duidelijk: flexibiliseren kost geld. Welke mogelijkheden hebben instellingen om dat geld te vergaren? Dan kan ten eerste door centrale financiering door ‘afroming’. Andere mogelijkheden zijn


pagina 43 van 43

decentrale financiering en gedifferentieerde financiering. Hieronder bespreken we deze financiële mogelijkheden meer in detail. Centrale financiering door ‘afroming’ Een instelling kan de financiering voor flexibilisering ten eerste krijgen via afroming van de financiële toewijzing aan opleidingen. Uit de centrale financiële beleidsruimte die hierdoor ontstaat, kunnen deze diensten aan opleidingen ‘gratis’ worden aangeboden. Decentrale financiering Een tweede mogelijkheid is dat opleidingen vergoedingen betalen voor het gebruik van de centraal ondersteunde systemen en organisatie. De hoogte van de vergoeding kan bijvoorbeeld gebaseerd zijn op het aantal studenten dat aan een opleiding is ingeschreven of het aantal cursussen dat aangeboden wordt. In feite vindt hier afroming plaats op opleidingsniveau. De voordelen van deze aanpak zijn dat: • opleidingen bewuster zijn van de kosten van dergelijke systemen; • opleiding meer aandacht zullen hebben om deze systemen met rendement te exploiteren; • opleidingen meer aandacht zullen hebben voor de implementatie van deze systemen. Het nadeel van deze aanpak is dat opleidingen de investering en doorlopende kosten van dergelijke systemen moeten afwegen ten opzichte van andere investeringen. De kans is aanwezig dat daarom de prioriteit ergens anders wordt gelegd. Gedifferentieerde financiering Een derde mogelijkheid om de financiering voor flexibilisering rond te krijgen is dat de systemen worden bekostigd per cursus of per toets. Maatgevend is dan hoe vaak het systeem wordt gebruikt of hoeveel toetsen ermee worden afgenomen. De voor- en nadelen zoals genoemd bij ‘decentrale financiering’ zullen dan echter nog scherper zichtbaar worden. De huidige financieringsmethodiek van opleidingen en de geringe budgetten voor onderwijsuitvoering maakt dit financieringssysteem niet realistisch.

3.2.6 Rekenvoorbeelden

Een aantal instellingen voor hoger onderwijs speelt met de gedachte om een gezamenlijk en gespecialiseerd toetsservicecentrum in te richten. In zo’n centrum wordt expertise op het terrein van toetsen en assessment gebundeld, maar zijn ook de middelen samengebracht om deze processen te ondersteunen of uit te voeren. Een dergelijk centrum zou deel uit kunnen maken van een onderwijsinstituut. Centrale voorzieningen voor itembanking Aan de hand van een eenvoudig rekenvoorbeeld laten we zien wat de kosten kunnen zijn voor een instelling om een ‘gewone’ tentamenzaal te gebruiken en in stand te houden voor pen-en-papiertoetsen die verwerkt worden met behulp van schrapkaarten. Dit voorbeeld zullen we gebruiken als referentie voor de kosten voor certificerende beeldschermtoetsing. In onderstaande berekening nemen we daarbij aan dat een instelling in ieder geval een itembanksysteem gaat voeren, maar verwaarlozen wij de investering die gedaan moet worden om toetsitems te ontwikkelen. Ten eerste geven we een voorbeeld van de kosten die gemoeid zijn met een centraal te beheren en ontsluiten itembanksysteem.


pagina 44 van 44

Investering servers en netwerk € 40.000 Afschrijvingstermijn 5 jaar

Afschrijving servers en netwerk per jaar € 8.000 Licentiekosten toetssoftware € 20.000 Systeembeheer, functioneel beheerkosten per jaar 1,0 fte € 40.000 Scholing, voorlichting, ondersteuning docenten 1,0 fte € 40.000 Totaal per jaar 108.000€ Ten tweede schetsen we in onderstaande berekening de kosten voor het afnemen van toetsen. Daarbij gaan we uit van toetsing in een zaal waarin 200 studenten tegelijkertijd kunnen worden getoetst en dat er 4 toetsperiodes zijn die elk 2 weken duren. Per dag kunnen 4 toetsen worden afgenomen. Kosten gewone tentamenzaal met schriftelijke toetsing per jaarAantal te toetsen studenten 4.000Aantal toetsen per student per tentamenperiode 2Aantal tentamenperiodes 4Aantal toetsen in de zaal per student per jaar 8Totaal af te nemen aantal toetsen 32.000

Duur tentamenperiode 2Maximaal aantal studenten in zaal 200 Aantal toetsen per dag 4Aantal verschillende toetsen per periode derhalve 40Maximaal aantal toetsafnames 32.000

Kosten itembanksysteem per jaar € 108.000

M2-prijs van toetszaal per jaar € 300 per m2Benodigde ruimte per student 3 m2Totaal oppervlak 600 m2Totaal zaalkosten € 180.000 Zaalbezetting per jaar 8 weken 0,2 Zaalbegeleiding/surveillance per jaar (2 personen) 0,4 fte € 16.000 Totaal/jaar € 304.000 Kosten per student/jaar € 76

Totaal per toets € 9,50

Om het itembankprogramma en het toetsafnameprogramma vervolgens te kunnen benutten voor gecontroleerde formatieve en summatieve beeldschermtoetsen is eigenlijk een beveiligde pc-infrastructuur noodzakelijk. Tot op heden is bij geen enkele instelling een dergelijk centrum speciaal en alleen voor dit doel gerealiseerd, maar hieronder werken we een fictief voorbeeld uit, uitgaande van een fysieke pc-zaal omgeving voor grootschalige summatieve toetsing (200 studenten tegelijkertijd). Dit leidt tot de volgende berekening.


pagina 45 van 45

Aantal tentamenperiodes 4Aantal toetsen in de zaal per student per jaar 8Totaalaantal af te nemen toetsen 32.000

Duur tentamenperiode 2 wekenMaximaal aantal studenten in zaal 200 Aantal toetsen per dag 4Aantal verschillende toetsen per periode 40Maximaal aantal toetsafnames 32.000

M2-prijs zaal per jaar € 300 Benodigde ruimte per student 4 m2Benodigd totaal oppervlak 800 m2Totaal zaal per jaar € 240.000

nieuwprijs werkstation € 1.000 werkstations 200 stuks

afschrijvingstermijn 3 jaarafschrijving werkstation per jaar € 333

Kosten werkstations per jaar € 66.667

Kosten itembanksysteem per jaar € 108.000

Zaalbezetting per jaar 8 wekenZaalbegeleiding/surveillance per jaar (2 personen) 0,4 fte € 16.000 Totaal/jaar € 430.667

Kosten per student/jaar € 108 Kosten per toets € 13,46

Aan de hand van dit voorbeeld kunnen we vaststellen dat met een jaarlijkse investering van ongeveer k€ 125 de kosten per afgenomen toets (ten opzichte van pen-en-papiertoetsing) toenemen met ongeveer € 4,-. Deze jaarlijkse kosten en toename van prijs per afgenomen toets zijn wellicht acceptabel in het licht van de didactische voordelen en kwaliteitsverbetering die nagestreefd worden. Daarnaast gaan we in het rekenmodel uit van een zaalbezetting van slechts 20 procent van het academisch jaar (8 van de 40 weken). De berekening ziet er anders uit als de zaalvoorziening in de andere delen van het academisch jaar gebruikt wordt voor gewone ‘werkplekken’. Daarmee kan een belangrijk deel van investerings- en afschrijvingskosten ‘terugverdiend’ worden. Sterker nog, mogelijk kan het inzetten als beveiligde toetszaal juist de investering in dergelijk grootschalige voorzieningen interessanter maken. Bovendien kan de zaal in de tussenliggende periodes ook gebruikt worden als certificerende toetsomgeving; bijvoorbeeld om hertoetsen af te nemen. De casussen van de TU-Delft, Hanzehogeschool Groningen, Saxion Hogescholen en de University of Dundee op de website van Flexibilisering van Toetsing van de Digitale Universiteit laten zien dat deze aanpak goed kan werken.

Kader 11 University of Dundee (Parsons 2003, 2003)

In 2001 heeft het Universiteitsbestuur van de Universiteit of Dundee een signaal van de ‘werkvloer’ opgepikt. Bij de faculteit Life Science wordt veelvuldig gebruik gemaakt van Questionmark Perception voor het maken van zelftoetsen, tutorials en het afnemen van tentamens. De faculteit brengt dit onder de aandacht van het Universiteitsbestuur met het verzoek of dit initiatief Universiteitsbreed navolging kan krijgen. Het Universiteitsbestuur is zeer ontvankelijk voor dit initiatief. Het speelt al langer met de gedachte om het leren met ICT en toetsen en ICT hoger op de Universitaire agenda te krijgen. Ze besluiten daarop om een flinke investering te plegen. Het uitbouwen van de e-learninginfrastructuur wordt toegewezen aan de Centre for Learning and


pagina 46 van 46

Teaching van de Universiteit. Een senior projectleider wordt belast met deze taak. Op de korte termijn krijgen ze budget om de digitale leeromgeving Blackboard te installeren en het toetsysteem Questionmark Perception. Voor de langere termijn wordt budget gereserveerd om het systeem goed te implementeren en exploiteren. Technisch wordt het systeem grondig opgezet en er worden koppelingen gemaakt tussen verschillende omgevingen. Het team wordt uitgebreid met een aantal specialisten om Questionmark Perception goed te ondersteunen: een technisch beheerder die het systeem in de lucht moet houden, een toetsdeskundige die tevens zeer IT-vaardig is om docenten te scholen en te ondersteunen bij het ontwikkelen van toetsen en het verwerken van toetsresultaten. Ook de bestaande IT-dienst wordt ook in het proces betrokken en zij geven actief ondersteuning. De totale unit opereert onder de naam ‘Central Assessment Support’. Er wordt door de unit actief ondersteuning verleend aan de opleidingen om Questionmark Perception zowel voor zelftoetsing als summatieve toetsing in te zetten. Met name voor de summatieve toetsing verlenen ze al het werk dat nodig is om docenten en opleidingen over de streep te trekken om deze toetsvorm in te zetten. Daartoe zijn draaiboeken ontwikkeld en zijn voorzieningen getroffen om in diverse PC-zalen onder toezicht toetsen af te kunnen nemen. Op een dergelijk toetsmoment staan de IT-dienst en de toetsdeskundige paraat om de docent te ondersteunen en eventuele technische problemen direct op te lossen.

Het resultaat van deze investering en het in het leven geroepen team is dat de University of Dundee al in 2003 op een grootschalige en flexibele wijze zowel formatieve als summatieve toetsen aan haar studenten voor kan leggen. Zo worden er soms al 1700 formative toetsen per dag


pagina 47 van 47

afgelegd en worden er meer dan 50 summatieve toetsen per jaar afgenomen. Een verdere toename van deze aantallen wordt verwacht. Van deze casus komt een video beschikbaar op de internetsite Flexibilisering van Toetsing van de Digitale Universiteit http://www.du.nl/flextoets

Kader 12 Deeltoetsen op de TU-Delft (Staal, Kunst et al. 1993; Staal, Boekbinder et al. 1994)

In het begin van de jaren negentig ziet de vakgroep mechanica van de faculteit Werktuigbouwkunde van de Technische Universiteit Delft zich genoodzaakt om drastisch te gaan werken aan het verbeteren van het rendement van haar inleidende mechanica cursussen. De studenten besteden over het algemeen te weinig tijd aan deze vakken, het tijdsbeslag op docenten om tentamens na te kijken is erg groot en de tentamenuitslagen zijn over het algemeen niet bekend binnen de termijn die gesteld is (twee weken). De vakgroep wil stimuleren dat studenten systematischer en meer ‘time on task’ aan zelfstudie doen en wil studenten daarbij gaan ondersteunen. Het idee wordt uitgewerkt om studenten de mogelijkheid te bieden om deeltoetsen te laten maken waarvan het resultaat meegenomen kan worden in het eindresultaat. Door de grote aantallen studenten is het echter niet mogelijk om dit proces handmatig te ondersteunen, maar is de wens om dit met IT middelen op de lossen. In 1990 wordt een aanvraag gedaan bij het Studeerbaarheidsfonds van de Universiteit. Het faculteitsbestuur ondersteunde de plannen. Het ontwerp werd gemaakt voor een complete toetsinfrastructuur bestaande uit: • Netwerksoftware om betrouwbaar en veilig mee te kunnen toetsen (Tempo+) • Een netwerk met fysieke toetszaal met PC’s waar 75 studenten gelijktijdig getoetst konden

worden. Deze zaal was in principe een reguliere computerzaal, maar kon met enkele ingrepen (o.a. roostering op avonduren) systematisch beschikbaar komen.

• Afspraken over een ondersteuningsinfrastructuur bestaande uit programmeurs, systeembeheerders en zaalwachten om de bedrijfszekerheid van het gehele toetssysteem te waarborgen en de logistiek van het aanbieden van de toetsen de garanderen.

• Een itembank met toetsvragen voor de verschillende deelvakgebieden en doelen (deeltoetsen met Tempo+, summatieve tentamens met Presto+)



pagina 48 van 48

In 1992 worden de eerste deeltoetsen afgenomen. Later worden ook met een iets aangepast systeem (Presto+) tentamens via het beeldscherm afgenomen. Daarna worden de zalen met een hoge bezettingsgraad ingezet voor deze toetsingsdoeleinden. Het blijkt dat er een aantoonbare stijging in het slagingspercentage kan worden vastgesteld, hoewel op meer gehoopt werd. Dan zou echter ook de rest van het onderwijs aangepakt moeten gaan worden. Ook blijkt dat er een duidelijk verband is tussen de gemiddelde score op de deeltoetsen en het tentamencijfer. Dat doet de vakgroep besluiten om studenten bij een gemiddelde score boven het cijfer 7 op de deeltoetsen vrij te stellen van het tentamen. Het zelfstudiesysteem functioneert tot en met academisch jaar 2003/2004. Voor een uitgebreidere beschrijving van deze casus verwijzen we naar de website van Flexibilisering van Toetsing van de Digitale Universiteit via http://www.du.nl/flextoets

Synergie is het sleutelwoord als het erom gaat een toetsinfrastructuur te realiseren. Synergie is nodig om de grote investering die instellingen doen in ICT-middelen en mensen rendabel in te zetten. Middelen en mensen zouden zo veel mogelijk gebruikt moeten worden voor verschillende doeleinden, om de bezettingsgraad zo hoog mogelijk te krijgen. Uitbesteding Uitbesteding aan derden is de meest rigoureuze manier om een beveiligde toetsomgeving mogelijk te maken. De instelling investeert dan zelf niet in een centraal toetsysteem, deskundigen en fysieke omgeving, maar betaalt een externe partij per afgenomen toets. Er zijn momenteel partijen op de markt die deze diensten aanbieden en de expertise in huis hebben om beeldschermtoetsen af te nemen. Zeker op het terrein van beroepsopleidingen in de informatica en kantoorautomatisering wordt deze vorm van uitbesteding van toetsing ingezet. Voorbeelden van Nederlandse bedrijven die deze diensten kunnen overnemen zijn Lamark, Andriessen, Exxin en Prometric in Nederland. In de VS en Groot-Brittannië zijn nog meer van dergelijke bedrijven. Een nadere beschrijving van Lamark is beschikbaar op de website van Flexibilisering van Toetsing. Het grote voordeel van uitbesteding is dat een instelling voor hoger onderwijs zich kan concentreren op datgene waar ze goed in is, namelijk onderwijs ontwikkelen, onderwijs verzorgen, toetsinhoud bepalen en toetsen maken. Het afnemen van de toetsen – een expertise op zich – kan worden overgelaten aan specialisten. De nadelen voor deze vorm van uitbesteding zijn natuurlijk de relatief hoge kosten. Een gemiddelde toetsafnamesessie voor één student kost ongeveer € 40,-. Ten opzichte van pen-en-papiertoetsing is dat een kostenstijging van ongeveer € 30,- per toets. Op dit moment lijkt uitbesteding daarom een weinig reële optie. Als er een instellingsbreed toetscentrum met beveiligde toetszaal beschikbaar zou zijn, kan toetsing echtere in bulk worden afgenomen. Dit zou de prijs per toets drastisch kunnen drukken. Ook zou deze optie interessant zijn voor opleidingen als de inzet van bijvoorbeeld multimediale aspecten in de toetsing belangrijk of noodzakelijk zijn.

Is betalen per toets een optie? In het Nederlandse hoger onderwijs is het niet gebruikelijk dat studenten apart betalen voor toetsing, zoals bij een rijbewijs. Een student accepteert dat hij collegegeld moet betalen en de kosten voor boeken, literatuur en readers moet dragen. Zou het niet zo kunnen zijn dat ze ook voor toetsing moeten betalen? Wat zou er dan veranderen in het denken over toetsen en ICT bij instellingen voor hoger onderwijs?



pagina 49 van 49

3.3 Beleid op het niveau van de opleiding/faculteit

Niet alleen instellingen moeten beleid formuleren op het gebied van toetsen en beoordelen, ook opleidingen en faculteiten moeten dat doen. Daarbij worden ze aan de ene kant gestuurd door het centrale instellingsbeleid, anderzijds hebben ze de verantwoordelijkheid om hun eigen richting daarin aan te geven. Hieronder maken we eerst een vergelijking van de armslag van de opleiding/faculteit met die van instellingen. Vervolgens beschrijven we hoe een opleiding/faculteit de aandacht voor flexibel toetsen kan vergroten. We sluitend deze paragraaf af met de mogelijkheid voor de opleiding/faculteit om een toetsorganisatie in te stellen.

3.3.1 Vergelijking met instellingsniveau

Ook op het niveau van opleidingen moet er gestreefd worden naar schaalvoordelen door standaardisering en specialisatie om een flexibelere inzet van toetsvragen en toetsen in het onderwijs mogelijk te maken. Daarbij is de armslag voor veel opleidingen vaak niet zo groot dat ze hun eigen medewerkers en apparatuur kunnen bekostigen om tentamenanalyses te doen. Ook het licenseren en beheren van één toetsprogramma om toetsvragen in aan te maken en beheren is vaak al te kostbaar. Daarvoor zijn voorzieningen op instellingsniveau eigenlijk onontbeerlijk. Op opleidingsniveau is dan ook zaak om de randvoorwaarden die op centraal niveau zijn geschapen zo goed mogelijk te benutten. Daarvoor is ook beleid nodig. Innovatieprojecten om dergelijk beleid te kunnen effectueren zullen wat minder ingrijpend zijn dan projecten op instellingsniveau. Toch is de inzet van het management om de juiste extra voorwaarden te creëren (tijd en middelen vrijmaken), sturing (cultuurverandering bewerkstelligen) en controle uit te oefenen (systematische evaluatie) minstens zo groot. De adviezen over verandermanagement zijn voor het niveau van de opleiding/faculteit dus minsten zo van toepassing als voor het niveau van een instelling. Ook de regels voor projectmatig werken zijn op opleidings- of vakgroepniveau goed te gebruiken. Door de wat lagere complexiteit en de grotere rol van informele afspraken kunnen deze processen echter wel eenvoudiger zijn. Bij een innovatie die een individuele docent of klein groepje van docenten uitvoert, is die complexiteit nog weer minder. Daar staat tegenover dat een klein groepje minder tijd beschikbaar heeft en dat er een groot gebrek aan expertise kan zijn. Daardoor wordt de innovatie mogelijk veel minder effectief doorlopen of leidt de innovatie tot ongewenste resultaten. Ook zullen andere delen van de opleiding of de instelling niet van de resultaten kunnen profiteren.

3.3.2 Aandacht voor toetsing vergroten

Een goed beheer en goede functionaliteit van de itembank zijn kritische succesfactoren om de itembank zo volledig mogelijk te kunnen benutten. De itembank is de basis voor bijna alle processen van de toetscyclus. Een goed gevulde itembank is in principe een kostbaar bezit en moet vanuit die optiek goed beheerd en gebruikt worden. Als het daaraan ontbreekt, zal een itembank snel een verzameling toetsvragen en toetsen van onbekende kwaliteit en inhoud bevatten die de verzameling zo goed als waardeloos maken. Het is dus noodzakelijk om gezamenlijke afspraken te maken om goed beheer en uitwisselbaarheid mogelijk te maken. Goed beheer betekent dat er voldoende capaciteit en expertise beschikbaar zijn en duidelijke procedures en werkwijzen. Goed itembankbeheer vergt bovendien expliciete bekostiging, maar hoeft niet kostbaar te zijn in verhouding tot de opbrengsten die uit dat beheer kunnen voortkomen. Als meerdere opleidingen dezelfde systemen gebruiken of afspraken maken over de uitwisselingsstandaard, worden de opbrengsten nog hoger. Afhankelijkheid van individuele


pagina 50 van 50

personen wordt geminimaliseerd als een instelling - los van onderwijsgevenden - toetsen kan samenstellen. Het vullen van een itembank is dus bij voorkeur een continu proces. Dat is over het algemeen niet in lijn met de huidige werkwijze en cultuur in het hoger beroepsonderwijs en het wetenschappelijk onderwijs. Daar worden toetsvragen en toetsen nog vaak zeer discontinu ontwikkeld: als de deadline voor de start van een cursus nadert begint men pas met het maken van bijvoorbeeld oefentoetsen. Nadert een tentamen, dan begint men met het maken van de tentamenvragen en het tentamen. Het instellen van een toetsorganisatie (zie volgende paragraaf) kan dit proces natuurlijk al verbeteren. De instelling van een toetscoördinator en een toetsteam kan de aandacht voor dit proces vergroten en de continuïteit en kwaliteit van het werk doen toenemen.

Toetsheidag Een interessante en eenvoudige mogelijkheid voor opleidingen om de aandacht voor toetsing te vergroten en het functioneren van toetsteams te verbeteren, is het organiseren van zogenoemde toetsheidagen. Toetsdeskundige Marianne Schade wordt regelmatig door opleidingen uitgenodigd om het toetsbeleid vorm te geven en helpen uitvoeren. Tijdens een toetsheidag probeert ze docenten aan het nadenken te krijgen over toetsen en het ontwikkelen van toetsen. In zo’n dag verzoekt ze alle docenten om hun onderwijsmaterialen en andere informatie over hun vakken mee te brengen. Eerst frissen de docenten hun kennis over toetsen en beoordelen op en daarna gaan ze in groepen aan de slag om systematisch toetsitems en toetsen te ontwikkelen.

3.3.3 Toetsorganisatie instellen

Op dit moment staat de docent met 'zijn' programma nog centraal bij toetsing, terwijl in het kader van flexibilisering van toetsing zoals gezegd gestreefd moet worden naar schaalvergroting, standaardisering en een collectieve verantwoordelijkheid. Hoe kan een opleiding/faculteit toetsen zo organiseren dat deze doelen tot hun recht komen? Een van de mogelijkheden hiervoor is om een toetscommissie in te stellen (Brakel en Heijmen-Versteegen 2003). Deze commissie zou moeten bevorderen dat een grote hoeveelheid niet direct samenhangende toetsen en deeltoetsen omgezet wordt naar een transparant, door de opleiding vastgesteld en uitgevoerd toetsplan. Het niveau van een opleiding is bij uitstek geschikt om het gehele toetsproces gestructureerd aan te pakken. Binnen die context kan een toetsorganisatie worden opgezet die het mogelijk maakt om op een werkbare wijze de verantwoordelijkheid te verdelen over verschillende samenwerkende partners: de directie, de opleidingscommissie, de examencommissie, de toetscommissie, het toetsbureau, secties, individuele docenten, mentoren, tutoren en assessoren en vertegenwoordigers van het werkveld. Hieronder beschrijven we een aantal van deze betrokkenen in meer detail zoals gegeven door Brakel en Heijmen (Brakel en Heijmen-Versteegen 2003). Opleidingscommissie Elke opleiding heeft een opleidingscommissie die advies uitbrengt over de onderwijs- en examenregeling (OER) en de uitvoering ervan jaarlijks beoordeelt. Benoeming en samenstelling geschieden volgens het Bestuursreglement. De helft van de commissie bestaat uit studenten. In relatie tot toetsing heeft een opleidingscommissie de volgende bevoegdheden: • advies uitbrengen over de onderwijs- en examenregeling voordat het instellingsbestuur de

regeling vaststelt;


pagina 51 van 51

• de uitvoering van de onderwijs- en examenregeling jaarlijks beoordelen; • gevraagd of ongevraagd advies uitbrengen aan de directie, mede ter kennisgeving aan de

medezeggenschapsraad van de opleiding. Examencommissie Elke opleiding heeft ook een examencommissie, die door het bevoegd gezag is aangesteld. Het bevoegd gezag mandateert deze bevoegdheid aan de instituutsdirecteur. Deze stelt het aantal leden van de examencommissie vast en benoemt de deelnemende personen. De examencommissie stelt regels vast voor de goede gang van zaken tijdens de tentamens en de in dat verband te nemen maatregelen. De examencommissie kan richtlijnen en aanwijzingen geven voor de beoordeling van degene die het tentamen aflegt en voor de vaststelling van de uitslag van het tentamen. De taken van de examencommissie zijn vastgelegd in de WHW. Toetscommissie Een toetscommissie kan zich bezighouden met: • de advisering over toetsbeleid, toetsplan en de vormgeving van toetsen binnen de opleiding; • het realiseren van toetsen of tentamens, het ontwerpen, afnemen en de beoordeling van

toetsen (op mandaat of ad hoc handelen); • het bewaken van de werkprocessen in samenwerking met een toetsbureau; • de kwaliteitsborging van de toetsen; • het bijstellen van toetsplannen. Naast de uitvoering van toetsen heeft de toetscommissie ook de taak de kwaliteit van toetsen te handhaven en te verbeteren. Zij beschikt uiteindelijk bij voorkeur ook over een procedure het totale bestand van toetsen te screenen op de relevantie voor de geformuleerde competenties of onderwijsdoelen van de opleiding. Om de toetscommissie efficiënt en daadkrachtig te kunnen laten functioneren, bestaat deze uit een beperkte groep mensen met een beperkte zittingstermijn en een roulatieschema, zodat niet de hele commissie tegelijkertijd vervangen wordt. Voor een goede uitoefening van de taken heeft een lid van de toetscommissie een substantiële inzet nodig. Een toetscommissie zou een veel centralere rol kunnen en moeten spelen in het toetsbeleid van een opleiding of faculteit om op die wijze te komen tot meer flexibilisering. Hiertoe zou de toetscommissie efficiënter moeten werken bij het doorvoeren van veranderingen binnen de opleiding. Dit is mogelijk als de toetscommissie meer verantwoordelijkheden gedelegeerd krijgt van de examencommissie dan de gebruikelijke, ietwat symbolische verantwoordelijkheid. Hoe verder de delegatie van verantwoordelijkheden voor 'het kunnen veranderen' binnen een opleiding kan gaan, hoe beter de commissie kan werken. Behalve met een toetscommissie kan ook gewerkt worden met een screeningscommissie. Zo’n commissie heeft als taak de items te screenen die docenten voor een itembank ontwikkelen. Maar de toetsorganisatie kan ook zo geregeld worden dat de toetscommissie deze taak zelf uitvoert. Toetscoördinator De toetscommissie wordt bij voorkeur geleid door een toetscoördinator. Deze coördinator onderhoudt het contact met en kan lid zijn van de examencommissie. De coördinator heeft als belangrijkste taken: • een toetsplan maken op basis van een door de opleiding vastgesteld toetskader;


pagina 52 van 52

• het toetsplan afstemmen met de staf, de leiding, de examencommissie en het toetsbureau; • de productie en constructie van nieuwe toetsitems en toetsen coördineren; • de administratie, registratie en het toetsen itembankbeheer verzorgen; • de toetsafname verwerken en organiseren; • toetsgegevens verstrekken aan de betrokkenen; • kwaliteit handhaven en de voorgaande punten voortdurend verbeteren en updaten; • de toetsing afstemmen op het bestaande beleid; • het management adviseren over de verdere ontwikkeling van het toetsbeleid. Toetsbureau Voor al het uitvoerende werk beschikt elke opleiding bij voorkeur over een toetsbureau, dat eventueel deel uitmaakt van een instellingsbrede toetsservice zoals omschreven in de vorige paragrafen. Een dergelijke toetsservice kan ondersteuning bieden bij en de uitvoering verzorgen van: • de administratie en registratie vanuit het toetsplan; • de (digitale) toetsaanmaak; • de toetsen cijferbeoordelingsverwerking; • het toetsen itembankbeheer; • de toetsgegevens; • de toetsen itemanalyses; • het updaten van toetsen en items voor een eventueel centraal toetsbureau van

samenwerkende opleidingen dat bijvoorbeeld beschikt over een digitale itembank. De uitvoering kan verzorgd worden door administratief personeel dat is bijgeschoold in toetsbeheer en toegepaste soft- en hardware. Een toetscommissie, een toetscoördinator en een toetsbureau zouden kunnen functioneren onder de noemer toetsteam. Een dergelijk toetsteam (met de hierboven beschreven activiteiten en bevoegdheden), zou uiteindelijk een fundamentelere overstap naar beeldschermtoetsing mogelijk kunnen maken. Een dergelijk team kan namelijk gezien worden als een randvoorwaarde om op enige schaal tot beeldschermtoetsing over te kunnen gaan. Elke opleiding zou moeten beschikken over een dergelijk toetsteam.

3.4 Beleid op het niveau van docenten

Instellingen en opleidingen/faculteiten hebben zo hun verantwoordelijkheden voor de juiste invulling van het beleid om flexibel toetsen mogelijk te maken, maar ook docenten kunnen hieraan wel degelijk een steentje bijdragen. In de praktijk van het dagelijks hoger onderwijs bestaat een meerderheid van de onderwijsontwikkelaars en onderwijsuitvoerders nog steeds uit zelfstandig opererend docenten. Aan deze onderwijsontwikkelaars worden hoge eisen gesteld. Ze worden geacht expert te zijn op het gebied van: • hun vakgebied • onderwijsontwerpen • onderwijsuitvoering • onderwijsontwikkelingen • toetsing Vaak is het echter zo dat ze alleen op hun vakgebied professioneel kunnen handelen, maar op onderwijskundig en didactisch gebied op een lager niveau opereren. Dat laatste geldt zeker ook op


pagina 53 van 53

het gebied van toetsing (Berkel en Bax 2002). Meestal worden ze vrijgelaten in de wijze waarop ze het onderwijs en de toetsing inrichten. Daarom worstelen veel docenten/toetsontwikkelaars niet met vragen op het terrein van validiteit en betrouwbaarheid van toetsing, maar met ogenschijnlijk meer ‘triviale’ en ‘ongedifferentieerde’ vragen zoals: • Hoe kan ik tijd besparen op toetsing? • Hoe kan ik goede vragen formuleren? • Kan ik ook open vragen automatisch laten nakijken? • Hoe kan ik studenten meer laten oefenen met vragen? • Hoe kan ik mijn investering in het ontwikkelen van toetsen en toetsvragen zo goed mogelijk

uitbaten? We zouden hier een betoog kunnen opzetten dat zou eindigen met de conclusie dat er op het niveau van de docent maar beter geen serieuze aandacht aan toetsinnovatie besteed zou moeten worden. Er zijn namelijk heel veel docenten en om een beetje vakkundig te worden op het terrein van toetsen en beoordelen is een inzet in tijd nodig die het overgrote deel van de docenten simpelweg niet heeft. Kwaliteitsverhoging en flexibilisering zou dan alleen bereikt kunnen worden via de centraal gestuurde, opgeschaalde en gespecialiseerde weg van de toetscommissie en de centrale toetsbureaus. We willen hier echter betogen dat – ondanks deze situatie – ondersteuners en beleidsmakers toch moeten worden voorzien van instrumenten om – binnen de gegeven grenzen – deze docenten te ondersteunen en op hun niveau te komen tot kwaliteitsverbetering en meer flexibilisering. Hun problemen en de kansen die zij zien moeten serieus worden genomen. De docent is de schakel naar student en elke goede verandering vertaalt zich direct naar de onderwijsuitvoering. Deze paragraaf is dan ook bedoeld om ondersteuners te helpen antwoorden te formuleren op vragen van individuele of groepen docenten. De casus uit onderstaande kader maakt bijvoorbeeld duidelijk welke ideeën docenten hebben om hun onderwijs te verbeteren door op een bepaalde manier toetsvragen en toetsen te gaan verweven in het onderwijs. De ideeën zijn veelvorming en dienen vele doelen. Voor goede communicatie met docenten is respecteren van deze ideeën en doelen belangrijk.

Kader 13 Voorbeeld: doelen die docenten nastreven en waarbij toetsen een rol spelen

Een docente van het vak Historische pedagogiek van de Faculteit Psychologie en Pedagogiek van de VU wil het onderwijs graag verbeteren. Zij vindt dat de gehele kwaliteit van de cursus verhoogd moet worden. Zij besluit om zelftoetsen te gaan maken voor studenten en deze aan studenten aan te bieden via de digitale leeromgeving Blackboard. Het inzetten van zelftoetsen via Blackboard ziet zij als een mogelijkheid om: • Colleges beter voor te kunnen bereiden. Het maken van de toetsen helpt haar om lastige

concepten beter uit te leggen tijdens het college. • De stof zelf beter te leren beheersen. Het maken van toetsen dwingt haar om de stof weer

helemaal door te pluizen. • De inhoud en leerdoelen van het vak beter te stellen. Het maken van toetsen dwingt haar om

de stof weer helemaal door te pluizen. • De studenten meer te motiveren voor het vak. Door studenten vragen te laten beantwoorden

komen ze meer spelenderwijs met de stof in aanraking. • De studenten beter voor te bereiden op de toets. Door studenten vragen te laten

beantwoorden komen ze meer spelenderwijs met de stof in aanraking. Samen met haar collega heeft ze voor elk hoofdstuk uit de literatuur vragen opgesteld. Ze hebben de hoofdstukken onderling verdeeld. Wat vonden zij zelf waardevol aan deze onderneming?


pagina 54 van 54

“Het werken hieraan heeft me veel voldoening opgeleverd en de doelen zijn ook behaald. Ik heb een veel beter inzicht gekregen in mijn eigen vak. De studenten reageerden positief, alhoewel lang niet iedereen de zelftoetsen maakte. Degenen die ze wel maakten waren bijvoorbeeld waren tijdens het college met vragen stellen. Dat maakte het college veel interessanter. De studenten in het algemeen waardeerden vooral het feit dat een deel van de vragen uit de zelftoetsen terugkwamen in de eindtoets. Dat was voor hen een goede stimulans om gebruik te maken van de zelftoetsen. De eindtoets bestond uit 60 multiplechoicevragen (waarvan 20 uit de zelftoetsen) en 10 open vragen.”

Hieronder gaan we nader in op de armslag die docenten hebben en de rol die ze kunnen spelen bij het bepalen van het toetsbeleid voor de ontwikkeling van toetsen. Een van de mogelijkheden hiervoor is samenwerking binnen een vakdiscipline.

3.4.1 Toetsontwikkeling

Docenten ontwikkelen toetsen helaas nog vaak op een achternamiddag. Dat is lastig, omdat het ontwikkelen van goede toetsvragen en toetsen veel tijd en inspanning vergt. Bovendien is hulp van ICT-tools dan vaak niet beschikbaar. Er zijn geen intelligente systemen bekend die een docent kunnen helpen goede toetsvragen te formuleren of goede toetsen samen te stellen. Toch hebben docenten wel degelijk mogelijkheden om de kwaliteit van hun toetsen te verbeteren. De belangrijkste verbetertip voor iedere docent is om elkaars toetsen te beoordelen en te verbeteren. Daarnaast kunnen individuele docenten studenten inschakelen om toetsvragen te ontwikkelen. Vaak levert dat echter niet het gewenste resultaat op. De student heeft geen mentaal beeld over de stof die belangrijk en relevant is voor de toetsing en de kwaliteit van de vragen die ze opstellen is dan ook vaak mager. Het stellen van bijvoorbeeld toepassingsvragen in gesloten vorm vergt veel expertise. Maar er zijn meer mogelijkheden om de kwaliteit van toetsvragen te verbeteren, zoals Questionbank.

Kader 14 Questionbank

Een interessante toepassing is ontwikkeld door de Faculteit der Economische Wetenschappen en Bedrijfskunde van de Vrije Universiteit. Deze faculteit heeft een omgeving gecreëerd waarin studenten zelf toetsvragen kunnen inbrengen. Door een doeltreffend systeem van beoordelen van de vragen door medestudenten, wordt er zo gedurende een cursus een compleet itembestand opgebouwd. Het doel van het systeem is om studenten gedurende de loop van een cursus acatiever met de stof om te laten gaan. Het is echter ook zo dat uit het opgebouwde bestand door de docent vragen kunnen worden overgenomen in de eindtoets. Binnen de Digitale Universiteit wordt gewerkt aan een project om dit systeem verder te ontwikkelen.

Steeds vaker worden toetsbanken meegeleverd bij studieboeken en studiemethoden. De toetsen kunnen dan meestal worden geprint of via het beeldscherm worden afgenomen. Bij het printen van deze toetsen kunnen de docenten zonder verdere ondersteuning gebruikmaken van het materiaal. Daarnaast komen er meer kant-en-klare, vrij te gebruiken toetsbanken beschikbaar. In het Engelse taalgebied zijn ze al op vele terreinen beschikbaar (zie onderstaande kaderteksten).

Kader 15 Gebruik van toetsbanken op de VU

Kant-en-klare toetsbanken komen steeds meer beschikbaar. Vooral bij Engelstalige boeken en uitgevers wordt het beschikbaar stellen van deze toetsbanken bij boeken gezien als een extra motivatie voor docenten om deze boeken voor te schrijven aan studenten. Op de Vrije Universiteit


pagina 55 van 55

is ervaring opgedaan met het gebruik van een dergelijke toetsbank bij de cursussen Marketing en Consumentengedrag. In deze modules ligt het accent op het leren kennen en in enige mate beheersen van begrippenkader en terminologie. De cursus is geheel gebaseerd op Engelstalig literatuur en het tentamen is ook gesteld in de Engelse taal. Voor de module Marketing maakt de docent gebruik van boek Consumer Behavior, waarbij ongeveer 3000 gesloten toetsvragen worden meegeleverd in een itembank van Brownstone-software. Deze software maakt het eenvoudig om deze toetsen via het internet te ontsluiten (bijvoorbeeld rechtstreeks binnen Blackboard) en om met deze vragen schriftelijke toetsen samen te stellen. Om te zorgen dat studenten niet op het verkeerde been gezet worden, neemt de docent voor aanvang van de cursus alle toetsvragen door en verwijdert hij vragen die bijvoorbeeld een hoog cultuurbepaald karakter hebben (zoals het kiezen van zeer Amerikaanse voorbeelden om vragen aan te relateren). Op deze wijze verwijdert hij zo’n 800 vragen, maar er blijven er genoeg over om een breed spectrum van onderwerpen te kunnen bevragen. De docent maakt volop gebruik van deze toetsbanken om efficiënter te kunnen werken en studenten tegelijkertijd een variëteit aan toetsvragen en toetsen te kunnen voorleggen.

De aanpak (met dezelfde software, maar dan een eerdere versie daarvan), zoals geschetst in deze casus is ook al eens beschreven door Leiblum (Leiblum 1994). Daarin trekt hij een voorzichtige conclusie dat het rendement van cursussen die op deze wijze worden ondersteund, verbeterd.

Kader 16 Dialang

Dialang is een website met daarin een groot aantal toetsen, gericht op het diagnosticeren van de beheersing van verschillende Europese talen (http://www.dialang.org). Dialang is een Europees project en gratis te gebruiken door het onderwijs. Een aantal instellingen gebruikt Dialang om buitenlandse instromers in hun opleiding te diagnosticeren op hun taalvaardigheid en om ze voldoende Nederlands of Engels te leren zodat ze kunnen deelnemen aan het reguliere onderwijsprogramma.

http://www.dialang.org


pagina 56 van 56

Toch maken docenten niet vaak gebruik van kant-en-klare toetsbanken en wisselen ze niet of nauwelijks toetsvragen met elkaar uit. Daar zijn meerdere redenen voor te noemen: • De gebruikte terminologie of notatiewijzen binnen de toetsvragen wijken af van de gebruikte

terminologie van de docent en zijn vak. • De toetsvragen zijn in een formaat opgeslagen (digitaal of op papier) die bewerking door de

docent moeilijk maakt. • De toetsvragen hebben een vraagvorm die niet geschikt is of niet past bij de onderwijsvorm

(bijvoorbeeld ja/nee-vragen versus multiplechoicevragen of casustoetsen met multiplechoicevragen).

• Er zijn zo veel toetsvragen dat een docent zich geen mentaal beeld kan vormen van de opbouw, inhoud en kwaliteit van de toetsvragen.

• De toetsvragen zijn niet terug te voeren op de door de docent gebruikte literatuur of de docent moet elke vraag apart gaan herkoppelen aan de door hem gebruikte literatuur.

• De toetsen zijn opgesteld in een buitenlandse taal. Deze problemen kunnen in principe opgelost worden door voldoende prioriteit en middelen ter beschikking te stellen om conversies te plegen of de gegevens te analyseren. In de weerbarstige onderwijspraktijk met een gebrek aan tijd, middelen en expertise is die oplossing echter nog niet dichtbij.

3.4.2 Samenwerking binnen een vakdiscipline

Toetsontwikkeling zou zeer goed in samenwerking binnen een vakdiscipline aangepakt kunnen worden. Samenwerking tussen docenten zou ertoe kunnen leiden er gezamenlijk een toetsbestand wordt opgebouwd, waarbij de bovengenoemde problemen worden ondervangen. Docenten en vakgroepen participeren zo nu en dan in landelijke of internationale netwerken. Deze kunnen een springplank vormen voor dergelijke samenwerking. Bekend in Nederland is bijvoorbeeld de Vereniging voor Wiskundeleraren (zie onderstaande kadertekst).

Kader 17 Wiskundetoetsbank

In een samenwerkingsverband van de Haagse Hogeschool, de Hogeschool Enschede, de Hogeschool Drenthe en de Hogeschool Utrecht wordt vanaf 1992 gewerkt aan het opzetten en onderhouden van een databank voor wiskundetoetsen. Inmiddels bevat deze toetsbank 2500 items, die zijn ondergebracht in acht categorieën. Die categorieën zijn elk weer onderverdeeld in subcategorieën. Het merendeel van de items bestaat uit ja/nee-beweringen, maar er zijn ook multiplechoicevragen in opgenomen. Één van de casussen op de website Flexibilisering van Toetsing gaat dieper in op dit initiatief. Ook binnen de Digitale Universiteit wordt een aantal projecten uitgevoerd om op disciplineniveau toetsen en toetsitems te ontwikkelen. We noemen hier het voorbeeld ‘Digitale Voortgangstoetsen Tweedegraads Lerarenopleidingen’. Het verschil met het voorgaande voorbeeld is echter dat de ‘Digitale Voortgangstoetsen Tweedegraads Lerarenopleidingen’ niet vanuit een vakgroep is voortgekomen, maar vanuit een onderwijs- en toetsvisie die beide betrekking hebben op een gehele opleiding. In Groot-Brittannië worden ook veel initiatieven ontplooid om gezamenlijke toetsbanken op de te zetten. Twee van deze Britse initiatieven noemen we hieronder.


pagina 57 van 57

Kader 18 Electrical and Electronic Engineering Assessment Network (White 2002)

Het e3an-project behelst het ontwikkelen van een itembank voor het vakgebied Elektrotechniek en elektronica. Het project wordt gefinancierd via projectgelden voor een periode van drie jaar. De resultaten kunnen door iedereen zonder verdere kosten worden gebruikt. In mei 2000 is een plan opgesteld hoe deze toetsbank ontwikkeld moet gaan worden. Daarin zijn een aantal belangrijke uitgangspunten geformuleerd: • er moet een netwerk van belanghebbenden worden opgebouwd; • de toetsbank moet via een peer-reviewproces worden opgebouwd; • toetsen moeten door betaalde consultants worden gemaakt en deze consultants moeten ook

in het reviewproces participeren; • de toetsen moeten op verschillende manieren geëxporteerd kunnen worden (Word, QTI,

QML); • docenten moeten zelf selecties van toetsvragen kunnen maken en wijzigingen kunnen

aanbrengen. In juni 2003 waren er al 1500 vragen in de databank opgenomen. Het ontwikkelproces is erg goed gestructureerd. Door de manier van samenwerken is de kans op implementatie in het onderwijs toegenomen.

Kader 19 LTSN Physical Sciences Introductory Chemistry

De Universiteit van Ulster heeft een project uitgevoerd dat werd gefinancierd door het ‘Learning and Teaching Support Network’ (LTSN). Doel van het project was om een toetsbank ook te gebruiken voor formatieve toetsing op het gebied van Introductory Chemistry/Biological Chemistry. In totaal zijn er 300 vragen ontwikkeld. Deze vragen zijn zonder verdere kosten downloadbaar in zowel Questionmark Perceptionformaat als QTI-formaat.

Bovenstaande voorbeelden gaan over samenwerkingsverbanden waarbij de vakdiscipline het bindende element is. Een ander, Amerikaans, initiatief betreft een samenwerkingsverband waarbij niet zozeer de vakdiscipline centraal staat, maar een bepaalde manier van activerend onderwijs. In dit onderwijs spelen concepttests een belangrijke rol (zie onderstaande kadertekst).

Kader 20 Peer Instruction, ConcepTests en Project Galileo

Binnen de context van traditionele instructie (zoals colleges) wordt in het algemeen gezocht naar technieken om grotere groepen studenten te activeren. Een vrij prominente en vaker toegepaste techniek daarin is Peer Instruction (Mazur en Crouch). Hierbij activeert de docent studenten door ze zogenaamde conceptests voor te leggen. Deze conceptuele vraag moeten studenten via onderling overleg proberen te beantwoorden tijdens een college. Het oorspronkelijke idee van deze aanpak is


pagina 58 van 58

afkomstig van Mazur van Harvard University. Het vindt vooral toepassing binnen de natuurwetenschappen. Het ontwikkelen van goede concept test is echter niet eenvoudig. Daarom heeft Mazur een website opgezet waarin concepttests kunnen worden aangemaakt, vervolgens beoordeelt het Mazurteam de vragen. Docenten maken online selecties van vragen, studenten kunnen ze online bekijken. Het materiaal is ook eenvoudig uit te printen. Aangezien Mazur het idee van concepttesting gebruikt binnen zijn onderzoek naar Physics Education, heeft hij belang bij een goede database van concepttests. Zijn inzet, financiering en gedrevenheid zorgen ervoor dat er een professionele set van concepttest beschikbaar is. Zo nu en dan voegen externe docenten daar zelf materiaal aan toe. Vooral als het gaat om vakgebieden waarop Mazur zelf niet kundig is (biologie en scheikunde) wordt de database gevuld door anderen. Helaas kunnen de vragen niet in een standaard formaat worden gedownload. Één van de casussen op de website Flexibilisering van Toetsing gaat dieper in op dit initiatief.

Een ander initiatief is voortgekomen uit een oorspronkelijk innovatieproject in de Verenigde Staten. Daarbij heeft de North Carolina State University de eerste aanzet gemaakt om een toetsbank aan te leggen, die door andere universiteiten online gebruikt kan worden. In een paar jaar is deze toetsbank uitgegroeid tot een service die commercieel haalbaar is gebleken.

Kader 21 WebAssign

WebAssign is een e-learningomgeving waarvan de assessment engine het belangrijkste onderdeel is. In de database zitten op dit moment meer dan 100.000 toetsvragen op het gebied van astronomie, biologie, scheikunde, wiskunde, natuurkunde, natuurwetenschap en statistiek. WebAssign heeft de vragen zo opgeslagen dat ze als belangrijkste zoeksleutel een studieboek hebben. Van alle grote uitgevers relateren ze de vragen aan de hoofdstukken en paragrafen uit studieboeken.

Dat maakt het gemakkelijk voor docenten om de omgeving en de toetsvragen in te zetten in het onderwijs, omdat de vragen exact ‘passen’. De complete elektronische leeromgeving maakt het bovendien eenvoudig voor docenten om het juiste materiaal te selecteren en klaar te zetten en om studenten aan te sturen en te monitoren. WebAssign werkt met een abonnementsysteem. De kosten hiervan zijn: • per docent ongeveer € 150,- per jaar • per student ongeveer € 7,- per half jaar De hoogte van deze bedragen maakt WebAssign voor veel instellingen aantrekkelijk. Voor WebAssign is levert dit business model een levensvatbaar bedrijf op.


pagina 59 van 59

3 beleid in dienst van flexibele toetsing - edugroepen...voeren komt uitgebreid aan de orde in de...

Documents