onderwijscluster: maritiem en logistiek college de ruyter scalda · jaarverslag examinering...
TRANSCRIPT
0 Jaarverslag Examinering Maritiem en Logistiek College De Ruyter – februari 2017
Jaarverslag Examinering Verslagjaar: 2016
Onderwijscluster:
Maritiem en Logistiek College De Ruyter
Scalda
1 Jaarverslag Examinering Maritiem en Logistiek College De Ruyter – februari 2017
Voorwoord
Het Maritiem & Logistiek College De Ruyter biedt kwalitatief onderscheidend, uitdagend
en praktijkgericht MBO-onderwijs aan toekomstige werknemers in het logistieke en
maritieme beroepenveld. Voor ons staat de student en het faciliteren van het individuele
leerproces centraal. Dat leerproces vindt plaats door middel van een afgewogen mix van
theorie- en praktijklessen. Het onderwijs wordt uitgevoerd door enthousiaste, deskundige
en toegankelijke vakdocenten en wordt continu getoetst in interactie met het
beroepenveld, alumni, studenten en collega’s van andere SCALDA clusters. De student
mag een hoge kwaliteit verwachten van ons onderwijs, onze organisatie en onze
informatievoorziening en mag ons hierop aanspreken. Onze nauwe contacten en
samenwerking met het beroepenveld waarborgen het continu up-to-date houden van
onze opleidingen. Hiertoe oriënteren wij ons op de nationale en internationale
ontwikkelingen. Wij gaan voor duurzaam maritiem en logistiek onderwijs waarin zowel
studenten als medewerkers continu worden gemotiveerd het beste uit zichzelf te halen.
Als Examencommissie willen we aan deze missie bijdragen door permanent de kwaliteit
van de examinering en diplomering op een onafhankelijke en deskundige manier te
monitoren en het management concreet te adviseren.
Om te waarborgen dat onze Examencommissie deskundig en onafhankelijk kon blijven
functioneren, was het van belang nadere werkafspraken met elkaar te maken om
zodoende de eventuele schijn van belangenverstrengeling te voorkomen. Dit met name
in een organisatie waar de directeur zowel financiële verantwoordelijkheid draagt als
tegelijkertijd ook voorzitter is van de Examencommissie. Voorsorterend op de
inwerkintreding van het wetsvoorstel en in afwachting van het definitieve model voor de
examenorganisatie Scalda, hebben we als examencommissie dan ook besloten, om vanaf
schooljaar 2016-2017, het voorzitterschap te mandateren aan ons externe
examencommissielid de heer Arthur Schot. Met deze mandatering zijn we ervan
overtuigd dat de vergaderingen in een veilige en open sfeer zullen blijven verlopen,
waardoor de kwaliteit van de examinering en diplomering gewaarborgd zal blijven. Als
directeur en voorzitter van de examencommissie ben ik mij ervan bewust dat ik te allen
tijde integraal verantwoordelijk blijf voor het onderwijs, de examinering en diplomering
door ons college.
In dit jaarverslag Examinering leggen we onze jaarlijkse publieke interne en externe
verantwoording af over de activiteiten van de Examencommissie over het kalenderjaar
2016. Naast het opgenomen overzicht van het aantal uitgegeven diploma’s in deze
periode geven wij u door middel van dit document ook een inzicht in de acties welke
ondernomen zijn teneinde de kwaliteit van de examinering te waarborgen en waar nodig
te verbeteren.
We blikken ook terug op een jaar waarin veel energie is gestoken om met de vernieuwde
kwalificatiestructuur en de daarmee overeenstemmende nieuwe examenprogramma’s en
examenproducten aan te slag te gaan.
We zien het als een uitdaging om de komende jaren verder te werken aan het strakker
organiseren van de onderliggende processen teneinde de kwaliteit van onze
examenorganisatie nog consistenter te kunnen waarborgen.
Dr. Henrik Stevens
Directeur
Vlissingen, 1 maart 2017
2 Jaarverslag Examinering Maritiem en Logistiek College De Ruyter – februari 2017
Inhoudsopgave jaarverslag
Terugblik organisatieaspecten examencommissie ................................................ 3
1.1. Gegevens examencommissie ................................................................... 3
1.2. Samenstelling grote examencommissie en sub-examencommissie 2016 ........ 3
1.3. Hoofdtaak grote examencommissie en sub-examencommissie ..................... 5
1.3.1 Grote examencommissie ......................................................................... 5
1.3.2 Sub-examencommissie............................................................................ 5
1.4. Organisatiestructuur en gedelegeerde taken .............................................. 5
1.5. Beschikbare middelen examencommissie verslagjaar 2016 .......................... 8
1.6. Vergadermomenten verslagjaar 2016 ....................................................... 8
Terugblik kernactiviteiten examinering verslagjaar 2016 ...................................... 9
Terugblik borging van de kwaliteit van de examinering .......................................11
3.1 Gestelde kwaliteitsdoelen examinering verslagjaar 2016 ...............................11
3.2 Uitgevoerde activiteiten om de kwaliteit van de examinering en de diplomering te monitoren en te bewaken ...............................................................................12
3.3 Conclusies ten aanzien van de kwaliteitsdoelen ............................................14
3.4 Conclusies ten aanzien van de kwaliteit van de examinering ..........................17
4 Vooruit kijken: verbeteringen ..........................................................................19
5 Overzicht resultaten monitoren, bewaken en evalueren van de kwaliteit van de examinering .........................................................................................................20
3 Jaarverslag Examinering Maritiem en Logistiek College De Ruyter – februari 2017
Terugblik organisatieaspecten examencommissie
1.1. Gegevens examencommissie
Onderwijscluster/opleiding(en):
Maritiem (Logistiek en
Scheepvaart)
Periode waarop dit verslag betrekking heeft:
1 jan. 2016 t/m 31 dec. 2016
Status van het verslag (concept/definitief)
definitief
Jaarverslag vastgesteld door Grote Examencommissie
Jaarverslag vastgesteld per datum 24-02-2017
1.2. Samenstelling grote examencommissie en sub-examencommissie 2016
Grote Examencommissie
Hoofdvraag Hebben wij met onze examenorganisatie en ons
examenbeleid voldoende grip op de kwaliteit van onze
examinering en diplomering en is daarbij steeds in
voldoende mate sprake van verantwoording vragen en
verantwoording afleggen?
Eindverantwoording Aan het CvB (via directeur); aan de omgeving (Openbaar
Kwaliteitsjaarverslag Examinering)
Minimale aanwezigheid De examensecretaris en min. 4 van de stemgerechtigden
waaronder tenminste voorzitter of gemandateerd voorzitter
Vergaderfrequentie Min. 7 x per jaar
Nr. Lid Taak Stem Termijn
1
Voorzitter
Henrik Stevens (cluster
directeur)
Verantwoorden aan stakeholders,
verantwoorden kwaliteit
examinering aan CvB,
opstellen en invoeren
verbeteracties
Ja1 1 jaar
5 (*)
Externe voorzitter
(gemandateerd) Arthur
Schot (Vopak Agencies)
Vergadering leiden, agenda
opstellen en stemrecht in zaken
waar de directeur geen stemrecht
heeft.
Ja 1 jaar
2
Examensecretaris
Nadine van Strydonck
(tevens medewerker
examenbureau)
Agenda samenstellen in overleg
met voorzitter, vergadering
voorbereiden, notuleren,
examenbureau
vertegenwoordigen.
Nee Geen
3 Arno Siereveld (teamleider
Scheepvaart)
Evenwichtig en los van de eigen
context vanuit management-Ja 1 jaar
1 De directeur heeft in de Examencommissie alleen stemrecht bij zaken die betrekking hebben op o.a.:
Jaarplan Examencommissie, processen die de kwaliteit van de examinering borgen, de evaluatie van het functioneren van de excie en de hieruit voortvloeiende verbeteracties, de inhoud van het jaarverslag als verantwoording van het CvB. De directeur heeft geen stemrecht bij o.a.: cijfervaststelling, diploma- en/of certificaat vaststelling, het verlenen van vrijstellingen van instellingsexamens of centraal examen, vaststelling van exameninstrumenten.
4 Jaarverslag Examinering Maritiem en Logistiek College De Ruyter – februari 2017
perspectief bijdragen aan de
bespreking en besluitvorming van
examenzaken
4
Extern lid namens
bedrijfsleven Scheepvaart
Peter de Feijter
(Westerschelde Ferry)
Beroepenveld vertegenwoordigen,
adviseren bij het opstellen,
vaststellen en evalueren van de
kaders, externe borging op een
correcte uitvoering, beoordeling
en evaluatie van de
examinerings-processen
Ja 1 jaar
5
Extern lid namens
bedrijfsleven Logistiek
Arthur Schot (Vopak
Agencies) en tevens
technisch voorzitter
Ja 1 jaar
6
Lid namens Logistiek team
Willem van Genderen
(docent/ lid vaststellingscie)
Evenwichtig en los van de eigen
context vanuit teamperspectief
bijdragen aan de bespreking en
besluitvorming van examenzaken
Ja 1 jaar 7
Lid namens
Binnenvaartteam
Boudewijn de Feijter
(docent)
8
Lid namens Scheepvaart
team
Olav Mes (docent/lid
Vaststellingscie)
9
Afgevaardigde namens
vaststellingscommissie
Bouke Glas (voorzitter
Vaststellingscie)
Verslag uitbrengen van voortgang
en/of resultaten; inbrengen van
problemen; ontvangen van
nieuwe opdrachten.
Nee 1 jaar
(*) Bij aanvang schooljaar 2016-2017 is Dhr. Arthur Schot (extern lid namens het
logistieke beroepenveld) benoemd tot gemandateerd voorzitter van de grote
examencommissie
Sub-Examencommissie
Hoofdvraag Hebben wij voldoende informatie om in klein verband
zelfstandig te kunnen besluiten over frequent voorkomende
reguliere examenzaken of zaken die om directe actie
vragen?
Verantwoording Aan de grote examencommissie (d.m.v. notulen/DR-15)
Taken De subcommissie is een onderdeel van de examencommissie
dat bestaat uit min. 3 leden van de grote examencommissie
en 1 of meer taken van de grote examencommissie uitvoert.
Zij mag en kan beslissingen nemen namens de gehele
examencommissie
Vergaderfrequentie Komt bijeen zodra daar noodzaak toe is om zaken met een
spoedeisend karakter te behandelen o.a. tussentijdse en
spoed-diploma-aanvragen, resultaatvaststelling,
herkansingsaanvragen, vrijstellingsaanvragen en
mededelingen waarop naar het oordeel van de secretaris
direct actie ondernomen moet worden.
Samenstelling Voorzitter: Henrik Stevens of Arno Siereveld
Secretaris: Nadine van Strydonck
Lid: roulerend
5 Jaarverslag Examinering Maritiem en Logistiek College De Ruyter – februari 2017
1.3. Hoofdtaak grote examencommissie en sub-examencommissie
1.3.1 Grote examencommissie
De grote examencommissie is eindverantwoordelijk voor de kwaliteit van het volledige
examenproces. Ze draagt daarbij zorg voor de aansturing van de drie ondersteunende
examendiensten (examenbureau, vaststellingscommissie en sub-examencommissie).
Deze ondersteunende diensten rapporteren bij elk overleg met de (grote)
examencommissie over hun werkwijze en genomen besluiten. De examencommissie
evalueert jaarlijks hun functioneren.
De examencommissie controleert en observeert zelf actief de kwaliteit van de
examinering door middel van het uitvoeren van steekproeven op verschillende
onderdelen van de examenprocessen en het bewaken van de deskundigheid van alle
examineringsbetrokkenen.
De examencommissie ziet tevens toe op het al dan niet toereikend zijn van de
ondersteunende middelen en adviseert hierover desgewenst het management van het
cluster.
De examencommissie gaat over het examenbeleid en de bewaking daarvan binnen het
cluster Maritiem. Het examenbureau, de vaststellingscommissie en de sub-
examencommissie voeren dat beleid uit en dragen eraan bij, maar wijzigen hun
werkwijzen uitsluitend als de examencommissie hen daartoe opdracht geeft. Ook interne
opdrachten of richtlijnen vanuit de Scalda-organisatie zelf moeten altijd via de grote
examencommissie worden ingebracht, om te voorkomen dat er onduidelijkheid ontstaat
over de aansturing.
Er wordt gestreefd naar continuïteit van examencommissieleden en overige
examenfunctionarissen teneinde het kennis- en ervaringsniveau zo hoog mogelijk te
houden en de betrokkenheid blijvend te waarborgen.
Als voorschot op de inwerkingtreding van de wetswijziging inzake de aanscherping van
de eisen met betrekking tot de examencommissies in het MBO, heeft de
examencommissie op 30.09.2017 besloten het voorzitterschap te mandateren aan Dhr.
Arthur Schot (tevens extern examencommissielid vanuit het logistieke werkveld). Zijn
voorzitterschap loopt tot eind schooljaar 2017. Afhankelijk van het herontwerp
Examenorganisatie Scalda (verwacht maart 2017) zal de huidige taakverdeling binnen de
examencommissie mogelijk opnieuw herzien moeten worden.
1.3.2 Sub-examencommissie
De sub-examencommissie opereert zelfstandig binnen kaders die de examencommissie
stelt. De grote examencommissie houdt zich meestal niet bezig met de taken die de
sub-examencommissie uitvoert, maar ziet wel toe op de borging van de kwaliteit en de
integriteit van de sub-examencommissie. De sub-examencommissie legt verantwoording
af in de grote examencommissie over de genomen besluiten.
De sub-examencommissie komt bijeen zodra daar noodzaak toe is om zaken met een
spoedeisend karakter te behandelen zoals bijvoorbeeld (tussentijdse) diplomeringen,
resultaatvaststelling, herkansingsaanvragen, vrijstellingsaanvragen en mededelingen
waarop naar het oordeel van de secretaris, direct actie ondernomen moet worden.
1.4. Organisatiestructuur en gedelegeerde taken
In de beleidsnotitie “examenorganisatie Scalda” is beschreven wat de visie van de
examinering van Scalda is en hoe de verdeling van de verantwoordelijkheden en
bevoegdheden geregeld zijn en welke besluitvormingsprocessen er zijn. Het Handboek
Examinering Scalda (versie 1.2 d.d. 19 december 2014) is daar een afgeleide van.
6 Jaarverslag Examinering Maritiem en Logistiek College De Ruyter – februari 2017
Het clusterspecifieke handboek examinering (versie 1.2.1. d.d. 1 mei 2015) is daar weer
een afgeleide van. Het bevat uitsluitend die examineringsprocessen, waarbij de
processen uit het handboek Examinering van Scalda op clusterniveau verder zijn verfijnd.
Deze clusterspecifieke uitwerking is aanvullend op de gemaakte afspraken binnen Scalda,
omdat sommige situaties vragen om speciaal op het cluster toegespitste processen en/of
handelingen. Het bevat ook een overzicht van bijlagen en formats, welke volgens het
Handboek Examinering van Scalda niet verplicht zijn gesteld, maar waar eenieder die
binnen het cluster Maritiem betrokken is bij de examinering, zich vanuit zijn/haar
specifieke rol en functie aan heeft geconformeerd, opdat uniformiteit en kwaliteitsborging
in alle processen gewaarborgd blijft. De afspraken uit het clusterspecifieke handboek
(versie 1.2.1) waren ook nog het hele kalenderjaar 2016 geldend. In het voorjaar 2017
staat de revisie van het handboek gepland. Onlangs is in het Netwerk examinering
(ondersteund door het directieteam van Scalda), besloten om hiervoor met een
schooleigen omgeving van de Procesarchitectuur Examinering (PE) van het Servicepunt
Examinering MBO te gaan werken en dit tevens als digitaal handboek te gaan gebruiken.
Verwacht wordt dat dit vóór eind schooljaar 2016-2017 gereed zal zijn. Formats en
procedures zullen daarbij waar nodig worden herzien en/of toegevoegd.
Het opleidingsteam is de spil in de voorbereiding en de operationele uitvoering van het
onderwijs en de examinering. Het hart van de examenorganisatie is de
examencommissie. Zij heeft tot taak de diplomakwaliteit te bewaken en zorg te dragen
voor de onderbouwing van die diplomering. Onze studenten en hun omgeving moeten te
allen tijde kunnen vertrouwen op de deugdelijkheid van de door ons afgegeven
diploma’s.
De examencommissie wordt in haar taken ondersteund door het examenbureau.
De vaststelling van de toets- en examenresultaten vindt in principe plaats in de
opleidingsteams.
Het examenbureau heeft, indien binnen het proces van het invoeren van de resultaten,
onregelmatigheden worden geconstateerd een eerste signalerende functie en legt, indien
noodzakelijk, het verzoek tot besluitvorming, (via de secretaris) voor aan de (sub)
examencommissie.
In de dagelijkse praktijk is de Secretaris van de Examencommissie (tevens medewerker
examenbureau) het eerste aanspreekpunt van de examenorganisatie. Zij is lid van beide
examencommissies en doet voorstellen voor de vergaderagenda van deze overleggen,
maakt de notulen en draagt zorg voor de actie- en besluitenlijsten. Zij vertegenwoordigt
ook het cluster in het intern netwerk Scalda. Dit netwerk heeft de taak om tot
eenduidige werkwijzen en beleidsadviezen te komen in opdracht van de procesmanager
Examinering Scalda.
De rol van cijferverantwoordelijke (cijferinvoer) en diploma-aanvrager is vanaf november
2015 gescheiden teneinde de onafhankelijkheid bij het proces van diplomeren te
versterken.
Er is één (grote) examencommissie en één sub-examencommissie.
Er zijn meerdere opleidingsteams, namelijk Scheepvaart, Binnenvaart en Logistiek. Maar
ook organisatieverbanden zoals de samenwerkende docenten Burgerschap of Talen en
Rekenen worden als ‘team’ beschouwd binnen de organisatie.
De vaststellingscommissie beoordeelt de kwaliteit van de op het cluster geconstrueerde
of ingekochte examenproducten aan de hand van de hiervoor in het handboek
opgenomen vaststellingsformats. De vaststellingscommissie legt verantwoording af aan
de examencommissie door middel van een evaluatieverslag in elk examencommissie-
overleg en een apart jaarverslag (per schooljaar).
7 Jaarverslag Examinering Maritiem en Logistiek College De Ruyter – februari 2017
Hieronder is schematisch de operationele examenorganisatie van het cluster in beeld
gebracht
Examencommissie
Vaststellingscommissie
Assessor/beoordelaar
Examenbureau
Surveillant Toetsconstructeur
Team Team Team Team
8 Jaarverslag Examinering Maritiem en Logistiek College De Ruyter – februari 2017
1.5. Beschikbare middelen examencommissie verslagjaar 2016
Er zijn tijdens het verslagjaar geen extra middelen - anders dan de reguliere - aan de
examencommissie beschikbaar gesteld.
De externe commissieleden ontvangen per bijgewoond overleg, steekproef en/of
examen, een dag(deel)-vergoeding met aanvullend indien van toepassing
kilometervergoeding.
1.6. Vergadermomenten verslagjaar 2016
De grote examencommissie vergaderde tijdens het verslagjaar op de volgende data:
08-01-2016
04-03-2016
20-05-2016
10-06-2016
15-07-2016 (diploma-vergadering)
30-09-2016
25-11-2016
De sub-examencommissie kwam bij elke tussentijdse diplomering en voor zaken welke
om een dringende actie verlangden, bij elkaar en bracht hierover verslag uit tijdens de
overleggen met de grote examencommissie.
Indien het slechts om het toekennen van het akkoord voor diplomering gaat, wordt een
kopie van de controlelijst (DR-15) t.b.v. de diplomering bewaard en voorgelegd in de
grote examencommissie, waarbij nog een extra steekproef op de betreffende
examendossiers wordt uitgevoerd, teneinde het proces van diplomeren extra te borgen.
9 Jaarverslag Examinering Maritiem en Logistiek College De Ruyter – februari 2017
Terugblik kernactiviteiten examinering verslagjaar 2016
Thema Aantal Opmerking
Aantal studenten per 01-01-2016 (voltijd, deeltijd, examendeelnemers)
632 632 verbintenissen/606 studenten
(i.v.m. 26 dubbele verbintenissen)
Aantal studenten per 31-12-2016 (voltijd, deeltijd, examendeelnemers)
676 676 verbintenissen/651 studenten
(i.v.m. 25 dubbele verbintenissen)
Aantal actieve opleidingen in het afgelopen schooljaar
33 Totaal van aantal crebo’s en cohorten
(BOL, BBL)
Aantal vastgestelde examenplannen in het afgelopen schooljaar
42 Het betreft de examenplannen t.b.v. de OER-en cohort 2016-2017 (15x) (Daarnaast nog 27 addenda op eerder vastgestelde examenplannen van lopende cohorten).
N.B.: de examenplannen voor de keuzedelen zijn nog in ontwikkeling en derhalve nog niet vastgesteld
Aantal door de vaststellingscommissie vastgestelde beroepsgerichte examens
65 Examens (bestaande uit PvB’s, theoretische toetsen, CGI’s en
praktijktoetsen)
Aantal vastgestelde bekostigde diploma’s
169
Aantal vastgestelde niet bekostigde diploma’s
2
Aantal vastgestelde certificaten(eindtermen) of certificeerbare eenheden.
0
Aantal deelnemers dat via EVC is gediplomeerd.
0
Aantal studenten met toegekende vrijstellingen beroepsgerichte onderdelen
15 O.a. op basis van enkele algemene besluiten van de examencommissie:
akkoord voor overnemen van de
resultaten bij dubbele opleiding SWK-SW5 en/of SMBW-SW6 i.v.m. overeenkomstig KD.
Vrijstelling bij doorstroom van niveau 4 naar niveau 3 voor alle uitstromen van de koopvaardijofficier. Dit geldt ook
voor studenten die doubleren en bepaalde onderdelen al hebben behaald.
Aantal studenten met toegekende vrijstellingen generieke onderdelen
(Voor de examenonderdelen van Nederlands, Engels en rekenen kan vrijstelling worden verleend onder bepaalde voorwaarden.
Vrijstelling is vaak mogelijk als binnen twee jaar na het studiejaar waarin het mbo-examen is
behaald de onderdelen Nederlands, Engels of rekenen nogmaals op hetzelfde niveau geëxamineerd zouden moeten worden. Bijvoorbeeld bij doorstroom of overstap naar een andere mbo-opleiding. De behaalde resultaten worden dan meegenomen naar de huidige opleiding. Op het moment dat de
centrale examinering is ingevoerd gelden
70 studenten hebben naar aanleiding van hun verzoek tot vrijstelling
examinering generieke taal en / of rekenen voor één of meerdere onderdelen vrijstelling gekregen. Algemeen geldt:
Vrijstelling niveau 2 naar niveau 3 op basis gediff. cijfer alleen in geval van
Centraal examen en een totaal voor Ned. van min. 6 (geen pilot, mag alleen meegenomen worden binnen dezelfde opleiding. 1x is d.m.v. het toepassen van de coulance-regeling hiervan afgeweken i.v.m. een klacht van een student i.v.m. res. Pilot 5,8).
Vanaf 01-08-2016 wordt er geen
10 Jaarverslag Examinering Maritiem en Logistiek College De Ruyter – februari 2017
afwijkende regels)
vrijstelling verleend voor het centrale examen rekenen 2F op basis van pilot
resultaten, omdat vanaf dit moment
centrale examinering verplicht is. Bij 21 studievertragers niveau 4 is de regeling toegepast, dat de resultaten van het pilot examen Rekenen 3F uit 2014-2015 nog vrijstelling geven voor het centrale examen rekenen 3F in 2016-2017.
Voor 4 studenten niveau 3 werd de regeling toegepast dat de resultaten pilot Nederlands mochten blijven staan i.v.m. onvoorziene studievertraging (indien min. een 6) en 9 maal v.w.b. de resultaten Rekenen (pilot uit 2014-2015)
Aantal behandelde klachten en bezwaren 1 Zie onder hoofdstuk 5
(evaluaties examenbureau)
Aantal beroepszaken 0
Aantal meldingen van onregelmatigheden tijdens examen
- Zie onder hoofdstuk 5 (evaluaties examenbureau)
11 Jaarverslag Examinering Maritiem en Logistiek College De Ruyter – februari 2017
Terugblik borging van de kwaliteit van de examinering
3.1 Gestelde kwaliteitsdoelen examinering verslagjaar 2016
Dit zijn doelen die samenhangen met ambities uit het jaarplan van het cluster 2016-2017, voortkomen uit verbeterplannen naar
aanleiding van interne audits en/of evaluaties van de examencommissie en in lijn zijn met de Examenagenda 2015-2020
Kwaliteitsdoel Indicatoren
1. Intensivering overleggen examencommissie Min. 7 overleggen per jaar ingepland vanaf schooljaar 2015-
2016
2. Werken volgens jaarplanning Examencommissie incl.
evaluatiecyclus
Deze jaarkalender bevat een overzicht van alle acties en
evaluaties die - al dan niet volgens een vaste regelmaat -
terugkomen op de agenda van de Examencommissie
3. Alle examineringsprocessen op orde en onderliggende
procedures vormgegeven
Zelfevaluatie uitvoeren van elke procesgebied en vanuit
elke rol – gewenst resultaat: geen indicator meer op rood.
Revisie handboek examinering conform PDCA-cyclus. Alle
procedures ingericht volgens geldende regelgeving
4. Doorontwikkeling Examenbureau Examenbureau op alle fronten ‘in control’:
Administratie examendossiers compleet op orde, incl.
procedures
5. Taken examencommissie conform nieuwe wetsvoorstel Taken van financieel verantwoordelijke en voorzitter
examencommissie worden qua besluitvorming gescheiden
6. Examenproducten 100% dekkend voor alle cohorten +
ontwikkeling (en/of inkoop) examenproducten voor de herziene
Kwalificatiedossiers
Examenbank volledig en alle producten vastgesteld (ook
inkoop). Geldt ook voor examens keuzedelen en generieke
vakken.
7. Deskundigheid alle examineringsbetrokkenen op peil Iedere betrokkene is voldoende competent in zijn rol en
hiervoor (aantoonbaar) geschoold
8. Informatievoorziening Examinering compleet en eenduidig OER-en (examenplannen) en addenda alle lopende
cohorten klaar en op n@tschool en website geplaatst
9. Steekproeven examencommissieleden opvoeren t.b.v. borging
proces van resultaatvaststelling/diplomering
Min. 3-4 x per jaar vindt een steekproef plaats op de
examendossiers (dus eerder in het traject vóór diplomeren)
door Examencommissieleden a.d.h.v. een checklist (DR-15)
12 Jaarverslag Examinering Maritiem en Logistiek College De Ruyter – februari 2017
3.2 Uitgevoerde activiteiten om de kwaliteit van de examinering en de diplomering te monitoren en te bewaken
Hieronder hebben we beschreven welke activiteiten de examencommissie heeft uitgevoerd of heeft laten uitvoeren om tijdens het peiljaar
de kwaliteit van de examinering te monitoren, bewaken en evalueren. Het gaat daarbij om zowel de reguliere kwaliteits-onderzoeken
(meestal gerelateerd aan het waarderingskader van de inspectie), zoals enquêtes onder studenten/beroepenveld, toetsevaluaties,
gegevens over de deskundigheid van assessoren, zelfevaluatie van de examencommissie, als specifieke onderzoeken.
Ondernomen activiteiten (monitoren, bewaken en
evalueren van de kwaliteit)
Doel activiteit
1. a) Job-enquête 2016 (regulier)
b) Intake en Introductie Enquête 2016
Evalueren van het oordeel van studenten over diverse onderdelen binnen
het examineringsproces en waar nodig verbeteracties benoemen.
2. a) Evaluatie na elke toetsperiode door
examenbureau en rapportage in
examencommissie
b) Analyses van toetsevaluaties door
studenten/(praktijk-) beoordelaars en externe
assessoren (regulier)
Borging kwaliteit proces van examenafname, beoordeling,
cijfervaststelling, kwaliteit van de examenproducten en waar nodig
benoemen van verbeteracties.
3. Vaststelling nieuw ontwikkelde PvB’s en examens
door vertegenwoordiging vanuit het beroepenveld
(regulier)
Borging kwaliteit van het examenproduct op het gebied van authenticiteit,
gebaseerd op de overeenkomsten met de actuele beroepspraktijk.
Betrokkenheid van het beroepenveld verhogen.
4. Steekproeven tijdens toetsafname (roulerend) door
examencommissieleden (regulier)
Per toetsperiode worden minstens 2 PvB-afnames bijgewoond door een
examencommissielid ten behoeve van de borging van het proces van
toetsafname en –beoordeling. Ook wordt hiermee toegezien op de
borging van de kwaliteit van de ingezette externe beoordelaars.
5. Evalueren proces van toetsconstructie door
vaststellingscommissie (regulier)
Bij elk overleg van de examencommissie brengt de voorzitter van de
vaststellingscommissie verslag uit van de werkzaamheden van de
vaststellingscommissie en zijn oordeel over het constructieproces.
Daarnaast wordt 1 x per jaar een jaarverslag van de vaststellingcommissie
opgesteld en in de examencommissie geëvalueerd. Waar nodig worden
verbetervoorstellen gedaan.
6. Evalueren examineringsproces door
examencommissie (regulier telkens aan het eind
van ieder schooljaar)
Jaarlijkse check op alle hoofdprocessen door examencommissieleden
7. Afname laatstejaars enquête via ROC spiegel
(regulier)
Door middel van deze enquête krijgen we een helder beeld hoe onze
gediplomeerde studenten de kwaliteit van zowel onderwijs als examinering
gedurende de volledige opleiding hebben ervaren
13 Jaarverslag Examinering Maritiem en Logistiek College De Ruyter – februari 2017
8. EMSA-audit december 2016
3-jaarlijkse systeem-audit uitgevoerd door de European Maritime Safety
Agency waarbij men wereldwijd onderzoekt of de uitgifte van de
vaarbevoegdheden (lees diploma’s en certificaten) voldoende gewaarborgd
en volgens de richtlijnen uit de STCW (hierop zijn de KD’s Scheepvaart
gebaseerd) is verlopen.
9. Uitvoeren uitgebreide zelfevaluatie volledig
examenproces uit de Procesarchitectuur
examinering
Deze check verschaft de Examencommissie een compleet inzicht van de
mate van kwaliteitsborging bij ieder afzonderlijk procesgebied uit het
volledige examenproces
10. Opvolgen acties uit monitor auditbevindingen Onafhankelijke beoordeling van de kwaliteit van de examinering bij
Scheepvaart en Logistiek in peiljaar 2015. De opvolging van de acties
worden nauwgezet door het CvB gemonitoord.
Voortgangsstatus van alle bevindingen groen of geel gemarkeerd bij
tweede evaluatiemoment (sept. 2016).
Onder hoofdstuk 5 van dit document vindt u de resultaten en/of conclusies die uit bovengenoemde acties naar voren zijn
gekomen.
14 Jaarverslag Examinering Maritiem en Logistiek College De Ruyter – februari 2017
3.3 Conclusies ten aanzien van de kwaliteitsdoelen
Kwaliteitsdoel Indicatoren In hoeverre behaald? Waar blijkt dit uit?
1. Intensivering
overleggen
examencommissie
Min. 7x per jaar Behaald. 7 overleggen ingepland met
aanvullend overleggen met sub-
examencommissie
Zie verslagen Ecie-overleg
2. Werken volgens
jaarplanning
Examencommissie incl.
evaluatie-cyclus
Onderdeel van de agenda Behaald. De jaarcyclus is de leidraad voor de
te evalueren processen binnen het
examenproces
Zie agenda en notulen
Examencommissie
3. Alle examenprocessen
op orde en procedures
vormgegeven
Zelfevaluatie
uitgevoerd
Revisie handboek
Behaald.
Nog in ontwikkeling.
Onlangs is in het Netwerk examinering
(ondersteund door het directieteam van
Scalda), besloten om hiervoor met een
schooleigen omgeving van de
Procesarchitectuur Examinering (PE) van
het Servicepunt Examinering MBO te gaan
werken en dit tevens als digitaal handboek
te gaan gebruiken.
Verwacht wordt dat dit vóór eind schooljaar
2016-2017 gereed zal zijn. Formats en
procedures zullen daarbij waar nodig
worden herzien en/of toegevoegd
Zie checklist hoofstuk 5 –
actie 9
Zie verslagen Netwerk
Examinering Scalda en DT
4. Doorontwikkeling
examenbureau
Examenbureau ‘in control’ Behaald. Studentendossiers zijn compleet.
Status procedures zie punt 3 ad 2
Steekproeven door
examencommissieleden tijdens
verschillende fases van de
opleiding
5. Taken
examencommissie
conform nieuw
wetsvoorstel
Taken financieel
verantwoordelijke en
voorzitter gescheiden
Behaald. De directeur heeft als voorzitter
van de examencommissie vanaf schooljaar
2016-2017 alleen stemrecht bij zaken die
betrekking hebben op o.a.:
Jaarplan Examencommissie, processen die
Zie verslagen Examencommissie
15 Jaarverslag Examinering Maritiem en Logistiek College De Ruyter – februari 2017
de kwaliteit van de examinering borgen, de
evaluatie van het functioneren van de excie
en de hieruit voortvloeiende verbeteracties,
de inhoud van het jaarverslag als
verantwoording van het CvB.
De directeur heeft geen stemrecht bij o.a.:
cijfervaststelling, diploma- en/of certificaat
vaststelling, het verlenen van vrijstellingen
van instellings-examens of centraal
examen, vaststelling van
exameninstrumenten
N.B.: De rol van de directeur als voorzitter in
de sub-examencommissie zal z.s.m. ook door
een ander examencommissielid moeten
overgenomen worden, omdat daarin ook
regelmatig diploma- en/of cijfervaststellingen
plaatsvinden
6. Examenproducten
100% dekkend voor
alle cohorten +
ontwikkeling (en/of
inkoop)
examenproducten voor
de herziene
Kwalificatiedossiers
Examenbank volledig en
alle producten
vastgesteld (ook inkoop).
Geldt ook voor examens
keuzedelen en generieke
vakken.
Gedeeltelijk.
Vaststelling inkoop examens nog onvoldoende
gerealiseerd. Hierop dient nog een beleid
geformuleerd te worden.
Examens Nederlands (IE) en MVT (IE en BG)
niet compleet aanwezig en/of vastgesteld. Het
proces van constructie/vaststellen van
taalexamens is onvoldoende geborgd i.v.m.
capaciteitsproblemen.
Beleid Examencommissie: waar ingekocht kan
worden, wordt ingekocht en stelt de
Examencommissie (voorlopig) vast
Zie verslagen
examencommissie/
inventarisatie examenbank door
Examenbureau.
7. Deskundigheid alle
examinerings-
betrokkenen op peil
Iedere betrokkene
competent en
(aantoonbaar) geschoold
Er is onlangs een inventarisatie gemaakt van
elke rol die elke medewerker vervult in het
examenproces. Deze rollen worden in het
personeelssysteem opgenomen. Hierop stelt
de Academie een overzicht van het gewenste
professionaliseringsniveau vast.
De examencommissie zal vervolgens besluiten
Zie o.a. Scalda brede notitie
m.b.t. scholingskaders.
Uit evaluaties van de
examencommissie blijkt de
deskundigheid van alle
examineringsbetrokkenen
16 Jaarverslag Examinering Maritiem en Logistiek College De Ruyter – februari 2017
welke professionaliseringsactiviteiten de
medewerkers nog moeten volgen om te
voldoen aan dat gewenste
professionaliseringsniveau. De Academie stelt
daarna het scholingsaanbod Scalda-breed
samen. Aangezien we de afgelopen al jaren
fors ingezet hebben op diverse
scholingstrajecten, gaan we ervan uit dat
slechts minimale aanvullende scholing
benodigd zal zijn.
We gaan er vooralsnog van uit dat iedere
betrokkene voldoende competent is in
zijn/haar rol binnen het examenproces.
Een aantal externe assessoren zijn inmiddels
ook geschoold.
Tijdens afname vindt ok een
kwaliteitsbeoordeling plaats van de externe
beoordelaar door de docent van de school
en/of examencommissielid
voldoende op peil.
Dit bleek ook al tijdens de
interne audit van eind 2015 en
tijdens de EMSA audit van dec.
2016.
Zie ook kwaliteitsbeoordelingen
assessoren (assessorenregister)
8. Informatievoorziening
Examinering compleet
en eenduidig
OER-en (examenplannen)
en addenda alle lopende
cohorten klaar en op
N@tschool en website
geplaatst
95% Gereed
OER-en binnenvaart cohort 2016-2017 slechts
voorlopig vastgesteld
Website en N@tschool
17 Jaarverslag Examinering Maritiem en Logistiek College De Ruyter – februari 2017
3.4 Conclusies ten aanzien van de kwaliteit van de examinering
Kwaliteitsaspect In hoeverre van voldoende kwaliteit? Waar blijkt dit uit?
1. Exameninstrumentarium Eigen ontwikkelde
beroepsgerichte examens
Voldoende Examenbank en
vaststellingsprotocollen,
scans CINOP
Ingekochte beroepsgerichte
examens Logistiek
Examenbank ESTEL:
wordt nog onderzocht
Examenbank STL:
Vaststellingscommissie heeft examens
volgens de nu geldende
kwaliteitsrichtlijnen als ‘niet
vaststellingswaardig’ beoordeeld.
Examencommissie beraadt zich over
een beleidslijn hierin.
De bevindingen worden in ieder geval
vastgelegd en teruggekoppeld naar de
betreffende examenbanken.
Vaststellingsprotocollen en
verslagen
vaststellingscommissie
Generieke en BG MVT
examenonderdelen
Beeld nog niet helemaal compleet
Weinig tot geen mogelijkheden tot
inkoop voor BG examens MVT voor
zowel Scheepvaart als Logistiek
Geen of onvoldoende
constructie- en/of
vaststellingscapaciteit op
eigen cluster/Scalda
Examens keuzedelen Nog niet aanwezig
Examenbank en
inventarisatie
Examenbureau
2. Afname en beoordeling Voldoende.
Alle betrokkenen binnen het procesgebied afname en beoordeling zijn
de afgelopen twee jaar zeer intensief geschoold tijdens CINOP
trainingen.
Analyses
tevredenheidsonderzoeken
examinering door studenten,
beoordelaars en bedrijven.
Steekproeven door Examen-
commissieleden.
18 Jaarverslag Examinering Maritiem en Logistiek College De Ruyter – februari 2017
3. Diplomering Logsitiek: voldoende
Scheepvaart: voldoende
Het examenbureau waarborgt een 100% examendossiercontrole.
Daarnaast wordt minimaal 3-4x per jaar een steekproef door
examencommissieleden uitgevoerd op de examendossiers om na te
gaan of alle stukken aanwezig zijn, cijfers correct zijn ingevoerd en
diploma-aanvraag gerechtvaardigd is.
In enkele gevallen werd de hardheidsclausule toegepast, omdat
examenstukken, kwijt waren geraakt.
Dit had uitsluitend betrekking op dossiers van vóór de herstructurering
van het examenbureau.
Resultaten tevredenheids-
onderzoeken, steekproeven
door Examencommissie-
leden en evaluaties
examenbureau.
19 Jaarverslag Examinering Maritiem en Logistiek College De Ruyter – februari 2017
4 Vooruit kijken: verbeteringen
De de invoering van de nieuwe kwalificatiestructuur, de prioriteiten vanuit de landelijke
Examenagenda 2015-2020, en de wetwijzing per 1 augustus 2017 as, vormden het
afgelopen jaar een belangrijke peiler in ons examineringsbeleid.
Door de (tijdelijke) aanpassingen in de bestaande samenstelling van de
examencommissie, zijn we ervan onvertuigd dat we op dit moment zo onafhankelijk
mogelijk georganiseerd zijn. De gevolgen van de wetswijzing verlangen echter in de
eerste plaats een verdere verfijning van de Examenorganisatie van Scalda. Daarop
voortbordurend zullen we binnen onze eigen commissie deze verfijning verder moeten
doorvoeren.
Het inrichten van de PDCA-cyclus van de examenorganisatie Scalda volgens de
Procesarchitectuur examinering zal ook zeker nog verder bijdragen aan een optimale
kwaliteitsborging. Temeer daar bij de inrichting alle processtappen top-down opnieuw
doorlopen dienen te worden en formats en procedures zullen dienen te worden bijgesteld
en/of aangevuld.
Voor de overgangsperiode 2016-2018 (tot de externe validering) zal een bewuste
afweging moeten worden gemaakt welke route (route 1 of 2) gekozen zal worden voor
elke opleiding afzonderlijk. Dit leggen we vast in een valideringsplan.
Indien we kiezen voor route 1 (inkoop bij een instantie waar ingekocht kan worden)
verlangt dit een aanvullende beleidslijn ten aanzien van de vaststelling van deze
producten. Indien voor route 2 wordt gekozen, zal het ontwikkelen van de
examenproducten binnen de collectieve afspraken gebeuren.
Dankzij het steeds consistent en consequent toepassen van gemaakte afspraken met
elkaar en door eenieder binnen het examenproces steeds weer bewust te maken van zijn
taken en verantwoordelijkheden, mogen we concluderen dat de basiskwaliteit van ons
examenproces grotendeels op orde is.
Om de kwaliteit naar een nog hoger plan te tillen, hebben we de volgende verbeteracties
geprioriteerd voor het komende kalenderjaar:
Implementatie van de website Procesarchitectuur Examinering t.b.v. de
kwaliteitsborging van het volledige examenproces
Realisatie van het valideringsplan voor de overgangsperiode 2016-2018
Beleidslijn uitwerken ten behoeve van inkoop (welke leverancier, welke route) - en
vaststelling ingekochte examenproducten
Generieke instellingsexamens en BG examens MVT op orde
Professionaliteit op orde. Hierin volgen we de beleidslijn die Scalda-breed wordt.
Ingezet. We volgen het stappenplan “professionalisering examenfunctionarissen”
welke volgt na inventarisatie van de certificeringsniveaus van alle betrokkenen in alle
voorkomende examineringsrollen.
20 Jaarverslag Examinering Maritiem en Logistiek College De Ruyter – februari 2017
5 Overzicht resultaten monitoren, bewaken en evalueren van de kwaliteit van de examinering
Resultaten Job-enquête (actie 1a) De tevredenheid van de studenten over de kwaliteit van de examinering wordt 2-jaarlijks gemeten via o.a. de landelijke JOB-enquête . Onze studenten oordeelden over de verschillende onderdelen van het examineringsproces in 2016 als volgt: Vraag/score op een 5-puntsschaal Team
Scheepvaart
Team
Logistiek
Weet je op tijd wanneer er een toets is? 3,9 3,9
Weet je op tijd waar de toets over gaat? 3,9 3,8
Krijg je de uitslag van een toets op tijd te horen? 3,7 3,6
Sluiten de toetsen aan op wat je hebt geleerd? 4,2 4,0
Vind je dat al je medestudenten op dezelfde manier
beoordeeld worden?
4,1 4,1
Deze mooie resultaten verlangden geen verdere verbeteracties.
Resultaten Enquête Intake en Introductie 2016 (actie 1b) 135 eerstejaars studenten beoordeelden het proces van informatievoorziening over de
examinering bij aanvang van het schooljaar 2016 met gemiddeld een 3,5 op een 5
puntsschaal.
Verbeteractie: OER-en nog tijdiger beschikbaar stellen via website en N@tschool.
Highlights uit evaluaties door examenbureau (actie 2a)
Klachten
Er werd in het jaar 2016 1 klacht geregistreerd op het examenbureau.
Klacht aangaande een student waarvan pas na afronding van haar stage bleek dat zij als
resultaat Nederlands een pilotresultaat had staan van 5,8 uit schooljaar 2014-2015.
Volgens het geldende cohortenschema zou ze alleen op basis van een centraal examen
Nederlands mogen slagen in 2016-2017. Indien ze in 2015-2016 was geslaagd, had ze
nog mogen slagen op basis van een pilotexamen mits ze hiervoor tenminste een 6,0 had
behaald binnen dezelfde opleiding. Hierbij had dan eventueel nog onvoorziene
studievertraging kunnen opgevoerd worden, ware het niet dat ze 0,2 punt tekort kwam.
Op het moment van de diploma-aanvraag kon niet meer gediplomeerd worden op 2015-
2016 (dat kon tot uiterlijk 30 sept.) en viel ze dus onder de regeling voor schooljaar
2016-2017. De diploma-aanvraag kwam pas op 10 oktober op het examenbureau
binnen. Studente had bovendien wel het vereiste totaalresultaat van 6,0 Nederlands
behaald (door haar hoge cijfers voor de instellingsexamens). Indien ze dit jaar opnieuw
centraal examen had gedaan, zou ze zelfs met een 4,5 voor dat onderdeel nog kunnen
slagen. De examencommissie heeft in dit geval de hardheidsclausule toegepast en
ingestemd met het diplomeren.
Onregelmatigheden (o.a. uit procesverbalen)
Toets Control OL E&L d.d. 15-02-2016:
Student betrapt op onregelmatigheid. Bij het inleveren van zijn gemaakte toets, liet
student spiekbriefje vallen. Omdat zijn resultaat sowieso 1 was, heeft docent verder geen
actie ondernomen. Volgens de procedure geldt hierop echter meteen uitsluiting.
Examenbureau is van mening dat voor deze student een gemiste kans en resultaat 0
moet gelden.
Akkoord examencommissie.
21 Jaarverslag Examinering Maritiem en Logistiek College De Ruyter – februari 2017
1 student was van mening recht te hebben op extra toetstijd i.v.m. dyslexie. Op het
examenbureau was echter geen toegekende faciliteit bekend voor deze student. Hij is
doorverwezen naar UBA om dat alsnog geregeld te krijgen. Tijdens het examen heeft
docent besloten deze student ‘het voordeel van de twijfel te geven’ en hem extra
toetstijd te geven. Een andere student weigerde om de presentielijst te tekenen. Op het
proces verbaal is verder niet aangegeven wat de reden hiervan is.
Toets MTL K305 d.d. 22-04-2016:
Surveillant heeft bemerkt: “Herrie op de gang voor Helix”. Er zijn geen
evaluatieformulieren ingevuld, dus niet na te gaan of studenten hier ook last van hebben
gehad. Docent heeft verder geen klachten ontvangen. Iedereen is bovendien geslaagd
voor deze toets.
Toets Marof 2MA – Nav 1.1 d.d. 02-02-2016:
Surveillant heeft bemerkt: “student stopt om 09.00 uur met het examen. Hij geeft aan
zich zo ziek te voelen en begint te huilen. Naar huis laten gaan. In juni mag hij alsnog
zijn 1e kans overdoen”.
Praktijktoets Marcom d.d. 16.12.2016:
Docent heeft als tweede beoordelaar de praktijktoets bijgewoond waarbij ook zijn eigen
zoon deelnemer was.
Omdat docent in dit geval slechts ‘procesbeoordelaar’ was gaat examencommissie
akkoord. Er wordt nog een beleidslijn bepaald voor dit soort gevallen.
Bijzonderheden tijdens diploma-vergadering 09-07-2016:
Logistiek Medewerker (90255):
3 studenten MTL hebben geen gemaakt werk voor “financieel management”. Dit heeft
o.a. te maken met de langdurige afwezigheid van een docent. Hij heeft op verzoek van
de regisseur examinering verklaard dat de resultaten ten aanzien van het betreffende
werkproces rechtmatig verkregen zijn en dat de stukken zo mogelijk nog nageleverd
kunnen worden. Examencommissie past hardheidsclausule toe en geeft akkoord tot
diplomeren.
Chauffeur wegvervoer (91830):
3 studenten hebben een (gemiddeld) onvoldoende cijfer staan voor BG Engels.
De regisseur examinering erkent dat hij in gebreke is gebleven in de aansturing van de
nieuwe docente Engels. Zij was onvoldoende op de hoogte van de eisen die er zijn ten
aanzien van BG Engels. In de OER-en zijn echter wel eisen opgenomen, die niet
overeenkomen met de weging die het team aan de resultaten heeft gegeven. In KRD is
er geen weging aangegeven, dus ‘technisch’ diplomeren kan wel, maar in de OER-en
staat dat er minimaal een 5 moet zijn behaald. Vraag: gaat de examencommissie
akkoord met diplomering op basis van een normering die niet overeenkomst met de
bepalingen uit de OER?
(Teneinde de onafhankelijkheid bij deze besluitvorming te borgen, nemen de directeur en
de regisseur Examinering Logistiek geen zitting bij deze stemmingsronde en verlaten
tijdelijk de kamer).
De overige leden stemmen voor om de hardheidsclausule toe te passen en geven
akkoord tot diplomeren.
22 Jaarverslag Examinering Maritiem en Logistiek College De Ruyter – februari 2017
Resultaten toetsevaluaties (actie 2b)
1 Toetsevaluaties door studenten
Elke student kreeg standaard na elke toets of PvB een enquête voorgelegd. Hoewel
de afname altijd op vrijwillige basis geschiedt, resulteerde dat in een respons van ca.
70% bij elke afname. De resultaten werden door het examenbureau geanalyseerd en
voorgelegd in de examencommissie.
De studenten werden bevraagd over de volgende aspecten van de examinering:
- informatie vooraf qua afnameperiode,-datum en inhoud van het examen;
- leesbaarheid toets/opdrachten;
- duidelijkheid beoordelingsnormen, puntenverdeling;
- de mogelijkheid tot het ongestoord afleggen van het examen;
- beschikbaarheid van alle benodigde middelen;
- duidelijkheid van de opdrachten/vragen;
- overeenkomst tussen lesinhoud en examen;
- klachtenprocedure;
- tevredenheid over het verloop van het examen;
Uit de analyses kwamen geen knelpunten naar voren ; in sommige gevallen slechts
enkele kleine aandachtspunten, zoals het niet bekend zijn met de klachtenprocedure,
maar dat antwoord werd ook vaak gegeven omdat ze geen klachten hadden.
2 Tevredenheidsonderzoek examinering door praktijkbeoordelaars
Bij Binnenvaart oordeelden de praktijkbeoordelaars als volgt:
Vraag Matroos
51 resp.
Schipper
38 resp.
Heeft u voldoende informatie gekregen over
hoe geëxamineerd gaat worden?
47 ja/4 nee 35 ja/3 nee
Bent u tevreden over het verloop van de
examinering?
48 ja/3 nee 38 ja
Heeft u vertrouwen in de kwaliteit van de
examinering?
50 ja/1 nee 37 ja/1 nee
We mogen concluderen dat deze scores een hoge mate van tevredenheid in de
kwaliteit van de examinering laten zien.
3 Tevredenheidsmeting over de examinering door externe beoordelaars
De externe beoordelaars werden ook na elke PvB-afname bij scheepvaart en logistiek
gevraagd hun oordeel te geven over de volgende aspecten van de examinering:
- de voorbereiding op de afname;
- de kwaliteit van de examenproducten;
- de afnamecondities;
- het niveau van de kandidaten;
- de deskundigheid van de examinatoren van het MLCDR
Men beoordeelde deze aspecten met ‘voldoende’ tot ‘zeer goed’ .
Daarnaast leverden deze externe beoordelaars ook vaak extra inhoudelijke input voor
de toekomstige revisies van de examenproducten.
23 Jaarverslag Examinering Maritiem en Logistiek College De Ruyter – februari 2017
Resultaten toetsvaststelling door beroepenveld (actie 3)
Elke nieuw ontwikkelde PvB werd in het peiljaar, na vaststelling door de
vaststellingcommissie, ook nog inhoudelijk vastgesteld door een vertegenwoordiger
vanuit het relevante beroepenveld. De vaststellingscommissie ziet toe op dit proces.
Dit werd ook d.m.v. de vaststellingsprotocollen vastgelegd.
Analyses steekproeven door Examencommissieleden tijdens
toetsafname (actie 4)
In het peiljaar werden diverse steekproeven tijdens toetsafname gedaan door
(wisselend) examencommissieleden.
1x door Bouke Glas, die daarbij voornamelijk gefocussed was op het juiste gebruik van
de WAKKER-methode. Hij is van mening dat de aantekeningen ‘te mager’ zijn. Dat heeft
hij ook al met de beoordelaars besproken en teruggekoppeld in de examencommissie.
Bij de overige steekproeven kwamen geen knelpunten naar voren en beoordeelde men
alle indicatoren positief.
24 Jaarverslag Examinering Maritiem en Logistiek College De Ruyter – februari 2017
Analyses evaluaties door vaststellingscommissie (actie 5)
Hieronder vindt u het jaarverslag van de vaststellingscommissie over het schooljaar
2015-2016
Quote: Evaluatieverslag vaststellingscommissie schooljaar 2015-2016
De vaststellingscommissie bestaat uit 4 personen. Twee personen van de logistieke afdeling, en twee personen van de maritieme afdeling.
De tijd om producten te beoordelen is regelmatig zeer kort, 1 week. In die gevallen is er nauwelijks tijd om de producten goed door te nemen.
Taken vaststellingscommissie Maritiem en Logistiek College De Ruyter
(nieuwe werkwijze na 29/5/2015 conform Handboek Examinering)
1. Vaststellen examenplan
De examenplannen van de drie opleidingsteams, logistiek, binnenvaart, zeevaart werden beoordeeld aan de hand van de checklist, pagina 164 van het Handboek Examinering.
De geconstateerde afwijkingen werden door de opleidingsteams verwerkt. Echter door
onvermijdelijk gebruik van de 2 puntschaal, geslaagd/niet geslaagd behaald/niet behaald in het examenplan kon niet tot vaststelling worden overgegaan.
Aan de examencommissie is gevraagd de checklist aan te laten passen zodat dit volgend jaar geen show stopper meer is.
2. Vaststellen examenmatrijs
Volgens de nieuwe werkwijze dient eerst een examenmatrijs ingediend en vastgesteld te worden voordat overgegaan kan worden tot constructie van het exameninstrument. Dit is niet volgens de
tot nu toe gebruikte work flow. Om geen stagnatie in de vaststelling te verkregen is door de examencommissie dispensatie verleend tot september 2016.2
3. Vaststellen examenproducten theorietoetsen, CGI’s en PvB’s
Dit jaar werden er 65 examenproducten beoordeeld, bediscussieerd en uiteindelijk vastgesteld:
PvB’s van Binnenvaart (PvB zonder crucialen)
PvB’s en CGI’s van Logistiek (13).
PvB’s en theorietoetsen van Nautisch Zeevaart (27)
PvB, theorietoets, CGI van Technisch Zeevaart Visserij SW5 (1) en SMBW (3)
4. Advies examen commissie.
Bijwonen alle vergaderingen examencommissie: 2015-2016.
5. Instructie docenten.
Dit schooljaar werd instructie gegeven over het kwalificatie dossier 2016. Met behulp van de cursusleidster Sharda (bedrijf: CINOP) werd de concrete invulling besproken en verbeterd. Er werd feed back gegeven door de cursusleidster op de huidige examenproducten.
Vlissingen juli 2016.
Unquote.
2 Noot van de examencommissie: dispensatie inmiddels verlengd tot einde schooljaar 2016-2017
25 Jaarverslag Examinering Maritiem en Logistiek College De Ruyter – februari 2017
Checklist beoordeling examineringsprocessen 2015-2016 (actie 6)
Heeft de examencie de volgende processen geëvalueerd:
Ja Nee n.v.t. Opmerkingen/motivatie
1. Examenplanning
X Examenplanning wordt in concept goedgekeurd door Vcie, daarna in de Ecie vastgesteld en gepubliceerd in de OER-en deel 3. Evaluatie d.m.v. JOB-enquête /examinerings-enquête en Intake en Introductie-enquête. Addenda dienen nog te worden gemaakt i.v.m. wijzigingen in lopende cohorten.
2. Examenconstructie
X Wordt door de vaststellingscommissie geëvalueerd. Bij elk overleg met de examencommissie wordt verslag uitgebracht
3. Examenvaststelling
X Elke nieuw ontwikkelde PvB wordt (inhoudelijk) mede vastgesteld door een beroepenvelddeskundige. Tijdens de diploma vaststelling checkt de Examencommissie steeksproefsgewijs de diploma dossier met onderliggende (ingekochte) examenproducten. De Vcie hanteert de formats zoals in het HBE zijn opgenomen.
4. Examenafname
X Er worden diverse steekproeven gehouden door leden van de examencommissie. De bevindingen worden d.m.v. checklists vastgelegd en geëvalueerd in de Ecie
5. Beoordeling van de examens
X Bij elke toetsafname d.m.v. een enquête formulier (student en externe beoordelaar). Na elke toetsperiode wordt door het Examenbureau een evaluatie van de toetsperiode gemaakt, waarbij ook een analyse van deze toetsevaluaties aan de orde komt. Analyses van verbeterpunten worden bewaard t.b.v. toekomstige revisies.
6. Cijfervaststelling
X Na elke toetsperiode worden de resultaten in de examencommissie besproken. Bij afwijkingen worden resultaten eerst besproken voordat ze definitief worden vastgesteld. Het examenbureau heeft hierbij de eerste signalerende functie.
7. Het bekend maken van de examenresultaten
X Door middel van KRD self-service portal worden cijfers bekendgemaakt. Evaluatie gebeurt d.m.v. studentenevaluaties.
8. Het proces van maken en uitgeven van diploma’s
X D.m.v. steekproeven door Ecie-leden worden checks uitgevoerd op de onderliggende diploma-stukken bij de aangevraagde diploma’s. Van diploma-aanvragen, die in de sub-examencommissie werden vastgesteld, volgt verantwoording in de daarop volgende grote examencommissie.
9. Archiveren
X Er is van elke student een diploma-dossier aanwezig op het examen-bureau. Dit wordt ook gecheckt tijdens steekproeven door de Examencommisie Diploma-dossiers worden tot 1,5 jaar na diplomeren bewaard.
10. Inzage procedure
X Indien aan de orde wordt hierover verslag uitgebracht door de ex. secretaris in de Ecie
11. Klachtenprocedure
X Klachtenevaluatie is een vast onderdeel van het Ecie-overleg. Daarnaast worden klagers gevraagd naar hun oordeel over de kwaliteit van de klachtenafhandeling.
12. Vrijstellingsregeling
X Gemandateerd aan ex. secretaris. Er wordt een vrijstellingsregister bijgehouden op het Examenbureau. Bij elk overleg met de Ecie
26 Jaarverslag Examinering Maritiem en Logistiek College De Ruyter – februari 2017
Bij de evaluatie van bovenstaande processen wordt gekeken naar de onderliggende procedures (instrumenten/beoordelingsmodellen, vaststelling, kwaliteit van betrokkenen binnen de examinering). De bevindingen worden vastgelegd in een rapportage per proces en gearchiveerd door secr. Examencommissie Voor akkoord Examencommissie d.d. : november 2016
wordt geëvalueerd of honorering gegrond/niet gegrond is.
13. EVC-procedure
X
27 Jaarverslag Examinering Maritiem en Logistiek College De Ruyter – februari 2017
Resultaten laatste jaars enquête peiljaar 2016 (actie 7)
In het peiljaar oordeelden onze studenten als volgt bij hun diplomering:
Vraag Binnenvaart Scheepvaart
Je oordeel over de kwaliteit van de
examinering?
7,7 6,3
Je oordeel over de kwaliteit van de
beoordeling van je stage
8,6 8,1
Deze enquête werd (nog) niet bij de logistieke opleidingen afgenomen.
28 Jaarverslag Examinering Maritiem en Logistiek College De Ruyter – februari 2017
Checklist gehele examenproces (actie 9) In november 2016 werd als zelfevaluatie onderstaande check van het gehele
examenproces volgens het format uit de Procesarchitectuur uitgevoerd.
Herbij werden geen grote risico’s meer vastgesteld. De procesgebieden waar nog
verbeterpunten liggen, zijn hierbij in geel aangegeven.
J Ja
N Nee
D Deels
A. Procesgebied kaders stellen
Checkpunt Antw. Dit blijkt uit
EXAMENVISIE
1. De visie op examinering is afgeleid van de algemene visie van de instelling op kwaliteit van onderwijs
Kaderstellend document “Examenorganisatie Scalda”
3. De examenvisie is bekend bij de betrokkenen van het examineringsproces
Alleen bij leden Ecie
4. De examenvisie leeft bij de betrokkenen van het examineringsproces
Alleen bij leden Ecie
EXAMENREGLEMENT
1. Er is een volledig en actueel examenreglement beschikbaar
www.scalda.nl
2. Het examenreglement is afgestemd op de laatste (landelijke) ontwikkelingen
www.scalda.nl
3. Het examenreglement is bekend bij de betrokkenen van het examineringsproces
In HBE en OER-en wordt ernaar verwezen.
4. Het examenreglement is bekend bij de studenten In OER deel 2/3 wordt ernaar verwezen. Enquêtes laten echter vaak een beeld zien dat het onvoldoende bekend is.
5. Jaarlijks wordt gecheckt of het examenreglement nog voldoet of dat er aanpassingen nodig zijn
Door netwerkgroep Examinering en BO
HANDBOEK EXAMINERING
1. Er is een volledig en actueel handboek examinering beschikbaar
Versie 1.2.1 vastgesteld en gepubliceerd/revisie gereed voorjaar 2017 (gebaseerd op PE).
2. In het handboek examinering staan de processen en procedures, taken en verantwoordelijkheden van examenbetrokkenen beschreven
Zie HBE.
3. De informatie in het handboek examinering is voor alle examenbetrokkenen toegankelijk en snel te vinden
www.scalda.nl
4. De examenbetrokkenen weten het handboek examinering te vinden en gebruiken dit ook
Clusterspecifiek op infonet geplaatst. In hardcopy aan docenten/Ecieleden gedistribueerd
5. Het handboek examinering is actueel Revisie was gepland voor eind 2016 (clusterspecifiek). Ivm keuze voor PE (Scaldabreed) is dit uitgesteld tot voorjaar 2017
6. Jaarlijks wordt het handboek examinering geëvalueerd en bijgesteld waar nodig
Vast onderdeel netwerkgroep Examinering en Examencommissie
VASTSTELLEN KADERS
1. De examenvisie is vastgesteld www.scalda.nl Clusterbreed nog onvoldoende. Zal onderdeel vormen van de taak examenmanagement. Wordt momenteel uitgewerkt door Henrik en Nadine. Wachten op vaststelling examenvisie Scalda
2. Het examenreglement is vastgesteld www.scalda.nl
3. Het handboek examinering is vastgesteld www.scalda.nl
OPSTELLEN EXAMENPLAN
1. Er is voor elke opleiding een volledig en correct examenplan aanwezig
m.u.v. examenplannen keuzedelen vanaf cohort 2016. Addenda lopende cohorten gedeeltelijk klaar.
29 Jaarverslag Examinering Maritiem en Logistiek College De Ruyter – februari 2017
Checkpunt Antw. Dit blijkt uit
2. In het examenplan zijn alle voorgeschreven uitstroomeisen weergegeven en ‘gedekt’ door een examenonderdeel
Vcie checkt examenplannen in concept, geeft advies over wijzigingen waarna ze in de Examencommissie worden vastgesteld. (zie checklist Examenplannen).
3. Het examenplan geeft inzicht in de examenvormen/instrumenten van de examens van de opleiding
Ja (zie examenplannen en inrichting KRD)
4. In het examenplan staat of het examen plaats vindt binnen de instelling of binnen de BPV
Vanaf cohort 2016 is dit aangevuld
VASTSTELLEN EXAMENPLAN
1. Alle examenplannen zijn vastgesteld In concept door Vcie. Daarna in Excie (25.11.16) Logistiek nog niet helemaal compleet Ivm nieuwe KD’s vertraging opgelopen. Studenten hebben bij aanvang schooljaar 2016 wel concept-versie ter inzage gekregen
EVALUEREN EXAMENPROCESSEN PROCESGEBIED KADERS STELLEN
1. De processen om te komen tot vastgestelde kaders, zijn geëvalueerd en indien daar aanleiding toe was bijgesteld
BO. Examenmanagement cluster (nog in ontwikkeling)
2. De processen sluiten goed op elkaar aan BO. Examenmanagement cluster (nog in ontwikkeling)
B. Procesgebied Construeren en Vaststellen
Checkpunt Antw. Dit blijkt uit
BESLUITEN INKOPEN/CONSTRUEREN
1. Er wordt jaarlijks gekeken of de keuze om in te kopen of zelf te construeren nog steeds de juiste keuze is. Indien nodig wordt de keuze bijgesteld
Ja in Ecie. Beleid ten aanzien van inkoop dient nog beter beschreven/vastgesteld te worden. Procedure zoals beschreven in HBE wordt momenteel slechts gedeeltelijk uitgevoerd. Wordt onderdeel examenmanagement.
INKOPEN EXAMENS
1. Het inkopen van examens gebeurt op basis van nog steeds geldende redenen
Zie boven. Er is van tevoren geen aantoonbaar beleid bepaald. Procedure in ontwikkeling. Klaar dec. 2016
2. Het contract met de examenleverancier wordt jaarlijks gecheckt op inkoopvoorwaarden en op onderwijsinhoudelijke onderdelen
Ja, echter dit wordt niet of onvoldoende vastgelegd
3. De kwaliteit van de ingekochte producten wordt geëvalueerd en de uitkomsten van de evaluaties worden meegenomen in de overweging om in te blijven kopen of zijn de basis voor gesprekken/onderhandelingen met de leverancier
Ja, na elke toetsafname maken de studenten een enquête. De overweging om bij dezelfde leverancier te blijven wordt nog onvoldoende vastgelegd/onderbouwd
CONSTRUEREN EXAMENS
1. De geconstrueerde examens bestaan uit een opdracht, beoordelingsmodel, instructies voor student en beoordelaar, toetsmatrijs
Er wordt met een vast format gewerkt voor elke examenvorm, waarbij als eerste een constructiedossier wordt gemaakt. Zie check door CINOP 2015 en 2016 en rapport interne audits
2. De geconstrueerde examens sluiten (nog) aan bij de wet- en regelgeving en in het handboek gemaakte afspraken
Toetsmatrijs wordt niet gebruikt in de volgorde zoals in het HBE staat vermeld. Zie besluit Excie hierover.
3. De examens voldoen (nog) aan inhoudelijke en toetstechnische kwaliteitseisen
Ja. Zie Check door CINOP en rapporten interne audit
4. De examens zijn van voldoende niveau en sluiten aan bij het kwalificatiedossier
Ja. Zie Check door CINOP en rapporten interne audit
5. De kwaliteit van de geconstrueerde examens wordt geëvalueerd en de uitkomsten van de evaluaties worden meegenomen in de overweging om zelf te blijven construeren
Ja. Evaluaties worden in Ecie besproken en bij de betreffende toetsen opgeslagen t.b.v. nieuwe versies. Voor de nieuwe KD’s wordt gezocht naar landelijke samenwerking t.b.v. constructie en vaststelling. Logistiek gebruikt examenbanken STL en ESTEL.
VASTSTELLEN EXAMENS
1. De vaststellers screenen de examens op zowel inhoudelijke als toetstechnische kwaliteit
De eerste toetstechnische check gebeurt op het examenbureau, waarna het product ter vaststelling bij de Vcie wordt aangeboden. Het beroepenveld wordt door De Vcie ingeschakeld als extra check op de
30 Jaarverslag Examinering Maritiem en Logistiek College De Ruyter – februari 2017
Checkpunt Antw. Dit blijkt uit
inhoudelijke dekking. (zie vaststellings-protocollen)
2. De vaststellers koppelen bevindingen op een correcte manier terug aan de constructeurs (indien nodig)
Na elke vaststellingsronde vindt via mail terugkoppeling plaats naar de constructeurs.
3. De vaststeller van een bepaald examen is niet de constructeur van dat examen
Ja. Deze rollen worden zoveel strikt gescheiden. In een kleine organisatie is dit echter niet altijd 100% te garanderen. De vaststellingcommissie bestaat uit 2 leden van het logistieke team en 2 leden van het scheepvaartteam om deobjectiviteit van het oordeel van de Vcie zoveel mogelijk te waarborgen
4. De vastgestelde examens sluiten aan bij de wet- en regelgeving en in het handboek gemaakte afspraken
Ja. Hier ziet de Vcie en Ecie op toe.
5. De examens voldoen aan inhoudelijke en toetstechnische kwaliteitseisen:
- Sluiten aan bij uitstroomeisen uit het KD - Sluiten aan bij eventuele wettelijke beroeps-
en branchevereisten - Sluiten aan bij eventuele uitstroomeisen
(MV)Taal en Rekenen
1. Ja 2. Ja 3. ? Dit wordt niet door de Vcie gecheckt maar door
de Examencommissie. Aanvullende scholing hiervoor nog benodigd
EVALUATIE EXAMENPROCESSEN PROCESGEBIED INKOPEN/CONSTRUEREN EN VASTSTELLEN
1. De afzonderlijke processen binnen dit procesgebied zijn geëvalueerd en bijgesteld als daar aanleiding toe was
Het constructie- en vaststellingsproces proces wordt binnen de examencommissie geëvalueerd o.a. de hand van een (mondeling) verslag door de voorzitter van de vaststellingscie. Het proces inkoop is nog onvoldoende vormgegeven. Is in ontwikkeling
2. De processen sluiten goed op elkaar aan Ja. Proces inkoop is lastig te evalueren omdat het nu nog teveel op initiatief van het team logistiek gebeurt, zonder dat er vooraf een beleid en een procedure voor is afgesproken. Volgens de procedure uit het HBE dient de directeur het besluit tot inkopen te nemen. Procedure in ontwikkeling Klaar dec. 2016.
3. De betrokken constructeurs zijn competent voor hun taak
Ja. Zie certificaten gevolgde trainingen bij CINOP en verslagen interne audits. Evaluatie vaststellings-commissie en evaluatie in examencommissie. Waar nodig volgt extra scholing (met name voor nieuwe constructeurs en nieuwe examencommissie-leden).
4. De betrokken vaststellers zijn competent voor hun taak
Idem. Zie certificaten scholingen en verslag interne audits. Wordt in Examencommissie geëvalueerd in aanwezigheid van de externe leden
5. Het functioneren van de betrokkenen wordt na elke doorlopen cyclus geëvalueerd en er worden verbeter– (scholings)plannen opgesteld indien nodig
Ja. Door aanwezigheid van het management in de Excie wordt meteen actie ondernomen, indien verbeter- en bijscholingsacties benodigd zijn.
6. De deskundigheid is aantoonbaar door bv scholing, certificatie, ervaring en/of ervaring
Ja Deskundigheid om zelf geconstrueerde instellingsexamens Talen vast te stellen is niet op het eigen cluster aanwezig. In de centrale vaststellingscommissie worden alleen nog maar generieke examens vastsgesteld. Extra scholing bij constructie,vaststelling is benodigd.
7. Bij het Inkopen/Construeren en Vaststellen van examens werkt men volgens de gemaakte afspraken, zoals vastgelegd in bijvoorbeeld het handboek examinering.
Ja vwb beroepsgerichte examinering.( Zie onder B3.1en B3.2 voor uitzondering voor werken met toetsmatrijs). Inkoop (cluster) procedure nog onvoldoende uitgewerkt. Hierdoor werden de ingekochte producten (nog) niet of slechts gedeeltelijk aan de vaststellingscie voorgelegd zoals in het HBE beschreven staat. Voor T&R en MVT lopen de processen inkoop/constuctie en vaststelling nog niet volgens heldere procedures. Hiervoor dient extra (interne en externe) scholing te worden ingezet.
31 Jaarverslag Examinering Maritiem en Logistiek College De Ruyter – februari 2017
C. Procesgebied Examineren
Checkpunt Antw Dit blijkt uit
(LATEN) UITVOEREN
1. De examens uit het examenplan worden uitgevoerd Examenbureau hanteert als checklist t.b.v. de examendossiers, het geldende examenplan. KRD is ingericht volgens datzelfde examenplan. Kandidaatstellen kan alleen als alle onderdelen zijn ingevuld (uitgevoerd). DR15 controle-formulier wordt voorgelegd aan (sub)examen-commissie voor akkoordverklaring diplomering. Tussentijds worden diverse steekproeven op de volledigheid van de examendossiers gedaan door het examenbureau en door examencommissieleden.
2. De studenten zijn tijdig uitgenodigd voor deelname aan het examen
Zie toetsevaluaties en JOB-enquête
3. De student beschikt vooraf over voldoende informatie over het examen
Zie toetsevaluaties en JOB-enquête
4. De student weet op welke wijze en waarop wordt beoordeeld
Zie toetsevaluaties en JOB-enquête
5. De examens worden georganiseerd volgens beschreven afnamecondities (hulpmiddelen, omstandigheden, voorbereidingen)
Zie toetsevaluaties, JOB-enquête en toetsproducten. Zie verslagen interne audits en opvolging acties
6. Vooraf is bij elk examen duidelijk door wie er beoordeeld wordt
Zie toetsevaluaties en JOB-enquête
7. Bij elk examen is een volledige en heldere beoordelingsinstructie aanwezig
Zie toetsevaluaties en JOB-enquête. Zie vaststellingsprotocollen en producten
8. Per examen is een duidelijk en volledig beoordelingsformulier aanwezig
Zie vaststellingsprotocollen en producten
9. Per examen is er een examenprocesverbaal opgesteld
Zie vaststellingsprotocollen en producten
10. De beoordelaar en student vullen een evaluatieformulier in na afname van het examen
Zie evaluaties.
(LATEN) BEOORDELEN
1. De prestatie van de student wordt beoordeeld aan de hand van vooraf opgestelde beoordelingscriteria
Zie examenproducten
2. Bij de beoordeling wordt gebruik gemaakt van het 4-ogen principe
Zoveel mogelijk wordt gebruikt gemaakt van 2 schoolbeoordelaars of combinatie docent/externe beoordelaar. Bij afname in de beroepspraktijk wordt bij ca. 30% van de examens een steekproef gedaan door een beoordelaar van de school. Taalexamens spreekvaardigheid en gesprekken voeren worden opgenomen, omdat er slechts 1 taaldocent aanwezig kan zijn
3. De uitslag van het examen wordt duidelijk onderbouwd vastgelegd op het beoordelingsformulier
Zie producten
4. De student krijgt binnen de afgesproken en vastgelegde tijd het examenresultaat te horen
Zie toetsevaluaties en JOB-enquête. Resultaten worden door het examenbureau tijdig in KRD ingevoerd, waarna ze voor de student inzichtelijk zijn d.m.v. het selfservice portal
5. De beoordeling is duidelijk en doet recht aan de prestaties van de student
Zie beoordelingsprotocollen
VASTSTELLEN RESULTAAT
6. Eventuele beroeps- en bezwaarprocedures worden afgehandeld zoals is afgesproken in het handboek examinering
Indien van toepassing
Het resultaat van de examens wordt binnen daarvoor gestelde termijn gearchiveerd
Zie boven
De archivering van de examenresultaten is efficiënt en effectief: documentatie is gemakkelijk terug te vinden
Zie verslag interne audit en verslag steekproeven door examencommissieleden
32 Jaarverslag Examinering Maritiem en Logistiek College De Ruyter – februari 2017
Checkpunt Antw Dit blijkt uit
EVALUATIE EXAMENPROCESSEN PROCESGEBIED EXAMINEREN
1. De afzonderlijke processen binnen dit procesgebied zijn geëvalueerd en bijgesteld als daar aanleiding toe was
2. De processen sluiten goed op elkaar aan Zal door middel van het uitwerken van de taak examenmanagement geoptimaliseerd worden
3. De betrokken beoordelaars zijn competent voor hun taak
Assessoren registeren wordt niet altijd even consequent aangevuld bij nieuwe externe beoordelaars. De beoordelaars van de school zijn allemaal aantoonbaar geschoold. Zie bekwaamheidsdossiers en certificaten. Ook enkele externe beoordelaars zijn aantoonbaar geschoold. Voor praktijkbeoordelaars blijft dat lastig te realiseren. We hanteren hiervoor een systeem van kwaliteitsevaluatie. (zie assessorenregister).
4. Het functioneren van de betrokkenen wordt na elke doorlopen cyclus geëvalueerd en er worden verbeter– (scholings)plannen opgesteld indien nodig
In Examencommissie o.a. door analyse van de toetsevaluaties
5. De deskundigheid is aantoonbaar door bv scholing, certificatie, ervaring en/of ervaring
Zie boven onder 3
6. Bij het Examineren werkt men volgens de gemaakte afspraken, zoals vastgelegd in bijvoorbeeld het handboek examinering.
Elk examenproduct bevat standaard een instructie voor de beoordelaar. Externe beoordelaars worden van tevoren gebriefd.
D. Procesgebied Diplomeren
Checkpunt Antw Dit blijkt uit
BESLUITEN OM TE DIPLOMEREN
1. De examencommissie stelt voor diplomering vast welke studenten voor diplomering in aanmerking komen; zij doen dit binnen de termijn die hiervoor is genoemd in het handboek
Zie vergaderverslagen en DR15 controlelijsten en procedure diploma-aanvrager
2. De diplomabeslissing doet recht aan de prestaties van de student, gerelateerd aan de uitstroomeisen van het kwalificatiedossier
Adhv van het DR15 formulier en de check op het diploma-dossiers (steekproefsgewijs) checkt de examencommissie of alle examens volgens het geldende examenplan zijn afgetoetst
DIPLOMEREN
1. Uiterlijk X weken voor de diploma-uitreiking is de diploma-uitreiking georganiseerd
Bij tussentijdse diplomeringen gebeurt de uitreiking op individuele basis
2. Uiterlijk X weken voor de diploma-uitreiking zijn de studenten geïnformeerd
d.m.v. de jaarplanner
3. De diploma’s worden na vaststelling door de examencommissie uitgedraaid
Ja. Diploma-aanvragen worden (meestal) eerst in de sub-examencommissie gehonoreerd na uitgebreide check op het examendossier. Over dit besluit wordt later in de grote examencommissie verantwoording afgelegd.
4. De diploma’s worden ondertekend Zie diploma’s
5. Het is duidelijk waar en door wie de examens worden beheerd
Ja zie HBE
6. De diploma’s worden tijdig beschikbaar gesteld Ja
7. Wanneer diploma’s niet worden afgehaald worden ze opgeborgen
Uitsluitend in de kluis op het examenbureau
8. De inhoud van het diploma en de resultatenlijst voldoet aan de vaste onderdelen die de mbo-instelling standaard moet vermelden
Vast format in KRD
EVALUATIE EXAMENPROCESSEN PROCESGEBIED DIPLOMEREN
1. De afzonderlijke processen binnen dit procesgebied zijn geëvalueerd en bijgesteld als daar aanleiding toe was
Ja. N.a.v. evaluatie en interne audit is een nieuwe procedure diploma-aanvragen opgesteld en geïmplementeerd
2. De processen sluiten goed op elkaar aan Zie nieuwe procedure diploma-aanvragen
33 Jaarverslag Examinering Maritiem en Logistiek College De Ruyter – februari 2017
Checkpunt Antw Dit blijkt uit
3. De betrokkenen zijn competent voor hun taak
Zie interne audit. Waar nodig wordt extra scholing georganiseerd
4. De deskundigheid is aantoonbaar door bv scholing, certificatie, ervaring en/of ervaring
Alle interne examencommissieleden zijn aantoonbaar geschoold. De externe leden worden binnenkort aanvullend geschoold maar zijn intern intensief voorgelicht en betrokken bij diverse steekproeven
5. Bij het Diplomeren werkt men volgens de gemaakte afspraken, zoals vastgelegd in bijvoorbeeld het handboek examinering.
HBE een aanvullend de procedure diploma-aanvaag
E. Het gehele examenproces (alle examenprocessen met elkaar in samenhang)
Checkpunt Antw. Dit blijkt uit
BORGING GEHELE EXAMENCYCLUS
1. Evaluatie vindt plaats over de gehele examencyclus Deze checklist
2. De verschillende procesgebieden sluiten goed op elkaar aan
Zie boven. Inkoopprocedure nog onvoldoende uitgewerkt en procedure constructie/vaststellling en examinering MVT/T&R
3. De communicatie tussen de betrokkenen van de procesgebieden loopt goed.
Examenmanagement wordt vormgegeven zodat dit dmv goede en ondubbelzinnige procedures geoptimaliseerd wordt
4. Het eindresultaat van het de gehele examencyclus voldoet aan de vooraf gestelde eisen
Waarde van de door ons uitgegeven diploma’s is ruim voldoende geborgd. Zie ook rapport interne audits
5. Afspraken rondom het examenproces, zowel binnen als tussen de procesgebieden, worden nagekomen
Zie onder 3
6. De vereiste deskundigheid van de betrokkenen per procesgebied wordt geëvalueerd en indien nodig bijgesteld
Kan nog beter gedocumenteerd worden. Zal onderdeel taak examenmanagement worden
7. De betrokkenen in het examenproces voelen zich gemotiveerd en voldoende gefaciliteerd
Ja. Al bestaat door de huidige workload binnen een kleine organisatie met beperkte financiële middelen en vaak veranderende kwalificatiestructuren, het gevaar van ‘’overbelasting’’ , wat weer reden zou kunnen geven tot ontevredenheid. Daarom wordt gezocht naar meer (landelijke) samenwerking bij het construeren van de nieuwe examenproducten en keuzedelen als gevolg van de IHKS.
8. Alle betrokkenen zijn op de hoogte van de verbeterplannen die er liggen
Bij examencommissie en vaststellingscie is dit voldoende bekend. Als gevolg van een onvoldoende uitgewerkt examen-management is dit wellicht slechts deels bekend bij constructuers en beoordelaars.
9. Er wordt regelmatig gecheckt of de verbeterplannen uitgevoerd worden of uitgevoerd zijn
Binnen de examencommissie. Dit moet ook onderdeel van de taak examenmanagement gaan worden.
10. De evaluaties volgen de plan-do-check-act cyclus: Wat was de planning van het proces en het gewenste resultaat? Hoe is de uitvoering verlopen? Wat kan/moet daaraan verbeterd worden?
Evaluaties zijn onderdeel van de jaarcyclus (zie jaarplanner). Vanaf eind 2016 zal daarnaast ook gewerkt worden met een jaarplan volgens format PE, zodat de planning beter vormgegeven wordt.
BETROKKENHEID BEROEPENVELD
1. Het betreffende beroepenveld heeft aantoonbaar vertrouwen in examinering van de instelling
Externe examencommissieleden. Externe beoordelaars. Externe vaststellers (inhoudelijk advies). Zie Enquêtes.
2. Er is regelmatig overleg tussen het beroepenveld en de instelling over examinering
In Excie, bij beoordelingen in de BPV en op school. Bij netwerkbijeenkomsten. Landelijke samenwerkings-verbanden.
34 Jaarverslag Examinering Maritiem en Logistiek College De Ruyter – februari 2017
Checkpunt Antw. Dit blijkt uit
3. Het beroepenveld werkt daadwerkelijk mee aan de examinering
Ja, als beoordelaars, examencommissieleden en vaststellers
EXAMENFUNCTIONARISSEN
1. Degenen die een functie hebben in het managen, bewaken en monitoren van de examenprocessen zijn competent voor hun taak
Indien aanvullende scholing gewenst is wordt dit georganiseerd. Netwerkbijeenkomsten worden bezocht, seminars en waar nodig wordt naar interne samenwerking gezocht met andere colleges/collega’s binnen Scalda. Zie rapport interne audits en certificaten van scholingen
2. Het functioneren van de hierboven genoemde functionarissen wordt na elke doorlopen cyclus geëvalueerd
Ja, o.a. d.m.v. enquêtes waarvan de analyses in de examencommissie worden besproken, echter er wordt nog onvoldoende vastgelegd hoe en op grond van welke normering besloten wordt dat alle betrokken voldoende functioneren.
3. De deskundigheid is aantoonbaar door b.v. scholing, certificering, ervaring
Zie certificaten en bekwaamheidsdossiers
35 Jaarverslag Examinering Maritiem en Logistiek College De Ruyter – februari 2017
Monitor opvolging acties uit interne audits (actie nr.10)
Aan: College van Bestuur Van: René Teunissen, Beleidsmedewerker IC Datum: 8-9-2016 Betreft: Opvolging auditbevindingen
Geacht College, Middels dit memo informeren wij u over de opvolging van de aanbevelingen uit de auditrapporten van de afdeling IC. De afdeling IC heeft het betreffende management verzocht om een schriftelijke reactie te geven op de opvolging van de bevindingen. De reacties die zijn opgenomen als managementcommentaar zijn de reacties zoals gegeven door het management van de betreffende clusters en diensten. Er is geen nader onderzoek gedaan naar de werkelijke opvolging. Dit document is opgebouwd uit 3 onderdelen: Onderstaand treft u de legenda aan van de voorgang. 1: De tabel van de status van bevindingen uit onderwijsaudits. 2: De tabel van de status van bevindingen uit examineringsaudits. 3: De tabel van de status van bevindingen uit overige audits.
René Teunissen Beleidsmedewerker IC
● Nieuwe controlebevinding
● Reeds gerapporteerde controlebevinding, in ontwikkeling
● Reeds gerapporteerde controlebevinding, geen voortgang
● Opgevolgd
36 Jaarverslag Examinering Maritiem en Logistiek College De Ruyter – februari 2017
Cluster Maritiem:
Audit: Examinering Maritiem, Logisitiek Datum: 9 november 2015
Bevinding Item sinds Status 9-2016
Status 4-2016
Status 9-2015
Opvolging en commentaar Management (April 2016)
Opvolging en commentaar Management (September 2016)
Zorg voor een examendossier dat qua opbouw overeenkomt met het programma van examineren. Gebruik hierbij een voorblad waarop aangegeven kan worden welke onderdelen in het dossier zijn opgenomen zodat de volledigheid in een oogopslag zichtbaar is. Zorg daarnaast ook dat er (bijvoorbeeld met tabjes) een plaats is voor ieder afzonderlijk dossierstuk. In een geordend dossier vallen bijzonderheden eerder op, daarnaast vergemakkelijkt het de taak van de examencommissie om zich er van te vergewissen dat de diplomering deugdelijk tot stand komt.
15-12-2015
● ● n.v.t. In de dossiers is een checklist opgenomen waarop alle aanwezige examenonderdelen door het examenbureau worden aangevinkt. Deze onderdelen worden zoveel mogelijk op volgorde van het examenplan in het dossier opgeslagen. Bij de finale check t.b.v. de diploma-aanvraag wordt het DR15 formulier “controlelijst diploma-aanvraag” gehanteerd. Indien het dossier compleet is wordt de diplomering na akkoord van de examencommissie doorgezet.
Tijdens de diverse steekproeven door examencommissieleden van april t/m oktober 2016 bleek een enorme verbetering merkbaar in de opbouw en de volledigheid van de dossier. Het proces van diplomering komt op een deugdelijker manier tot stand
De verantwoordelijkheid voor de volledigheid van het examendossier komt te liggen bij degene die het diploma aanvraagt. Zorg ervoor dat gemonitord wordt dat het dossier aan de geformuleerde kwaliteitsstandaarden (zie aanbeveling 1) voldoet en accepteer geen incomplete dossiers. Zonder ‘gemaakt werk’ kan retrospectief het besluit tot diplomeren niet worden herleid. Hierin schuilen grote risico’s met betrekking tot het oordeel dat gevormd wordt over de besluitvorming tot diplomering.
15-12-2015
●/● ● n.v.t. In december 2015 is de nieuwe procedure “diploma-aanvraag” vastgesteld en meteen geïmplementeerd. De diploma-aanvrager heeft de verantwoordelijkheid om het examendossier compleet te maken. Zodra compleet wordt de status ‘kandidaat’ toegewezen door het examenbureau. De (sub)-examencommissie besluit tot honorering van de diploma-aanvraag na steekproeven (*) op de betreffende examendossier. * Teneinde tekortkomingen in het proces van cijferinvoer door het examenbureau en het diplomeren eerder te signaleren en om te voorkomen dat studenten de dupe worden van een vertraagde diploma-uitgifte, worden vanaf kalenderjaar 2016 meerdere steekproeven (van tevoren) op de examendossiers uitgevoerd door roulerende examen-commissieleden (dat gebeurde vroeger nog vaak achteraf i.v.m. tijdsdruk). Hierdoor kan het definitieve besluit tot diplomeren vlotter
Procedure werkt. Hier wordt regelmatig op gecontroleerd door examencommissieleden. Ook is in de Examencommissie afgesproken om nog meer tussentijdse controlemomenten in te bouwen gedurende het schooljaar om de volledigheid van de dossiers te checken en tijdig te kunnen anticiperen op eventuele tekortkomingen. Alleen bij hele hoge uitzondering werden/worden diploma’s uitgegeven waarbij de dossiers niet compleet waren/zijn, omdat het gemaakte werk was/is zoekgeraakt. In het belang van de student werd/wordt dan in de examencommissie besloten om de student niet de dupe te laten zijn van nalatig handelen van docenten en volgde/volgt een waarschuwing. In sommige gevallen werd hiervoor de hardheidsclausule toegepast. De betreffende dossiers waren ‘erfenissen’ uit de periode waarin de procedure diploma-aanvraag nog niet volledig
37 Jaarverslag Examinering Maritiem en Logistiek College De Ruyter – februari 2017
en nog beter geborgd genomen worden. Van deze steekproeven wordt in de examencommissie verslag uitgebracht waarop gerichte acties worden afgesproken.
was geïmplementeerd en stringent toegepast.
De (twee) studenten die het auditteam gesproken heeft zijn absoluut onvoldoende op de hoogte van het onderdeel examinering in hun opleiding. Het auditteam heeft vastgesteld dat dit niet ligt aan de informatie de beschikbaar is, maar aan het gebrek aan het regelmatig en op relevante momenten delen van deze informatie met de studenten. Ons advies luidt dan ook om de informatie over examinering regelmatiger op relevante momenten te delen met studenten. Zij moeten minstens een beeld hebben waar zij aan moeten voldoen om hun diploma te behalen en het verschil weten tussen ontwikkelgerichte en kwalificerende toetsen.
15-12-2015
● ● n.v.t. Volgende acties zijn in het team uitgezet:
Meer aandacht geven aan de inhoud van de OER-en bij aanvang schooljaar (introductieweek).
OER-en toegankelijker maken voor studenten (N@tschool)
Op regelmatiger basis informatie herhalen met studenten, omdat informatie blijkbaar snel ‘wegzakt’.
• Toetsrooster eerder en toegankelijker bekend maken. Hiertoe is een roosterprocedure ingevoerd die conform pdca voor de zomer van 2016 zal worden geëvalueerd.
Acties uitgevoerd.
Er is in de afgelopen periode veel aandacht geweest om het proces om te komen tot goede vastgestelde examenproducten op orde te brengen. Er is ook aandacht voor de beoordeling. Doordat de processen rondom ontwikkelen, vaststellen en beoordelen steeds meer op orde raken zal de focus verschuiven naar het managen en monitoren van de examenprocessen en daarmee ook het bewaken van de kwaliteit. Wij adviseren (mede gezien de omvang van de examenorganisatie) kritisch te kijken naar de benodigde checks and balances. Er zijn nu te veel dubbelrollen en doorbrekingen van de noodzakelijke functiescheidingen. Kijk hierbij ook over de team- en clustergrenzen.
15-12-2015
● ● n.v.t. Onderdeel van het clusterjaarplan 2016-2017 is om de procedures versneld te completeren. Ook wordt, gezien de schaalgrootte van het cluster, gezocht naar middelen om te assisteren bij een pro-actieve examencommissie. Hiertoe worden momenteel verkennende gesprekken met Techniek/ICT gevoerd. Een zelfevaluatie, uitgevoerd vanuit elke rol (betrokkene), in het examineringsproces kan hierbij heel belangrijke input leveren. Deze wordt ook voor 2016-2017 ingepland.
Zelfevaluatie dient nog te worden uitgevoerd, waarna de diverse examentaken zullen worden herzien. Zodra Scalda-breed gekozen is voor een bepaald model Examenorganisatie zal het model van het cluster hierop worden afgestemd Steekproeven worden reeds vaker ingepland.
In de audit zijn relatief veel ‘kleine’ foutjes gevonden in de documenten die relatie hebben tot de examinering. Deze zijn mondeling teruggekoppeld tijdens en na de audit. Het gaat dan om het hanteren van verschillende begrippen voor hetzelfde, wegvallen van tekst,
15-12-2015
● ● n.v.t. Toetsproducten worden aangepast, maar hiermee wordt niet voorkomen dat de verouderde producten bij sommige huidige studenten nog steeds aangetroffen kunnen worden, omdat zij op het moment van de vaststelling deze examens al hadden gemaakt.
De toetsproducten/examenprogramma’s zijn gecorrigeerd, maar blijven uiteraard onderhevig aan wijzigingen welke het gevolg zijn van ‘voortschrijdend inzicht’.
38 Jaarverslag Examinering Maritiem en Logistiek College De Ruyter – februari 2017
verkeerde nummeringen van kerntaken, taalfouten, etc. Ook staat in de OER nog algemene tekst die niet van toepassing is op de betreffende opleiding. Wij adviseren om aandacht te besteden aan het corrigeren van de geconstateerde zaken en zelf nog eens kritisch te kijken naar de inhoud van de documenten.
Waar nodig zijn nog wel tijdig wijzigingen doorgevoerd voor de lopende cohorten. De steekproeven door de examen-commissieleden worden vanaf 2016 in een eerder stadium uitgevoerd, zodat meer vanuit een pro-actieve houding gehandeld wordt i.p.v. reactief.
In het OER van ‘Chauffeur goederenvervoer’ zijn voorwaardelijkheden genoemd in paragraaf 6.1 en paragraaf 8. Deze voorwaardelijkheden hebben betrekking op aanwezigheid. OCW en de inspectie zijn van mening dat dit niet is toegestaan3. Een school mag de deelname aan het examen niet weigeren als sanctie op het niet nakomen van een andere verplichting. Zowel in de WEB als het Toezichtkader BVE 2012 staan hierover geen bepalingen. Er gelden derhalve geen formele beperkingen, dit betekent volgens OCW en de inspectie niet dat alles is geoorloofd.
15-12-2015
● ● n.v.t. Voorwaarden zijn aangepast. Zie aanvullende opmerkingen hierboven.
uitgevoerd
De proeve van bekwaamheid van cohort 2013/2014 bevatte slecht een dekking van 75% van de werkprocessen van de kerntaak. In de nieuw ontwikkelde proeve is dit niet meer het geval. Desalniettemin adviseren wij om niet de ondergrens van de dekking van het Kwalificatiedossier op te zoeken. Hierin schuilen risico’s zoals in deze audit geconstateerd (het onjuist interpreteren van het begrip ‘meer dan driekwart’. Maar ook in algemene zin kan gesteld worden dat een marge ten aanzien van het minimum wenselijk is.
15-12-2015
● ● n.v.t. Opmerkingen zijn met de contructeur(s) en vaststelingscommissie besproken en worden bij de toets-revisie meegenomen.
Producten werden hierop aangepast.
De weging van de examens onderling is niet transparant bij zowel Manager havenlogistiek als
15-12-2015
● ● n.v.t. Opmerkingen zijn met de constructeur(s) en vaststellingscommissie besproken en worden
In schooljaar 2016-2017 zijn verdere scholingen met CINOP ingepland, waaronder o.a. scholing
3 Bron: Voorwaardelijke toetsing en examinering: Een publicatie naar aanleiding van de leg-uit-bijeenkomst op 28 januari 2014 van het Servicepunt examinering mbo in samenwerking met het ministerie van OCW en de
Inspectie van het Onderwijs.
Datum: versie, deel A 1 april 2014
39 Jaarverslag Examinering Maritiem en Logistiek College De Ruyter – februari 2017
bij chauffeur goederenvervoer. Het OER bevat een overzicht van de kwalificerende toetsing. Per kerntaak worden diverse resultaten verwoord die meewegen binnen het oordeel per kerntaak. Van deze delen is een onderlinge weging aangeven. Wat echter niet zichtbaar uitgewerkt is hoe vanuit de diverse resultaten een definitief oordeel per kerntaak gegenereerd kan worden. (Hoe telt een oordeel “V” bijvoorbeeld in relatie tot een cijfer 8). In Eduarte is dit op de achtergrond ingeregeld maar dit is niet in de documenten terug te vinden en derhalve niet transparant. Wij adviseren de weging van een O/V/G inzichtelijk te maken in het overzicht van de kwalificerende examenonderdelen.
bij de toets-revisie meegenomen. Aanvullende scholing bij constructeurs, vaststellers en examencommissie benodigd.
voor examencommissieleden en vaststellers, waarbij de procedure cesuurbepaling zeker betrokken zal worden. Bij de totstandkoming van de nieuwe examenplannen is extra aandacht geweest voor de weging van de diverse kwalificerende onderdelen onderling.
Het auditteam heeft geen duidelijke algemene uitgangspunten geconstateerd op basis waarvan de cesuur van de afzonderlijke examenproducten of het examen als geheel wordt bepaald. Hierdoor lijkt er een mate van willekeur te zitten in de bepaling van de cesuur van de examenonderdelen en het examen als geheel. Ondanks het ontbreken van een verantwoorde procedure voor de cesuurbepaling leidt dit niet tot bevindingen ten aanzien van de juistheid van de cesuur, hoogstens ten aanzien van het niveau van de cesuur of de weging van de verschillende onderdelen. Desalniettemin adviseren wij toch om kritisch de cesuur in de examenonderdelen als de cesuur van het examen als geheel nog eens te bekijken en na te gaan of de gehanteerde cesuur overeenkomst met de gewenste cesuur.
15-12-2015
● ● n.v.t. Opmerkingen zijn met de contructeur(s) en vaststellingscommissie besproken en worden bij de toets-revisie meegenomen. Aanvullende scholing bij constructeurs, vaststellers en examencommissie benodigd.
In schooljaar 2016-2017 zijn verdere scholingen met CINOP ingepland, waaronder o.a. scholing voor examencommissieleden, waarbij de procedure cesuurbepaling zeker betrokken zal worden.
Het auditteam constateert een risico m.b.t. georganiseerde onafhankelijkheid. Hierbij valt te denken aan de dubbele rollen van de diverse betrokkenen. De voorzitter van de examencommissie is als clusterdirecteur integraal verantwoordelijk voor het gehele cluster en als
15-12-2015
●/● ● n.v.t. Vooruitlopend op het wetsvoorstel zullen de taken van de financieel resultaatverantwoordelijke en de voorzitter van de examencommissie qua besluitvorming gescheiden moeten worden. Hiertoe zal een huishoudelijk reglement Examencommissie
Het doel van het wetsvoorstel examencommissies MBO (uit publicatie van het Servicepunt Examinering MBO) is dat de taken en verantwoordelijkheden van de examencommissies duidelijk zijn en goed worden belegd. Daarnaast geeft het
40 Jaarverslag Examinering Maritiem en Logistiek College De Ruyter – februari 2017
voorzitter van de examencommissie is hij tevens eindverantwoordelijk voor de examenprocessen inclusief zak-slaag beslissing. Er zijn daarnaast nog vele dubbelrollen geconstateerd. Omdat het management ook zitting heeft in de examencommissie moet onafhankelijkheid worden georganiseerd in processen en protocollen. Het waarborgen van de mogelijkheid om als individueel lid van de examencommissie altijd te kunnen escaleren is een voorbeeld van een georganiseerde onafhankelijkheid. Ook heeft de auditcommissie aandacht gevraagd voor een duidelijkere scheiding van productontwikkeling en vaststelling door de samenwerking op te zoeken met een ander team. Ook t.a.v. de zak-slaagbeslissing kan onafhankelijkheid in het proces worden bewerkstelligt. Vooruitlopend aan de wet- en regelgeving die in ontwikkeling is adviseren wij te zoeken naar een model waarin recht wordt gedaan aan de toekomstige eisen.
opgesteld moeten worden. We wachten hiervoor de centrale ontwikkelingen af. De voorzitter en secretaris hebben een Conferentie hierover bijgewoond op 1 april 2016.
wetsvoorstel aan dat het bevoegd gezag de taak heeft om de onafhankelijkheid en het functioneren van de examencommissie te waarborgen. Hierop voorsorterend en in afwachting van het definitieve model voor de examenorganisatie Scalda, is in de examencommissie van 30 september 2016 besloten om het technisch voorzitterschap van de directeur te mandateren aan Dhr. Arthur Schot (extern examencommissielid namens het logistieke beroepenveld). Met deze mandatering zijn we ervan overtuigd dat de vergaderingen in een veilige en open sfeer zullen blijven verlopen, welke de kwaliteit van de examinering en daarmee ook ons onderwijs gegarandeerd zal blijven. Hiermee hopen we een stap verder te komen in het borgen van de onafhankelijkheid van onze examenorganisatie.
Audit: Examinering Maritiem, Scheepvaart Datum: 14 december 2015
Bevinding Item sinds Status 9-2016
Status 4-2016
Status 9-2015
Opvolging en commentaar Management (April 2016)
Opvolging en commentaar Management (September 2016)
Zorg voor een examendossier dat qua opbouw overeenkomt met het programma van examineren. Gebruik hierbij een voorblad waarop aangegeven kan worden welke onderdelen in het dossier zijn opgenomen zodat de volledigheid in een oogopslag zichtbaar is. Zorg daarnaast ook dat er (bijvoorbeeld met tabjes) een plaats is voor ieder afzonderlijk dossierstuk. In een geordend dossier vallen bijzonderheden eerder op, daarnaast vergemakkelijkt het de taak van de examencommissie om zich er van te vergewissen
18-2-2016 ● ● n.v.t. In de dossiers is een checklist opgenomen waarop alle aanwezige examenonderdelen door het examenbureau worden aangevinkt. Deze onderdelen worden zoveel mogelijk op volgorde van het examenplan in het dossier opgeslagen. Bij de finale check t.b.v. de diploma-aanvraag wordt het DR15 formulier “controlelijst diploma-aanvraag” gehanteerd. Indien het dossier compleet is wordt de diplomering na akkoord van de examencommissie doorgezet.
Tijdens de diverse steekproeven door examencommissieleden van april t/m oktober 2016 bleek een enorme verbetering merkbaar in de opbouw en de volledigheid van de dossier. Het proces van diplomering komt op een deugdelijker manier tot stand.
41 Jaarverslag Examinering Maritiem en Logistiek College De Ruyter – februari 2017
dat de diplomering deugdelijk tot stand komt.
De verantwoordelijkheid voor de volledigheid van het examendossier komt te liggen bij degene die het diploma aanvraagt. Zorg ervoor dat gemonitord wordt dat het dossier aan de geformuleerde kwaliteitsstandaarden (zie aanbeveling 1) voldoet en accepteer geen incomplete dossiers. Zonder ‘gemaakt werk’ kan retrospectief het besluit tot diplomeren niet worden herleid. Hierin schuilen grote risico’s met betrekking tot het oordeel dat gevormd wordt over de besluitvorming tot diplomering. Wanneer een docent niet op het gemaakte werkt wil schrijven, draag dan zorg voor het opnemen van het oordeel en de onderbouwing daarvoor in het examendossier middels een apart document .
18-2-2016 ● ● n.v.t. In december 2015 is de nieuwe procedure “diploma-aanvraag” vastgesteld en meteen geïmplementeerd. De diploma-aanvrager heeft de verantwoordelijkheid om het examendossier compleet te maken. Zodra compleet wordt de status ‘kandidaat’ toegewezen door het examenbureau. De (sub)-examencommissie besluit tot honorering van de diploma-aanvraag na steekproeven (*) op de betreffende examendossier. * Teneinde tekortkomingen in het proces van cijferinvoer door het examenbureau en het diplomeren eerder te signaleren en om te voorkomen dat studenten de dupe worden van een vertraagde diploma-uitgifte (= vertraagd op laatste stage kunnen vertrekken), worden vanaf kalenderjaar 2016 meerdere steekproeven (van tevoren) op de examendossiers uitgevoerd door roulerende examen-commissieleden (dat gebeurde vroeger nog vaak achteraf i.v.m. tijdsdruk). Hierdoor kan het definitieve besluit tot diplomeren vlotter en nog beter geborgd genomen worden. Van deze steekproeven wordt in de examencommissie verslag uitgebracht waarop gerichte acties worden afgesproken. Docenten zijn geïnstrueerd dat het wel is toegestaan (verplicht zelfs) om de totaalscore op het gemaakte examenproduct te noteren.
In juni 2016 zijn de dossiers Scheepvaart reeds gecheckt door de Examencommissie ten behoeve van de a.s. diplomeringen. Ook is in de Examencommissie afgesproken om nog meer tussentijdse controlemomenten in te bouwen gedurende het schooljaar om de volledigheid van de dossiers te checken en tijdig te kunnen anticiperen op eventuele tekortkomingen. Alleen bij hele hoge uitzondering werden/worden diploma’s uitgegeven waarbij de dossiers niet compleet waren/zijn, omdat het gemaakte werk was/is zoekgeraakt. In het belang van de student werd/wordt dan in de examencommissie besloten om de student niet de dupe te laten zijn van nalatig handelen van docenten en volgde/volgt een waarschuwing. In sommige gevallen werd hiervoor de hardheidsclausule toegepast. De betreffende dossiers waren ‘erfenissen’ uit de periode waarin de procedure diploma-aanvraag nog niet volledig was geïmplementeerd en stringent toegepast.
Er is in de afgelopen periode veel aandacht geweest teneinde het proces, om te komen tot goede vastgestelde examenproducten, op orde te brengen. Er is ook aandacht voor de beoordeling. Doordat de processen rondom ontwikkelen, vaststellen en beoordelen steeds meer op orde raken zal de focus verschuiven naar het managen en monitoren van de examenprocessen en daarmee ook het bewaken van de kwaliteit. Wij
18-2-2016 ● ● n.v.t. Onderdeel van het clusterjaarplan 2016-2017 is om de procedures versneld te completeren. Ook wordt gezien de schaalgrootte van het cluster, gezocht naar middelen om te assisteren bij een pro-actieve examencommissie. Hiertoe worden momenteel verkennende gesprekken met Techniek/ICT gevoerd. Een zelfevaluatie, uitgevoerd vanuit elke rol
Zelfevaluatie dient nog te worden uitgevoerd.
42 Jaarverslag Examinering Maritiem en Logistiek College De Ruyter – februari 2017
adviseren (mede gezien de omvang van de examenorganisatie) kritisch te kijken naar de benodigde checks and balances. Er zijn nu te veel dubbelrollen en doorbrekingen van de noodzakelijke functiescheidingen. Kijk hierbij ook over de team- en clustergrenzen.
(betrokkene), in het examineringsproces kan hierbij heel belangrijke input leveren. Deze wordt ook voor 2016-2017 ingepland.
De weging van de examens onderling is niet altijd transparant. Het OER bevat een overzicht van de kwalificerende toetsing. Per kerntaak worden diverse resultaten verwoord die meewegen binnen het oordeel per kerntaak. Van deze delen is een onderlinge weging aangeven. Niet zichtbaar uitgewerkt is hoe vanuit de diverse resultaten een definitief oordeel per kerntaak gegenereerd kan worden. (Hoe telt een oordeel “V” bijvoorbeeld in relatie tot een cijfer 8). In Eduarte is dit op de achtergrond ingeregeld maar dit is niet in de documenten terug te vinden en derhalve niet transparant. Wij adviseren de weging van een O/V/G inzichtelijk te maken in het overzicht van de kwalificerende examenonderdelen.
18-2-2016 ● ● n.v.t. Opmerkingen zijn met de constructeur(s) en vaststellingscommissie besproken en worden bij de toets-revisie meegenomen. Aanvullende scholing bij constructeurs, vaststellers en examencommissie benodigd
CINOP heeft volledige examenprogramma MAROF gescreend. Hiervan volgt binnenkort terugkoppeling met constructeurs/vaststellers. Hierbij zal de gekozen weging in het examenplan ook aan de orde komen. In schooljaar 2016-2017 zijn verdere scholingen met CINOP ingepland, waaronder o.a. scholing voor examencommissieleden en vaststellers, waarbij de procedure cesuurbepaling zeker betrokken zal worden. Bij de totstandkoming van de nieuwe examenplannen is extra aandacht geweest voor de weging van de diverse kwalificerende onderdelen onderling.
Het auditteam heeft geen duidelijke algemene uitgangspunten geconstateerd op basis waarvan de cesuur van de afzonderlijke examenproducten of het examen als geheel wordt bepaald. Ondanks het ontbreken van een verantwoorde procedure voor de cesuurbepaling leidt dit niet tot bevindingen ten aanzien van de juistheid van de cesuur, hoogstens ten aanzien van het niveau van de cesuur of de weging van de verschillende onderdelen. Desalniettemin adviseren wij toch om kritisch de cesuur in de examenonderdelen als de cesuur van het examen als geheel nog eens te bekijken en na te gaan of de gehanteerde cesuur overeenkomt met de gewenste cesuur. Dit aspect zou tijdens het proces van vaststelling meer aan de orde kunnen komen.
18-2-2016 ● ● n.v.t. Opmerkingen zijn met de constructeur(s) en vaststellingscommissie besproken en worden bij de toets-revisie meegenomen. Aanvullende scholing bij constructeurs, vaststellers en examencommissie benodigd
Zie hierboven
43 Jaarverslag Examinering Maritiem en Logistiek College De Ruyter – februari 2017
Doordat de beoordeling van de examens bij de binnenvaart volledig in de beroepspraktijk plaatsvindt, leidt dit tot meer risico’s. Het team voert een steekproef (bezoek) uit op ca. 30% van alle proeven. Het examenproduct is dusdanig geconstrueerd dat en weinig ruimte is voor interpretatie per beoordelingscriterium. Dit draagt bij aan de betrouwbaarheid. Daartegenover staat dat maar een beperkt deel van de schippers getraind is in het beoordelen. Naar de mening van het auditteam is het volledig uitbesteden van de examinering van deze opleiding aan externen mogelijk, maar horen daar dan meer passende waarborgen bij voor een betrouwbare beoordeling.
18-2-2016 ● ● n.v.t. Indien de formatie van het team het toelaat, zal gezocht worden naar mogelijkheden om het steekproefpercentage te verhogen. Inmiddels is alle ontwikkelgerichte toetsing voorwaardelijk gesteld voor deelname aan de kwalificerende examens. De toetsproducten worden momenteel gereviseerd teneinde de beoordelingsprotocollen aan boord makkelijker en eenduidiger hanteerbaar te maken.
Voorstel voor aanpassing beoordelingsprotocollen producten Binnenvaart is geaccordeerd in de examencommissie van 10.06.2016. Worden momenteel verder uitgewerkt. Daarnaast zijn er ontwikkelingen gaande om tot landelijk ontwikkelde en vastgestelde examenprogramma’s/-producten binnenvaart tekomen.
In de audit is geconstateerd dat bij de betrokkenen onduidelijk is wie bewaakt welke versie van een bepaald examenproduct wordt verstrekt bij een herkansing. Het advies is om af te spreken en vast te leggen wie hiervoor de verantwoordelijkheid draagt en te archiveren welke versie bij wie gebruikt is.
18-2-2016 ● ● n.v.t. De verantwoordelijkheid voor het versiebeheer valt nu onder het examenbureau. Constructeurs dienen van sommige toetsproducten nog B- en C-versies te ontwikkelen en aan te leveren t.b.v. vaststelling en opname in de examenbank.
B- en C-versies worden momenteel ontwikkeld en het versiebeheer wordt daar vervolgens op aangepast.
Het auditteam constateert een risico m.b.t. georganiseerde onafhankelijkheid. Hierbij valt te denken aan de dubbele rollen van de diverse betrokkenen. De voorzitter van de examencommissie is als clusterdirecteur integraal verantwoordelijk voor het gehele cluster en als voorzitter van de examencommissie is hij tevens eindverantwoordelijk voor de examenprocessen inclusief zak-slaag beslissing. Er zijn daarnaast nog vele dubbelrollen geconstateerd. Omdat het management ook zitting heeft in de examencommissie moet onafhankelijkheid worden georganiseerd in processen en protocollen. Het waarborgen van de mogelijkheid om als individueel lid van de examencommissie altijd te kunnen escaleren is een voorbeeld van
18-2-2016 ● ● n.v.t. Vooruitlopend op het wetsvoorstel zullen de taken van de financieel resultaatverantwoordelijke en de voorzitter van de examencommissie qua besluitvorming gescheiden moeten worden. Hiertoe zal een huishoudelijk reglement Examencommissie opgesteld moeten worden. We wachten hiervoor de centrale ontwikkelingen af. De voorzitter en secretaris hebben een Conferentie hierover bijgewoond op 1 april 2016.
Het doel van het wetsvoorstel examencommissies MBO (uit publicatie van het Servicepunt Examinering MBO) is dat de taken en verantwoordelijkheden van de examencommissies duidelijk zijn en goed worden belegd. Daarnaast geeft het wetsvoorstel aan dat het bevoegd gezag de taak heeft om de onafhankelijkheid en het functioneren van de examencommissie te waarborgen. Hierop voorsorterend en in afwachting van het definitieve model voor de examenorganisatie Scalda, is in de examencommissie van 30 september 2016 besloten om het technisch voorzitterschap van de directeur te mandateren aan Dhr. Arthur Schot (extern examencommissielid namens het logistieke
44 Jaarverslag Examinering Maritiem en Logistiek College De Ruyter – februari 2017
een georganiseerde onafhankelijkheid. Ook heeft de auditcommissie aandacht gevraagd voor een duidelijkere scheiding van productontwikkeling en vaststelling door de samenwerking op te zoeken met een ander team. Ook t.a.v. de zak-slaagbeslissing kan onafhankelijkheid in het proces worden bewerkstelligd. Vooruitlopend aan de wet- en regelgeving die in ontwikkeling is adviseren wij te zoeken naar een model waarin recht wordt gedaan aan de toekomstige eisen.
beroepenveld). Met deze mandatering zijn we ervan overtuigd dat de vergaderingen in een veilige en open sfeer zullen blijven verlopen, welke de kwaliteit van de examinering en daarmee ook ons onderwijs gegarandeerd zal blijven. Hiermee hopen we een stap verder te komen in het borgen van de onafhankelijkheid van onze examenorganisatie.
De examencommissie is vooralsnog sterk reactief gericht is op voldoen aan de eisen hetzij extern (inspectie) of intern (kaders Scalda). In de ontwikkelingsfase waarin de examencommissie zich bevindt is het van belang een meer proactief georiënteerde rol te gaan vervullen waarmee zij nog meer ’in control’ komen ten aanzien van de examenprocessen.
18-2-2016 ●/● ● n.v.t. De komende tijd ligt de prioriteit bij het opstellen van de relevante procedures als onderdeel van totale examenproces. Zie boven: o.a. steekproeven door Examencommissie worden eerder in het proces van diplomeren uitgevoerd. Extra checks and balances zullen onderdeel gaan vormen van het examineringsbeleid in 2016-2017 (o.a. zelfevaluatie).
Zelfevaluatie dient nog te worden uitgevoerd, waarna de diverse examentaken zullen worden herzien. Zodra Scalda-breed gekozen is voor een bepaald model Examenorganisatie zal het model van het cluster hierop worden afgestemd Steekproeven worden reeds vaker ingepland.