presentatie onderwijsdagen 2011 scorion peer evaluatie tudelft parantion
DESCRIPTION
Presentatie van het digitale peer evaluatie instrument dat door de TU Delft wordt gebruikt voor team evaluatie.TRANSCRIPT
![Page 1: Presentatie Onderwijsdagen 2011 Scorion peer evaluatie TUDelft Parantion](https://reader034.vdocuments.net/reader034/viewer/2022052411/556bffbdd8b42a6d768b4fc6/html5/thumbnails/1.jpg)
Challenge the future
Delft University of Technology
Peer Review versie 3:
Teamprestaties meten, volgen, toetsen
Dr. Ir. Gillian Saunders-Smits i.s.m. Parantion
![Page 2: Presentatie Onderwijsdagen 2011 Scorion peer evaluatie TUDelft Parantion](https://reader034.vdocuments.net/reader034/viewer/2022052411/556bffbdd8b42a6d768b4fc6/html5/thumbnails/2.jpg)
2
Context
• 2000+ studenten in BSc en MSc
• In BSc wordt veel gebruikt gemaakt van
Projectonderwijs (ca. 35 ECTS)
• Studenten werken in groepen van 8 – 10
studenten aan zeer diverse
projecten
Faculteit Luchtvaart- en
Ruimtevaarttechniek
![Page 3: Presentatie Onderwijsdagen 2011 Scorion peer evaluatie TUDelft Parantion](https://reader034.vdocuments.net/reader034/viewer/2022052411/556bffbdd8b42a6d768b4fc6/html5/thumbnails/3.jpg)
3
Probleem: Beoordeling
• Onder docenten grote behoefte aan assistentie
bij beoordelen
• Grootste problematiek:
• Wie heeft wat gedaan?
• Hoe groot is de individuele bijdrage geweest?
• Wat is de kwaliteit van de bijdrage?
• Hoe heeft een persoon bijgedragen aan het
groepsproces?
![Page 4: Presentatie Onderwijsdagen 2011 Scorion peer evaluatie TUDelft Parantion](https://reader034.vdocuments.net/reader034/viewer/2022052411/556bffbdd8b42a6d768b4fc6/html5/thumbnails/4.jpg)
4
Werken in een project
Tijd
Formulering
Project doel
Project
resultaat
Evaluatie
![Page 5: Presentatie Onderwijsdagen 2011 Scorion peer evaluatie TUDelft Parantion](https://reader034.vdocuments.net/reader034/viewer/2022052411/556bffbdd8b42a6d768b4fc6/html5/thumbnails/5.jpg)
5
Werken in project onderwijs projecten
Tijd
Formulatie
Project doel
Project
resultaat
Leer
resultaat
![Page 6: Presentatie Onderwijsdagen 2011 Scorion peer evaluatie TUDelft Parantion](https://reader034.vdocuments.net/reader034/viewer/2022052411/556bffbdd8b42a6d768b4fc6/html5/thumbnails/6.jpg)
6
Oplossing: Peer & Zelf
evaluaties
Peer evaluatie:
Het beoordelen van leden van het eigen project
team op hun bijdrage tot het project en de manier
waarop die bijdrage tot stand is gekomen.
Zelfevaluatie:
Het beoordelen van de eigen bijdrage tot het
project en de manier waarop die bijdrage tot
stand is gekomen.
![Page 7: Presentatie Onderwijsdagen 2011 Scorion peer evaluatie TUDelft Parantion](https://reader034.vdocuments.net/reader034/viewer/2022052411/556bffbdd8b42a6d768b4fc6/html5/thumbnails/7.jpg)
7
Type peer evaluaties
Drie types peer evaluatie:
1. Ranking (van beste tot slechtste)
2. Pot verdelen (een pot punten of geld door het
team onderling laten verdelen)
3. Rubrics (aan de hand van opgestelde criteria
studenten elkaar laten beoordelen)
Voor projectonderwijs in het HO is op LR ervaren
dat optie 3 het beste werkt.
![Page 8: Presentatie Onderwijsdagen 2011 Scorion peer evaluatie TUDelft Parantion](https://reader034.vdocuments.net/reader034/viewer/2022052411/556bffbdd8b42a6d768b4fc6/html5/thumbnails/8.jpg)
8
Uitvoering
• Gekozen voor een bestaande set rubrics zoals
gebruikt op de United States Air Force
Academy in their project
• Een Rubric is een scoringsvorm waarbij je
iemand punten geeft gebaseerd op van te
voren opgestelde criteria
![Page 9: Presentatie Onderwijsdagen 2011 Scorion peer evaluatie TUDelft Parantion](https://reader034.vdocuments.net/reader034/viewer/2022052411/556bffbdd8b42a6d768b4fc6/html5/thumbnails/9.jpg)
9
Criteria
Op L&R aan de TU Delft worden 5 criteria
gebruikt:
• Job performance
• Attitude
• Initiative
• Communication
• Management of Resources
![Page 10: Presentatie Onderwijsdagen 2011 Scorion peer evaluatie TUDelft Parantion](https://reader034.vdocuments.net/reader034/viewer/2022052411/556bffbdd8b42a6d768b4fc6/html5/thumbnails/10.jpg)
10
Job Performance Attitude Leadership/Initiative Management of
Resources
Communication
Consistently does more than
required. Work is of
exceptional quality.
Positive and professional
attitude which favorably
influences other company
members.
Takes initiative to seek out
work, concerned with getting
the job done. Very involved in
the technical project.
Uses time effectively in and out
of group and works to get
others to do the same. All tasks
completed on or ahead of
schedule.
Oral and written skills
excellent. Very effective
within the group and to
reviewers.
Sometimes does more than
required. Work is of high
quality. A producer.
Positive attitude toward
project and the team.
Readily accepts tasks,
sometimes seeks more work.
Gets involved in the project.
Uses time effectively in and of
group. Completes all tasks on
time.
Usually effective.
Performs all assigned tasks.
Quality of work is acceptable.
Neutral attitude. Gets involved enough to
complete tasks. Does his/her
share.
Wastes some time in group, but
works hard when a deadline is
near. Most tasks completed on
time.
Generally gets the point
across. Tries to improve in
weak areas.
Performs all assigned tasks.
Work must be redone or
repaired to meet standards.
Negative attitude toward
project and/or project.
Tends to watch others work.
Gets involved only when
necessary. Volunteers to help
when it will look good.
Wastes most of group time.
Seldom seen doing productive
work. Some tasks completed
late.
Skills ineffective. Makes an
effort to improve.
Performs some assigned
tasks. Work must be redone
by others to meet standards.
Negative attitude which
adversely affects other
company members or project.
Lets others do the work; does
the minimum he/she thinks is
needed to get by.
Does little useful work in group
or out; wastes his/her time and
others. Work is constantly late.
Skills ineffective. Makes
little or no effort to
improve.
![Page 11: Presentatie Onderwijsdagen 2011 Scorion peer evaluatie TUDelft Parantion](https://reader034.vdocuments.net/reader034/viewer/2022052411/556bffbdd8b42a6d768b4fc6/html5/thumbnails/11.jpg)
11
Criteria: Job Performance
++ + 0 - --
Consistently
does more
than
required.
Work is of
exceptional
quality
Sometimes
does more
than
required.
Work is of
high quality.
A producer
Performs all
assigned
tasks.
Quality of
work is
acceptable.
Performs all
assigned
tasks. Work
must be
redone or
repaired to
meet
standards
Performs
some
assigned
tasks. Work
must be
redone by
others to
meet
standards.
![Page 12: Presentatie Onderwijsdagen 2011 Scorion peer evaluatie TUDelft Parantion](https://reader034.vdocuments.net/reader034/viewer/2022052411/556bffbdd8b42a6d768b4fc6/html5/thumbnails/12.jpg)
12
Criteria: Attitude
++ + 0 - --
Positive and
professional
attitude,
which
favourably
influences
other team
members.
Positive
attitude
toward
project and
the team
Neutral
attitude.
Negative
attitude
toward team
and/or
project.
Negative
attitude
which
adversely
affects other
team
members or
project.
![Page 13: Presentatie Onderwijsdagen 2011 Scorion peer evaluatie TUDelft Parantion](https://reader034.vdocuments.net/reader034/viewer/2022052411/556bffbdd8b42a6d768b4fc6/html5/thumbnails/13.jpg)
13
Criteria: Initiative
++ + 0 - --
Takes
initiative to
seek out
work,
concerned
with getting
the job done.
Very involved
in the
technical
project.
Readily
accepts
tasks,
sometimes
seeks more
work. Gets
involved in
the project.
Gets involved
enough to
complete
tasks. Does
his/her
share.
Tends to
watch others
work. Gets
involved only
when
necessary.
Volunteers to
help when it
will look
good.
Lets others
do the work;
does the
minimum
he/she thinks
is needed to
get by.
![Page 14: Presentatie Onderwijsdagen 2011 Scorion peer evaluatie TUDelft Parantion](https://reader034.vdocuments.net/reader034/viewer/2022052411/556bffbdd8b42a6d768b4fc6/html5/thumbnails/14.jpg)
14
Criteria: Management of Resources
++ + 0 - --
Uses time
effectively in
and out of
group and
works to get
others to do
the same. All
tasks
completed on
or ahead of
schedule.
Uses time
effectively in
and of group.
Completes all
tasks on
time.
Wastes some
time in
group, but
works hard
when a
deadline is
near. Most
tasks
completed on
time.
Wastes most
of group
time. Seldom
seen doing
productive
work. Some
tasks
completed
late.
Does little
useful work
in group or
out; wastes
his/her time
and others.
Work is
constantly
late.
![Page 15: Presentatie Onderwijsdagen 2011 Scorion peer evaluatie TUDelft Parantion](https://reader034.vdocuments.net/reader034/viewer/2022052411/556bffbdd8b42a6d768b4fc6/html5/thumbnails/15.jpg)
15
Criteria: Communication
++ + 0 - --
Oral and
written skills
excellent.
Very effective
within the
group and to
reviewers.
Usually
effective.
Generally
gets the
point across.
Tries to
improve in
weak areas.
Skills
ineffective.
Makes an
effort to
improve.
Skills
ineffective.
Makes little
or no effort
to improve.
![Page 16: Presentatie Onderwijsdagen 2011 Scorion peer evaluatie TUDelft Parantion](https://reader034.vdocuments.net/reader034/viewer/2022052411/556bffbdd8b42a6d768b4fc6/html5/thumbnails/16.jpg)
16
IT systeem implementatie eisen
• Web based, systeem onafhankelijk
• Exporteerbare files
• Batch enroll functie
• Neutrale interface
• Criteria kunnen aangepast en aangevuld worden
• Ratings zijn niet terug te voeren op individuen
• Docent is regisseur en beslist wat er met de data gebeurt
![Page 17: Presentatie Onderwijsdagen 2011 Scorion peer evaluatie TUDelft Parantion](https://reader034.vdocuments.net/reader034/viewer/2022052411/556bffbdd8b42a6d768b4fc6/html5/thumbnails/17.jpg)
17
Hoe in te vullen?
• Per teamlid en voor zichzelf het meest van toepassing zijnde
hokje invullen voor iedere categorie
• Mogelijkheid tot het geven van een toelichting via commentaar
box
• Commentaar kan “private” of “public” worden gegeven
![Page 18: Presentatie Onderwijsdagen 2011 Scorion peer evaluatie TUDelft Parantion](https://reader034.vdocuments.net/reader034/viewer/2022052411/556bffbdd8b42a6d768b4fc6/html5/thumbnails/18.jpg)
18
Data beheer
• Zodra een student zijn scores doorgeeft, worden deze toegevoegd aan het gemiddelde van de groep. Op deze manier is het systeem volledig anoniem.
• Alle studenten loggen in met NetID
• Studenten kunnen hun oordelen toelichten. Hier wordt veelvuldig gebruik van gemaakt. Studenten kunnen kiezen voor 2 niveaus voor publicatie: • de hele groep • de staf
![Page 19: Presentatie Onderwijsdagen 2011 Scorion peer evaluatie TUDelft Parantion](https://reader034.vdocuments.net/reader034/viewer/2022052411/556bffbdd8b42a6d768b4fc6/html5/thumbnails/19.jpg)
19
Ervaringen met Peer evaluaties
• Om optimaal gebruik te kunnen maken van peer
evaluaties moeten ze min. twee keer per
project worden uitgevoerd (halverwege en
aan het eind)
• Commentaar functie wordt als zeer nuttig ervaren
• Omdat de resultaten niet in een cijfer wordt
omgezet wordt het systeem door studenten
geaccepteerd als eerlijk
• Een goede IT infrastructuur is onontbeerlijk om de
administratieve lasten voor docenten te
beperken
![Page 20: Presentatie Onderwijsdagen 2011 Scorion peer evaluatie TUDelft Parantion](https://reader034.vdocuments.net/reader034/viewer/2022052411/556bffbdd8b42a6d768b4fc6/html5/thumbnails/20.jpg)
20
Gebruik tot nu toe
• Vanaf 2000 met eigen systeem gewerkt
gemaakt door student assistenten
• Aantal gebruikers van systeem groeide hard
• Steeds moeilijker systeem in eigen beheer te
houden en te updaten: continuïteit kwam in
gevaar
• Eind 2009 is besloten om met externe partner
in zee te gaan: Parantion
• Vanaf september 2011: Zeer succesvolle TU
brede implementatie
![Page 21: Presentatie Onderwijsdagen 2011 Scorion peer evaluatie TUDelft Parantion](https://reader034.vdocuments.net/reader034/viewer/2022052411/556bffbdd8b42a6d768b4fc6/html5/thumbnails/21.jpg)
21
Parantion: Scorion
Bidirectionele API
![Page 22: Presentatie Onderwijsdagen 2011 Scorion peer evaluatie TUDelft Parantion](https://reader034.vdocuments.net/reader034/viewer/2022052411/556bffbdd8b42a6d768b4fc6/html5/thumbnails/22.jpg)
22
Scorion
Faciliteren en visualiseren van leer- en ontwikkelprocessen.
• Vorm
• Modulair
• Beheer:
• Itembank
• Formulieren
• Groepen
• Toepassing:
• 360⁰ feedback
• Beoordelen
• Voortgang
• Portfolio
![Page 23: Presentatie Onderwijsdagen 2011 Scorion peer evaluatie TUDelft Parantion](https://reader034.vdocuments.net/reader034/viewer/2022052411/556bffbdd8b42a6d768b4fc6/html5/thumbnails/23.jpg)
23
Vorm/ modulair
![Page 24: Presentatie Onderwijsdagen 2011 Scorion peer evaluatie TUDelft Parantion](https://reader034.vdocuments.net/reader034/viewer/2022052411/556bffbdd8b42a6d768b4fc6/html5/thumbnails/24.jpg)
24
Beheer: Itembank
![Page 25: Presentatie Onderwijsdagen 2011 Scorion peer evaluatie TUDelft Parantion](https://reader034.vdocuments.net/reader034/viewer/2022052411/556bffbdd8b42a6d768b4fc6/html5/thumbnails/25.jpg)
25
Beheer: Formulieren
![Page 26: Presentatie Onderwijsdagen 2011 Scorion peer evaluatie TUDelft Parantion](https://reader034.vdocuments.net/reader034/viewer/2022052411/556bffbdd8b42a6d768b4fc6/html5/thumbnails/26.jpg)
26
Beheer: Groepen
![Page 27: Presentatie Onderwijsdagen 2011 Scorion peer evaluatie TUDelft Parantion](https://reader034.vdocuments.net/reader034/viewer/2022052411/556bffbdd8b42a6d768b4fc6/html5/thumbnails/27.jpg)
27
Toepassing: 360⁰ feedback
![Page 28: Presentatie Onderwijsdagen 2011 Scorion peer evaluatie TUDelft Parantion](https://reader034.vdocuments.net/reader034/viewer/2022052411/556bffbdd8b42a6d768b4fc6/html5/thumbnails/28.jpg)
28
Toepassing: Beoordelen
![Page 29: Presentatie Onderwijsdagen 2011 Scorion peer evaluatie TUDelft Parantion](https://reader034.vdocuments.net/reader034/viewer/2022052411/556bffbdd8b42a6d768b4fc6/html5/thumbnails/29.jpg)
29
Toepassing: Voortgang
![Page 30: Presentatie Onderwijsdagen 2011 Scorion peer evaluatie TUDelft Parantion](https://reader034.vdocuments.net/reader034/viewer/2022052411/556bffbdd8b42a6d768b4fc6/html5/thumbnails/30.jpg)
30
Toepassing: Portfolio
![Page 31: Presentatie Onderwijsdagen 2011 Scorion peer evaluatie TUDelft Parantion](https://reader034.vdocuments.net/reader034/viewer/2022052411/556bffbdd8b42a6d768b4fc6/html5/thumbnails/31.jpg)
31
Self
Peer
Group
Self
Peer
Peer evaluaties in Scorion
Aantal vragenlijsten: 2x2
![Page 32: Presentatie Onderwijsdagen 2011 Scorion peer evaluatie TUDelft Parantion](https://reader034.vdocuments.net/reader034/viewer/2022052411/556bffbdd8b42a6d768b4fc6/html5/thumbnails/32.jpg)
32
Hoeveel vragenlijsten zou….8
![Page 33: Presentatie Onderwijsdagen 2011 Scorion peer evaluatie TUDelft Parantion](https://reader034.vdocuments.net/reader034/viewer/2022052411/556bffbdd8b42a6d768b4fc6/html5/thumbnails/33.jpg)
33
Dus: L&R voor één vak
• Projectonderwijs L&R
• 46 groepen
• 8 studenten per groep
• X 8 vragenlijsten
2944
![Page 34: Presentatie Onderwijsdagen 2011 Scorion peer evaluatie TUDelft Parantion](https://reader034.vdocuments.net/reader034/viewer/2022052411/556bffbdd8b42a6d768b4fc6/html5/thumbnails/34.jpg)
34
Demo/screenshots
![Page 35: Presentatie Onderwijsdagen 2011 Scorion peer evaluatie TUDelft Parantion](https://reader034.vdocuments.net/reader034/viewer/2022052411/556bffbdd8b42a6d768b4fc6/html5/thumbnails/35.jpg)
35
Demo/ screenshots
![Page 36: Presentatie Onderwijsdagen 2011 Scorion peer evaluatie TUDelft Parantion](https://reader034.vdocuments.net/reader034/viewer/2022052411/556bffbdd8b42a6d768b4fc6/html5/thumbnails/36.jpg)
36
Demo/ screenshots
Self
Peer
![Page 37: Presentatie Onderwijsdagen 2011 Scorion peer evaluatie TUDelft Parantion](https://reader034.vdocuments.net/reader034/viewer/2022052411/556bffbdd8b42a6d768b4fc6/html5/thumbnails/37.jpg)
37
Feedback
![Page 38: Presentatie Onderwijsdagen 2011 Scorion peer evaluatie TUDelft Parantion](https://reader034.vdocuments.net/reader034/viewer/2022052411/556bffbdd8b42a6d768b4fc6/html5/thumbnails/38.jpg)
38
Conclusies
• Peer evaluaties zijn een hele nuttige tool bij het beoordelen van
individuele bijdrages in projectonderwijs
• IT-infrastructuur voor dit type projecten moet professioneel
worden opgezet om vertrouwelijkheid, stabiliteit en continuïteit te
garanderen
• Met hulp van het Scorion systeem van Parantion hebben we dit
bereikt
![Page 39: Presentatie Onderwijsdagen 2011 Scorion peer evaluatie TUDelft Parantion](https://reader034.vdocuments.net/reader034/viewer/2022052411/556bffbdd8b42a6d768b4fc6/html5/thumbnails/39.jpg)
39
Vragen?
• www.tudelft.nl
• Dr. Ir. Gillian N. Saunders-Smits ([email protected])
• www.parantion.nl
• Drs. R.A. Smabers ([email protected])
• Drs. R.J. Smeenk ([email protected])