e-prÜfungs symposium€¦ · e-teaching.org das diesjährige e-prüfungs-symposium ausrichten...
TRANSCRIPT
E-PRÜFUNGSSYMPOSIUMNeue Prüfungsformenim Zeitalter derDigitalisierung
19. und 20. September 2017 Universität Bremen
2
Veranstaltungspartner:
3
Inhaltsverzeichnis
Grußworte .......................................................................................4Tagungsinformationen .....................................................................6 AllgemeineInformationen .................................................................6 Lageplan .............................................................................................8 Tagungsort ........................................................................................10 Programmübersicht ..........................................................................12Abstracts .......................................................................................14 Keynotes ...........................................................................................16 Session 1 ...........................................................................................20 Session 2 ...........................................................................................26 Session 3 ...........................................................................................32 Session 4 ...........................................................................................40 Workshop 1 ......................................................................................46 Workshop 2 ......................................................................................47 Knowledge Café 1 .............................................................................48 Knowledge Café 2 .............................................................................56 Poster ...............................................................................................64Danksagung ...................................................................................74
4
Grußwort von Prof. Dr. Thomas Hoffmeister
Sehr geehrte Damen und Herren,liebe Teilnehmerinnen und Teilnehmer,
Willkommen in Bremen! Im Namen des gesamten Rektorats begrüße ich Sie recht herzlich in unserer Stadt und an der Universität.
Als 2004 die ersten E-Klausuren in ZusammenarbeitderWirtschaftswissenschaftenmit unserem Zentrum für Multimedia in derLehre (ZMML) erfolgreich durchgeführt wurden, lagdieMotivationfürdieNutzungdieserdamalsnochsehrinnovativenPrüfungsformklarindenEffizienzgewinnen angesichts von bis zu 900Studierenden in nur einer Klausur. Heute, 13 JahrespäterundausgestattetmiteinemreichenErfahrungsschatz ist das E-Assessment aus dem Alltag der Universität Bremen nicht mehr wegzudenken. Auf der einen Seite wird das Testcenter von allen Fachbereichen genutzt und istmitüber9.500PrüfungsleistungenproSemesterstarkgebucht,aufderanderenSeitehabenFragenderKompetenzorientierungineinerzunehmenddigitalisiertenLebens- und Arbeitswelt sowie alternative Prüfungsformen deutlich an Gewichtgewonnen. Als Konrektor für die Lehre und langjähriger Nutzer der E-Assessment-ServicesdesZMMListmirdasConstructiveAlignment,alsodieengeVerzahnungzwischen den zu erreichenden Lernergebnissen, dem Lehr- und Lerngeschehen sowiederPrüfungsgestaltung,sehrwichtig.Umsomehrfreueichmich,dassdiesesKonzept eines der Schwerpunkte des diesjährigen Prüfungs-Symposiums ist und sehegleichzeitigdenvielenNeuentwicklungenwieadaptivenPrüfungenunddenErfahrungsberichten anderer Hochschulen mit Spannung entgegen.
Ich wünsche uns allen eine erfolgreiche, abwechslungsreiche Veranstaltung mit viel GelegenheitfürDiskussionenunddenAustauschvonErfahrungen.
Prof.Dr.ThomasHoffmeister Konrektor für Lehre und Studium, Universität Bremen
5
Grußwort von Dr. Jens Bücking
Sehr geehrte Teilnehmerinnen und Teilnehmer,liebeReferentinnenundReferenten,
es freut mich sehr, dass die Universität Bremen zusammen mit der RWTH Aachen und e-teaching.org das diesjährige e-Prüfungs-Symposium ausrichten darf. Innerhalb von vier Jahren hat sich das ePS als das Event im deutschsprachigen Raum etabliert, bei dem sich Nutzerinnen und Nutzer, Service-Anbieter, Bildungswissenschaftlerinnen und Initiativenüber digitalisierte Prüfungsformen austauschen undvernetzenkönnen.UnterdemMotto„NeuePrüfungsformen im Zeitalter der Digitalisierung“ richten wir dieses Jahr unseren Blick auf die Zukunft des E-Assessments und tauschengleichzeitig unsere bisherigen Erfahrungenund aktuellen Expertisen aus. Im Programmstehen daher Beiträge zu neuen Prüfungsformaten direkt neben Erfahrungs- und Best-Practice-Berichten.Ichbinstolzdarauf,dassaufderListederTeilnehmendenauchviele„Kunden“,alsoNutzerinnenundNutzerderE-Assessment-AngeboteinBremenundanderswozufindensind:SiesindfürmichdieeigentlichenExpertinnenund Experten wenn es darum geht, elektronische Prüfungen im Sinne einer guten, kompetenzorientiertenLehreweiterzuentwickeln.DieoftlangjährigenErfahrungenmit der Einführung, Durchführung und Qualitätssicherung von E-Assessments an vielenHochschulenschlagensichinderPräsentationeinerReihevonelaboriertenHandreichungen,praktischenHandlungsempfehlungenunderfolgreicherprobtenUnterstützungstools nieder. Das E-Prüfungs-Symposium ist somit nicht nur für Expertinnen,sondernauchfürEinsteigerhochinteressant.
Ich wünsche uns allen spannende Anregungen für die eigene Prüfungspraxis sowieneueKontakteundAllianzen.Gemeinsammit Ihnenwirdesgelingen,daskompetenzorientiertePrüfen imZeitalterderDigitalisierungerfolgreich voran zubringen.
Dr. Jens Bücking ZentrumfürMultimediainderLehre,Universität Bremen
6
Allgemeine Informationen
Tagungsbüro und GarderobeDasTagungsbüro(GW2RaumB2860)istwährendderTagungdurchgängigbesetzt.DortfindenRegistrierung,AnmeldungzuWorkshopsundKnowledgeCaféssowiedieAbgabederPräsentationenstatt.WirstehenIhnenhierfürFragenundAnliegenvon A wie Anmelden bis Z wie Zahnarzt jederzeit zur Verfügung. Im Tagungsbüro können Jacken und Taschen abgegebenwerden, eine Haftung kann leider nichtübernommen werden.
Räume und AusstellerDieTagungfindetimGebäudeGW2indenRäumenB2880(CateringundPoster),B2890 (Vortragssession), B2900 (Workshops), B1215 (Knowledge Cafés) und imHörsaalgebäudeinHS1010(Begrüßung,Keynotes,Abschluss)statt.DirektvordenRäumen im GW2 finden Sie Stände der Firmen LPLUS, IQUL und Electric PaperEvaluationssysteme.
PosterDie Poster werden durchgehend im Raum B2880 ausgestellt. Während der letzten halbenStundederMittagspauseamDienstagundMittwochstehendieAutorinnenund Autoren für Diskussionen bereit.
Essen und TrinkenIn RaumB2880 imGW2 stehenGetränke zurVerfügung,welche zu denPausenmitGebäckoderKuchenangereichertwerden.FürdasMittagesseninderMensafindenexterneTeilnehmendeEssensgutscheinefürbeideTage(bitteKasse2und3nutzen). Für das ePS ist ein eigener Sitzbereich reserviert. Die Mensa liegt ca. 250m entfernt:VomGW2ausnachlinksdemBoulevardbzw.denMassenfolgen.
AbendveranstaltungFürdieAbendveranstaltung im „Haus amWalde“findenTeilnehmende, die sichbei der Registrierung dafür angemeldet haben, in den Tagungsunterlagen ein Einlassband,dasSiebittezurAbendveranstaltunganlegen.Das„HausamWalde“(sieheLageplan)liegtca.1kmvomTagungsortentferntundistinetwa15Min.zuFußzuerreichen.PerÖPNVnutzenSiebittedieBuslinie22,Haltestelle„Munte“.
WLANAufdemgesamtenCampusisteduroamverfügbar.AlsAlternativefindenSieindenTagungsunterlagenpersonalisierteZugangsdatenfüreinenGastaccount.
Allg
emei
ne In
fos
7
Allg
emei
ne In
fos
Vom Zentralbereich
indieGlashalle,
auf dem Boulevard nach rechts und dann
vor dem Hörsaalgebäude wieder rechts.
8
Lageplan
Allg
emei
ne In
fos
9
Allg
emei
ne In
fos
10
Allg
emei
ne In
fos
Tagungsort
11
Allg
emei
ne In
fos
GW2B2890
Hörsaalgebäude 1010 Kleiner Saal
LernraumGW2B1215
Testcenter
12
09:30
Regi
strie
rung
10:3
0Be
grüß
ung–J.Bü
cking,T.Hoff
meister
10:5
0Le
rnen
und
Prü
fen
im d
igita
len
Zeita
lter
– J.-
D. F
riedr
ich
11:3
5M
ultip
le-C
hoic
e-Pr
üfun
gen
an H
ochs
chul
en: C
hanc
en, H
erau
sfor
deru
ngen
und
For
schu
ngsp
ersp
ektiv
en –
M.A
. Lin
dner
12:2
0Sy
nops
is –
K. W
olf
12:3
0M
ittag
spau
se (M
ensa
)Po
ster
auss
tellu
ng
Session 1
14:3
0Kr
iteriu
mso
rienti
erte
ada
ptive
Kla
usur
en a
n Ho
chsc
hule
n A.
Fin
k, S
. Bor
n, A
. Fre
y, C.
Spo
den
Workshop 1
Zwis
chen
Mul
tiple
Cho
ice
und
Frei
text
– E
-Prü
fung
en in
den
Gei
stes
wis
sens
chaft
en
M. S
trie
we
14:5
5Fo
rmati
ve, a
dapti
ve M
athe
mati
ktes
ts –
M. P
iepe
r
15:2
0El
ektr
onis
che
Übu
ngen
und
Prü
fung
svor
leis
tung
en im
Be
reic
h de
r höh
eren
Mat
hem
atik
F.Nestle
r,D.Pott
s,Y.W
inkelm
ann
15:4
0Pa
use
Session 2
16:0
0M
it de
m E
-Por
tfolio
die
Por
tfolio
arbe
it di
gita
lisie
ren
– Hö
here
Kom
pete
nzst
ufen
im R
ahm
en d
es C
onst
ructi
ve
Alig
nmen
ts e
lekt
roni
sch
prüf
en–C.H
offman
n,C.V
ogeler
Knowledge Café 1
Qua
lität
ssic
heru
ng v
on T
estf
rage
n –
Test
stati
stike
n au
swer
ten,
Fra
gen
und
Aufg
aben
ve
rbes
sern–S.K
irberg,Y.Fisc
her
Test
dida
ktisc
he S
chul
unge
n zu
r Qua
lität
ssic
heru
ng –
X.V
. Jer
emia
s
Wie
unf
air!
Die
neu
en P
rüfu
ngsi
tem
s sin
d do
ch v
iel s
chw
ierig
er a
ls d
ie a
lten
– ei
n em
piris
cher
Lös
ungs
ansa
tz–J.Backh
aus,H.Poinstin
gl,C
.Rab
e,S.K
önig,E.H
enne
l
Akze
ptan
z von
E-A
sses
smen
t aus
der
Sic
ht v
on S
tudi
eren
den
K.Sesselm
ann,S.Zep
f,M.G
läser-Z
ikud
a
16:2
5M
öglic
hkei
ten
zur P
rüfu
ng d
es o
utco
mes
For
sche
nden
Le
rnen
s mitt
els a
ltern
ative
r, di
gita
ler P
rüfu
ngsf
orm
en
O. A
hel,
L. S
chle
ker
16:5
0Pe
er-A
sses
smen
t als
hoc
hsch
uldi
dakti
sche
s Ins
trum
ent
zur A
ktivi
erun
g vo
n st
uden
tisch
en L
ernp
roze
ssen
und
de
ssen
web
basi
erte
Um
setz
ung
in P
AssT
! H.
W. W
olle
rshe
im, N
. Pen
gel
17:1
5W
orks
hopb
eric
ht /
Tag
esab
schl
uss (
bis 1
7:45
)
18:0
0Te
stce
nter
führ
ung
– K.
Sch
wed
es (b
is 18
:30)
19:00
Aben
dver
anst
altu
ng im
Hau
s am
Wal
de
Dien
stag19.09
.201
7
Prog
ram
m
13
09:15
Aufta
kt /
Org
anis
ator
isch
es
09:30
Inno
vativ
e Er
hebu
ngs-
und
Aus
wer
tung
smet
hode
n in
Lar
ge-S
cale
Ass
essm
ents
– U
. Krö
hne,
F. Z
ehne
r
10:1
5Pa
use
Session 3
10:3
0N
RW-L
eitfa
den
zur s
yste
mati
sche
n U
nter
stüt
zung
. N
achh
altig
e, se
mes
terü
berg
reife
nde
Begl
eitu
ng b
ei d
er
Impl
emen
tieru
ng v
on E
-Ass
essm
ents
. M.G
raf-S
chlattman
n,L.M
.Fortm
ann,D.M
eister,G
.Oevel
Workshop 2
Varia
bilit
ät in
Pro
gram
mie
rauf
gabe
n M.Striewe,B.O
tto
10:5
5De
r Weg
in d
ie H
ochs
chul
e –
Proz
esse
zur E
tabl
ieru
ng
hoch
schu
lwei
ter E
-Prü
fung
en –
A.M
. Kel
ler,
S. K
irber
g
11:2
0Di
e G
esta
ltung
von
E-P
rüfu
ngen
mit
dem
E-A
sses
smen
t-Li
tera
cy-T
ool E
As.L
iT –
H.W
. Wol
lers
heim
, N. P
enge
l, A.
Tho
r
11:4
5Ha
ndlu
ngse
mpf
ehlu
ngen
zu
re
chtli
chen
Fr
agen
be
i E-
Asse
ssm
ents
– N
. Hah
ne
12:1
0M
ittag
spau
se (M
ensa
)Po
ster
auss
tellu
ng
Session 4
13:4
0Ju
ristis
che
Vollt
ext-E
-Kla
usur
en–A.H
offman
n,M
.Sau
er
Knowledge Café 2
Frag
enge
stal
tung
im F
ach
„Sta
tistik
“ –
M. M
isson
g
Erfa
hrun
gen
mit
eine
r ele
ktro
nisc
hen
Ope
ratio
ns-R
esea
rch-
Prüf
ung
mit
OPA
L/O
NYX
B.Schmidt,M.G
rüttmüller,J.Weigel
Blen
ded
Asse
ssm
ents
: Wie
kön
nen
und
war
um so
llten
mün
dlic
he P
rüfu
ngen
mit
e-Pr
üfun
gen
kom
bini
ert w
erde
n?–M
.Gun
dlach,A.B
rocker,K
.Hap
s,M
.Karam
i,M.
Baum
ann
Inno
vativ
e E-
Prüf
unge
n in
der
Med
izin
mit
Case
Trai
n –
A. H
örnl
ein
14:0
5Pr
ogra
mm
iere
n le
rnen
mit
Serio
us G
ames
– e
in
Erfa
hrun
gsbe
richt
.–P.Gam
per,W.B
arod
te
14:3
0eP
rüfu
ng O
n-De
man
d –
Indi
vidu
ell L
erne
n, in
divi
duel
l Pr
üfen
– B
. Mar
kert
, M. K
aram
i
15:0
0W
orks
hopb
eric
ht u
nd Z
usam
men
fass
ung
(bis
16:0
0 U
hr)
Mittwoch20
.09.20
17
B286
0/61
HS10
10B2
880
B289
0B2
900
Lern
raum
B12
15
Prog
ram
m
14
Abstracts
Keynotes .......................................................................................16 Lernen und Prüfen im digitalen Zeitalter ..........................................16 Multiple-Choice-PrüfungenanHochschulen:Chancen, HerausforderungenundForschungsperspektiven ...........................17 InnovativeErhebungs-undAuswertungsmethodenin Large-Scale Assessments ..................................................................18Session 1 .......................................................................................20 KriteriumsorientierteadaptiveKlausurenanHochschulen ..............20 Formative,adaptiveMathematiktests .............................................22 Elektronische Übungen und Prüfungsvorleistungen im BereichderhöherenMathematik ....................................................24Session 2 .......................................................................................26 MitdemE-PortfoliodiePortfolioarbeitdigitalisieren–Höhere KompetenzstufenimRahmendesConstructive Alignments elektronisch prüfen .......................................................26 Möglichkeiten zur Prüfung des outcomes Forschenden Lernensmittelsalternativer,digitalerPrüfungsformen ....................28 Peer-AssessmentalshochschuldidaktischesInstrumentzur AktivierungvonstudentischenLernprozessenunddessen webbasierte Umsetzung in PAssT! ...................................................30Session 3 .......................................................................................32 NRW-LeitfadenzursystematischenUnterstützung.Nachhaltige, semester-übergreifende Begleitung bei der ImplementierungvonE-Assessments. .............................................32 Der Weg in die Hochschule – Prozesse zur Etablierung hochschulweiter E-Prüfungen ..........................................................34 DieGestaltungvonE-Prüfungenmitdem E-Assessment-Literacy-Tool EAs.LiT ..................................................36 Handlungsempfehlungen zu rechtlichen Fragen bei E-Assessments ................................................................38Session 4 .......................................................................................40 JuristischeVolltext-E-Klausuren ........................................................40
15
ProgrammierenlernenmitSeriousGames-einErfahrungsbericht 42 ePrüfung On-Demand – Individuell Lernen, individuell Prüfen ........44Workshop 1 ...................................................................................46 Variabilität in Programmieraufgaben ...............................................46Workshop 2 ...................................................................................47 ZwischenMultipleChoiceundFreitext-E-Prüfungen indenGeisteswissenschaften ..........................................................47Knowledge Café 1 ..........................................................................48 QualitätssicherungvonTestfragen–Teststatistikenauswerten, Fragen und Aufgaben verbessern .....................................................48 TestdidaktischeSchulungenzurQualitätssicherung .........................50 Wie unfair! Die neuen Prüfungsitems sind doch viel schwieriger als die alten – ein empirischer Lösungsansatz ..............52 Akzeptanz von E-Assessment aus der Sicht von Studierenden ........54Knowledge Café 2 ..........................................................................56 FragengestaltungimFach„Statistik“ ................................................56 Erfahrungen mit einer elektronischen Operations-Research-PrüfungmitOPAL/ONYX ................................58 Blended Assessments: Wie können und warum sollten Mündliche Prüfungen mit e-Prüfungen kombiniert werden? ............................60 InnovativeE-PrüfungeninderMedizinmitCaseTrain .....................62Poster ............................................................................................64 E-Assessment im Musikunterricht ....................................................64 ComputerbasiertesadaptivesTestenimStudium–CaTS ................66 StudentischeLehr-Lern-VideosalsBasisfür kompetenzorientiertePrüfungsformeninderMedienbildung angehen der Pä dagog*innen.............................................................68 MathOER:OffenerAufgabenpoolMathematik ................................70 JDB - Eine Bibliothek für Java-Debugging im Browser ......................72
16
DiegrundlegendeHerausforderungdesinitialenHochschulforumsDigitalisierung lag darin, das Thema `Digitales Lehren und Lernen´ auf die hochschulpolitische Agenda und in die Wahrnehmungder Hochschulleitungen wie der Hochschullehrenden zu bringen. Das Hochschulforum hat dies im Rahmen der Arbeit von sechs Themengruppen mit zahlreichen Studien, Veranstaltungen und einer intensiven Öffentlichkeitsarbeit getan, systematisch denStatus Quo und das Potential der Digitalisierung an deutschenHochschulen erfasst und erste Lösungsvorschläge entwickelt. Damit
wurdederGrundsteinfüreinezukunftsgewandteWeiterentwicklungderHochschulbildungin Deutschland gelegt.
In seinem Vortrag wird Julius-David Friedrich vom CHE Centrum für Hochschulentwicklung die letzten drei Jahre des Hochschulforums Digitalisierung aufgreifen und die Ergebnisse und Empfehlungen des Hochschulforums Digitalisierung anreißen sowie die Prozesse dieses besonderen bundesweiten Netzwerks beleuchten. Zudem wird er aufzeigen, was die nächsten Schrittedesab1.Januar2017gestartetenneueHochschulforumDigitalisierung(HFD2020)sein werden, die dazu beitragen sollen, Hochschulen bei der strategischen Verankerung der Digitalisierung und deren Nutzung in der Lehre zu unterstützen.
Das Hochschulforum Digitalisierung wurde 2014 gegründet. Es ist eine gemeinsame Initiative des Stifterverbandes für die DeutscheWissenschaftmit dem CHE Centrum fürHochschulentwicklungundderHochschulrektorenkonferenz(HRK).GefördertwirdesvomBundesministerium für Bildung und Forschung.
WeitereInformationenunter:https://hochschulforumdigitalisierung.de
Zur Person:
Julius-David Friedrich ist im CHE Centrum für Hochschulentwicklung als Projektleitung des Hochschulforums Digitalisierung 2020 tätig. Er studierte Wirtschaftswissenschaften undManagementvonKultur-undNon-Profit-OrganisationenanderUniversitätBielefeldundderTU Kaiserlauten und baute federführend das Hochschulforum Digitalisierung (HFD) zusammen mitdemStifterverbandfürdieDeutscheWissenschaftundderHochschulrektorenkonferenzaufundgehtderFragenach,wiediedigitaleZukunftderdeutschenHochschullehregestaltetwerden kann. Seine Arbeitsschwerpunkte liegen in den Themenbereichen Hochschulbildung imdigitalenZeitalterundinternationaleHochschulrankings.ImHFDentwickeltHerrFriedrichEmpfehlungen für denHochschulalltag, zeigt Handlungsoptionen auf strategischer EbenefürdieHochschulenauf,schreibtwissenschaftlicheStudienundleitetdieOrganisationvonVeranstaltungen.
Lernen und Prüfen im digitalen Zeitalter
JULIUS-DAVID FRIEDRICH
Keyn
otes
17
Hochschulen stehen infolge der Bologna-Reform europaweit vor der großen Herausforderung, von allen Studierenden in jedem Semester je Fach Prüfungsleistungen abzunehmen. Insbesondere Multiple-Choice-AufgabensindhierbeiaufGrunddervollständigautomatisierbarenundobjektivenAuswertungstarkindenFokusgerücktundfindenzunehmendEingangindenStudienalltag.Dochder Einsatz dieses Formates birgt nicht nur Chancen, sondern ist auchmitRisikenundvielenFragenverbunden:KönnenMultiple-Choice-Aufgaben gegenüber Freitextaufgaben die Lern- und Verstehensleistung tatsächlich adäquat erfassen? Welchen Einfluss hat die Verwendung von Multiple-Choice-Aufgaben aufdas Lernverhalten Studierender? Wie kann man dem Problem der Ratewahrscheinlichkeit begegnen? Welche Aufgabenformate eignensichimHochschulkontextundwelchespezifischenChancenbieten digitale Prüfungen?
Mögliche Antworten auf diese und angrenzende Fragen werden in der Keynote basierend auf demaktuellenStandderForschungdiskutiert,währendForschungslückenund zukünftigeForschungsfelder aufgezeigt werden. Ziel des Vortrags ist es auch, für die vielfältigenHerausforderungen bei der Konstruktion hochwertiger Multiple-Choice-Prüfungen zusensibilisieren und zentrale Themenfelder aufzuzeigen, die für einen adäquaten Einsatz des Multiple-Choice-FormatesanHochschulenzuberücksichtigensind.
Zur Person:
Dr.MarlitAnnalenaLindneristDiplom-Psychologinundarbeitetseit2011alswissenschaftlicheMitarbeiterin am Leibniz-Institut für die Pädagogik der Naturwissenschaften undMathematik(IPN)inKiel.ZudemlehrtsiealsDozentinfürPädagogischePsychologieanderChristian-AlbrechtsUniversitätKiel.InihrerForschungbeschäftigtsiesichmitkognitivenundmotivationalenProzessenbeiderBearbeitungvonLeistungstests,Multimedia-Effekten imTestkontextsowiePrinzipienderKonstruktionvonTestaufgabenfürdieLeistungsdiagnostik.Neben einschlägigen internationalen Publikationen in pädagogisch-psychologischenFachjournalen hat sie mit ihren Koautoren Benjamin Strobel und Prof. Dr. Olaf Köller einen umfassenden Literaturüberblick zu Multiple-Choice-Prüfungen an Hochschulen in derZeitschriftfürPädagogischePsychologieveröffentlicht(Lindner,Strobel&Köller,2015).DieserzeigtwichtigenForschungsbedarfaufundbeinhaltetunteranderemAnknüpfungspunktefürdieWeiterentwicklungvonE-AssessmentsmitMultiple-Choice-Aufgaben.DaranangelehnteFragestellungen sind auch Bestandteil ihrer aktuellen Forschung, in der sie unter anderem experimentelle Studien unter Verwendung der Methode der Blickbewegungsmessung (Eyetracking) zur Untersuchung von Testaufgaben realisiert.
Multiple-Choice-Prüfungen an Hochschulen: Chancen, Herausforderungen und Forschungsperspektiven
MARLIT ANNALENA LINDNER
Keyn
otes
18
Technologiebasiert erhobene Daten aus nationalen und internationalen Large-ScaleAssessments, wie bspw. dem NationalenBildungspanel (NEPS), dem Programme for International Student Assessment (PISA)und dem Programme for the InternationalAssessment of Adult Competencies (PIAAC) erreichen zunehmend mehr Forscherinnen und Forscher. Technologiebasierte Assessments bilden damit zunehmend die gängige Praxis in der empirischen
Bildungsforschung.DerNutzeninnovativerErhebungs-undAuswertungsmethodenistabernichtaufsummativelow-stakeAssessmentsbeschränkt.IllustriertmitaktuellenempirischenBeispielen werden ausgewählte Potentiale und Forschungsfragen technologiebasierterAssessments vorgestellt: Möglichkeiten simulationsbasierter Assessments zur Erfassungneuer Konstrukte; die Nutzung der durch technologiebasiertes Assessment zusätzlich erhobenenLog-undProzessdaten,bspw.fürdieIdentifikationvonschnellemRateverhalten,zur Ableitung von Hinweisen über Testbearbeitungsstrategien und zur Modellierung von Bearbeitungszeiten von Antworten aus papier- und computerbasierter Testung; die Möglichkeiten und Grenzen der Standardisierung und Flexibilisierung von Assessmentsdurch computerbasierte Auslieferung; sowie das Leistungsvermögen moderner Verfahren derTestzusammenstellungzurErhöhungvonMessgenauigkeitundzurBerücksichtigungvonnicht-psychometrischen Kriterien bei der Zusammenstellung von Assessments.
Zu den Personen:
Dr. Ulf Kröhne und Dr. Fabian Zehner sind Habilitanden am Zentrum für technologiebasiertes Assessment des Deutschen Instituts für Internationale Pädagogische Forschung (DIPF)in Frankfurt. Das Zentrum für technologiebasiertes Assessment entwickelt innovativetechnologiebasierte Verfahren zur Erfassung von Lernergebnissen. Es betreibt grundlagen- und anwendungsorientierte Forschung und unterstützt Einrichtungen und Projekte derBildungsforschung bei der Entwicklung und Implementation von technologiebasiertemAssessment. Dazu gehören auch nationale und internationale Large-Scale-Studien, z.B.PISA , PIAAC oder NEPS. Dr. Kröhne beschäftigt sich unter anderem mit der NutzungcomputerbasierterAssessmentszur lernbegleitendenDiagnostikmittelsRückmeldungderdiagnostischenInformationenindieUnterrichtspraxis.EinweitererForschungsschwerpunktist die Untersuchung von Antwortprozessen mittels Diffusionsmodellen und digitalenKugelschreibern. Dr. Zehner ist Psychometriker und forscht u.a. zu automatisierterAuswertung von Kurztextantworten in empirischen Erhebungsinstrumenten, EducationalLarge-ScaleAssessmentsundkognitionsbasierten, schwierigkeitsgenerierendenRegeln fürLeistungstest-Items.
Innovative Erhebungs- und Auswertungsmethoden in Large-Scale Assessments
ULF KRÖHNE & FABIAN ZEHNER
Dr. Ulf Kröhne Dr. Fabian Zehner
Keyn
otes
19
20
Das Ausmaß, mit dem Studierende die Studienziele ihres Hochschulstudiums erreichen, wird im Kern am Abschneiden bei Prüfungen festgemacht. In der Europäischen Union erfolgt die Spezifikation der Studienziele seit Inkrafttreten der Bologna-Reform flächendeckendals Kompetenzen, die man nach Klieme und Leutner als domänenspezifische kognitiveLeistungsdispositionendefinierenkann[1].ImSinnederKompetenzorientierungistesdahernötig, dass auch die an Hochschulen durchgeführten Prüfungen dahingehend angepasstwerden, dass sie überprüfen, über welche Kompetenzen die Studierenden am Ende eines Moduls verfügen. Da ohne erfolgreich absolvierte Prüfungen ein Studienabschluss nicht erlangt werden kann, kommt Prüfungen eine hohe persönliche Relevanz für die Studierenden zu. Dieser hohen Bedeutung werden insbesondere schriftliche Prüfungenin Form von Klausuren typischerweise nicht gerecht. Vielmehr klaffthier eine erheblicheLücke zwischen dem an deutschen Hochschulen üblicherweise praktizierten VorgehenunddemwissenschaftlichenKenntnisstandder relevantenTeildisziplinen (v.a.EducationalMeasurement und Psychometrie).
ProblematischanderzeitigenHochschulklausurensindimWesentlichenvierAspekte:
1.DieindenModulkatalogenverankerten,kompetenzorientiertenLernzielewerdendurchdie Klausuraufgabenmeistens nicht angemessen abgebildet. Zur Lösung der Problematikmüsste zunächst der Messgegenstand der jeweiligen Klausur eindeutig spezifiziert undanschließendangemessendurchKlausuraufgabenoperationalisiertwerden.
2. Klausuren sind überwiegend als normorientierte beziehungsweise sich an willkürlichfestgelegten Kriterien orientierende Verfahren konzipiert. Um Klausurergebnisse alsAusmaßdesErreichens kompetenzorientierter Lernziele interpretieren zu können, solltenkriteriumsorientierte Tests zum Einsatz kommen, wobei die jeweiligen Kriterien übersogenannteStandardSettingVerfahrenfestgelegtwerden.
3. Klausuren sind zwischen verschiedenen Testzeitpunkten (z.B Jahren) nicht statistischmiteinander verbunden, so dass Unabhängigkeit der vergebenen Bewertungen (z.B. Noten) von Kohortenleistungsfähigkeit und Klausurschwierigkeit nicht gewährleistet sind. Dieses Problem kann vermieden werden, indem mit Modellen der Item Response Theory (IRT; z.B. [2])KlausurenüberTestzeitpunkteverbundenwerden,sodassindividuelleKlausurergebnisseimmer auf derselben Metrik verortet werden und so über die Klausurzeitpunkte hinweg vergleichbar bleiben.
4.ÜblicheKlausurenmessenimmittlerenLeistungsbereichampräzisesten,wohingegendieMesspräzisionindenRandbereichenderMerkmalsverteilungstarkabnimmt[3].
Aron Fink1, Sebastian Born1, Andreas Frey1,2, Christian Spoden1,
1Lehrstuhl für empirische Methoden der erziehungswissenschaftlichen Forschung, Friedrich-Schiller-Universität Jena, Deutschland2Centre for Educational Measurement (CEMO), University of Oslo, Norwegen E-Mail: [email protected], [email protected], [email protected], [email protected]
Kriteriumsorientierte adaptive Klausuren an Hochschulen
Sess
ion
1
21
Eine Angleichung der Messpräzision über den gesamten Merkmalsbereich kann mit computerisiertenadaptivenTesten(CAT;z.B.[4])erreichtwerden.ImVortragwirderörtert,wiedieseProblemedurchdieKombinationderangesprochenenMethodenausdenBereichenEducationalMeasurementundPsychometriegelöstwerdenkönnen.EswirdsichdabeianmodernenAnsätzender theoriebasiertenKonstruktionvonKompetenztests [5],diebeispielsweisebei internationalenSchulleistungsstudienwiePISAundoderdemLändervergleichverwendetwerden,orientiert.Konkretwirdeinhochschul-und fächerübergreifendes Konzept zur Konstruktion, Administration und AuswertungkriteriumsorientierteradaptiverKlausurenanHochschulenvorgestellt.
Keywords:
E-Klausuren,Kompetenzdiagnostik,ComputerisiertesAdaptivesTesten
Quellen:
[1] Klieme, E., & Leutner, D. (2006). Kompetenzmodelle zur Erfassung individueller Lernergebnisse und zur Bilanzierung von Bildungsprozessen. Beschreibung eines neu eingerichteten Schwerpunktprogramms der DFG. Zeitschrift für Pädagogik, 52, S. 876–903.
[2] van der Linden, W. J. (Hrsg.). (2016a). Handbook of item response theory. Volume one: Models. Boca Raton: Chapman & Hall/CRC.
[3] Dolan, R. P., & Burling, K. S. (2012). Computer-based testing in higher Education. In: C. Secolsky & D. B. Denison (Eds.), Handbook on measurement, assessment, and evaluation in higher education. S. 312-335. New York, NY: Routledge.
[4] Frey, A. (im Druck). Computerisiertes adaptives Testen. In H. Moosbrugger & A. Kelava (Hrsg.), Testtheorie und Fragebogenkonstruktion (3. aktualisierte und überarbeitete Auflage. Berlin, Heidelberg: Springer.
[5] Frey, A., & Hartig, J. (im Druck). Kompetenzdiagnostik. In M. Gläser-Zikuda, Harring, M., & Rohlfs, C. (Hrsg.), Handbuch Schulpädagogik. Münster: Waxmann.
Sess
ion
1
22
ImVortrag„Formative,adaptiveMathematiktests“werdenVorteileundNeuentwicklungenimBereichdesformativenE-Assessments in ingenieurwissenschaftlichenVeranstaltungen,speziellimBereichderIngenieurmathematik,vorgestelltunddiskutiert.
E-Assessment, egal ob diagnostisch, formativ oder summativ, stellt einen wichtigenBestandteil der zukünftigen, digitalen Hochschullehre dar. So findenwir bei Handke undSchäfer[1],dassdigitaleLernformatenurdannihrevolleWirkungentfaltenkönnen,wennsiemit dem kompletten Lehr-Lernprozess verzahnt sind. Dieser umfasst im Rahmen des3E-Modells insbesondere auch E-Assessment.Weiter ermittelten Schneider undMustafic[2]einekombinierteEffektstärkevonbis zu0.9 inMetastudiendafür,dass regelmäßiges,strukturiertes Prüfen den Lernerfolg verbessert.
Im Vortrag wird im Wesentlichen der Inhalt des Forschungsvorhabens „Mathe digital!“,welches2017imRahmenderFellowshipsfürInnovationeninderdigitalenHochschullehrevom Stifterverband unterstützt wird, vorgestellt. Das Hauptanliegen des Projektes istaufgrund der zunehmenden Heterogenität der Studienanfänger eine individuelle Förderung allerStudierenden,insbesonderedurchdigitaleLernangeboteimBereichderMathematik.Hierzu sollen u.a. semesterbegleitende Onlinetests durch regelmäßiges Feedback einen Beitrag leisten, die unterschiedlich vorhandenen Kompetenzen der Studierenden besser angleichen und gezielter auf die Abschlussklausur vorbereiten.
UmdieseZieleerreichenzukönnen,benötigenwirTests,dieindividuellaufdiejeweiligenBedürfnisse der Studierenden zugeschnitten sind. Dies soll durch adaptive Onlinetestserreicht werden. Hierbei werden die Fragen dem bisherigen Leistungsstand der jeweiligen Studierenden angepasst, so dass individuelle Lücken erkannt und gezielt behoben werden. Dieseskannz.B.durcheinenlernzielorientiertenILIAS-Kurserreichtwerden.
AlsweitereHerausforderungmüssendie formativenTests sogestaltetwerden,dassauchwirklich alle Lernziele der jeweiligen Veranstaltung abgedeckt werden. Im Bereich der Mathematik,aberauchinandereningenieurwissenschaftlichenDisziplinen,bedeutetdies,dassinsbesondereauchZwischenschritteinderLösungbewertetwerdenundnichtnurdasEndergebnis. Hierzu werden vor allem sogenannte Stack Fragetypen verwendet, die sowohl ILIAS als auch Moodle unterstützt.
DaanderFHAachendieLernplattformILIASeingesetztwird,werdendieBeispieleaufBasisvonILIASpräsentiert.DieGrundideenlassensichaberauf jedeLernplattformübertragen.
Martin Pieper
FH Aachen, Fachbereich Energietechnik E-Mail: [email protected]
Formative, adaptive Mathematiktests
Sess
ion
1
23
Interessant wäre hier insbesondere auch ein Austausch mit der Moodle-Community.
Ein weiteres Ziel des Fellowship Programms ist die Verstetigung und Verbreitung derentwickelten Ideen und Konzepte. Daher ist im Projekt „Mathe digital!“ vorgesehen, dieentwickelten Tests auch auf andere Fächer wie z.B. Physik zu transferieren. Deshalb kann der VortragauchfürKollegen/innenausmathenahen,ingenieur-odernaturwissenschaftlichenDisziplinen interessant sein.
Keywords:
FormativesE-Assessment,AdaptiveOnlinetests,MathematikindenIngenieurwissenschaften,StackFragetypen,LernzielorientierteKursansicht
Quellen:
[1] Handke J., Schäfer A. M. (2012). E-Learning, E-Teaching und E-Assessment in der Hochschullehre – Eine Anleitung. Oldenbourg Verlag, München
[2] Schneider M., Mustafic M. (2015). Gute Hochschullehre: Eine evidenzbasierte Orientierungshilfe. Springer, Berlin, Heidelberg
Sess
ion
1
24
Die Mathematik stellt eine wesentliche Grundlage in sämtlichen technischen sowienaturwissenschaftlichenDisziplinendarundistdaherausderberuflichenAusbildungnichtwegzudenken.HierbeisollteinsbesonderederaktiveLern-undVerständnisprozesssowiedas selbstorganisierte, individuelle Lernen durch entsprechende Übungsangebote gefördert werden.DasE-Assessment-ToolONYX,welchesindieLernplattformOPALintegriertistundan den sächsischen Hochschulen eingesetzt wird, bietet umfassende Möglichkeiten zur Erstellung elektronischer Übungsaufgaben. In den letzten Jahren wurde das Tool insbesondere hinsichtlichspeziellerAnforderungenmathematischerStudieninhalteangepasst,siehe[1].
AnderTechnischenUniversitätChemnitzsindderartigeÜbungs-undLernformatebereitsin verschiedene mathematische Lehrveranstaltungen integriert. Beispielsweise sind seitdem Wintersemester 2015/16 elektronische Übungsaufgaben Teil der Vorlesung zurHöherenMathematikfürStudierendeimBereichMaschinenbau.ZusätzlichzumregulärenVorlesungs- und Übungsbetrieb absolvieren die Studierenden hierbei ein Praktikum,welches das selbstständige Bearbeiten von elektronischen Übungsaufgaben im laufenden Semester beinhaltet. Die Studierenden können zunächst zahlreiche Übungsaufgaben beliebigoftwiederholen.AusführlicheMusterlösungenzuallenAufgabensollendabeidasselbstgesteuerte Lernen erleichtern. Zusätzlich werden feste Termine für das Praktikumangeboten, zu denen Dozenten für Fragen zur Verfügung stehen. Am Ende eines jeden Themenkomplexes ist dann ein abschließender Test zu absolvieren. Die insgesamt vier elektronischenTestssindallesamtzubestehen,umzurschriftlichenPrüfungamEndedesSemesters zugelassen zu werden.
Die elektronischen Übungskomponenten sind nicht als Ersatz von Vorlesung und Präsenzübung anzusehen, sondern vielmehr als ein zusätzliches Angebot zum bedarfsorientiertenVertiefendergrundlegendenInhalte.AnstellevonschriftlichenHausaufgabensindhierdieelektronischen Tests als Prüfungsvorleistung fest verankert. Im Wintersemester 2015/16nahmen über 250 Studierende an der Lehrveranstaltung zur Höheren Mathematik fürMaschinenbauer (1. Semester) teil. Vergleichbare Zahlen sind für die Folgesemester zu erwarten.MittelseinerEvaluationamEndedesWintersemesters2015/16konntenüberauspositiveRückmeldungenvonSeitenderStudierendeneingeholtwerden,sieheAbbildung1.
Ähnliche Szenarien sind bereits in weiteren mathematischen Serviceveranstaltungenetabliertundgeplant.DiesbetrifftunteranderemdieMathematikausbildungfürStudierendederFakultätenElektrotechnikundInformatiksowiederWirtschaftswissenschaften.
Franziska Nestler1, Daniel Potts1, Yvonne Winkelmann2
1Fakultät für Mathematik, Technische Universität Chemnitz, Deutschland2BPS Bildungsportal Sachsen GmbH, Deutschland E-Mail: [email protected], [email protected], [email protected]
Elektronische Übungen und Prüfungsvorleistungen im Bereich der höheren Mathematik
Sess
ion
1
25
Abb. 1: Einige Ergebnisse der Evaluation des E-Learning Praktikums im Wintersemester
2015/16.
Im Rahmen des Projektes ELMAT wurde das frei verfügbare Computer-Algebra-System MAXIMA an die ONYX Testsuite angebunden, siehe [1]. Hieraus ergeben sich eine Reihevon Möglichkeiten für die Erstellung abwechslungsreicher, individualisierter Aufgaben. Unabhängig vom Aufgabentyp können vom Autor Variablen definiert werden. Mithilfevon MAXIMA können dann komplexe Rechnungen basierend auf den zufällig gewählten Parametern realisiert werden. So kann einem Studierenden für jeden Aufgabenversuch eineneueAufgabemitandererLösungpräsentiertwerden.DiesbietetdenTeilnehmerndieMöglichkeit,einebestimmteAufgabenstellungmehrfachmitneuenWertenzuwiederholen.BasierendaufMAXIMAkönnenauchkomplexeFormelninterpretiertundweiterverarbeitetwerden. Dadurch können die Studierenden ihre Antworten auch als Formeln eingeben. Nicht nur Zahlenwerte, sondern auch umfangreiche mathematische Terme kommen alsLösungsobjekte mathematischer Aufgaben infrage. Mittels beliebig komplexer MAXIMA-Anweisungen ist es den Aufgabenautoren außerdem möglich, die Lösungen der Studierenden besser automatisch zubewerten. So kannbeispielsweise auch aufNichteindeutigkeit derLösung sowie auf die Beachtung von Folgefehlern eingegangen werden.
Keywords:
E-Assessment,mathematischeAssessments,elektronischePrüfungsvorleistungen
Quellen:
[1] Nestler F., Winkelmann Y. (2014). Elektronische Übungs- und Bewertungstools für Mathematikveranstaltungen, in: E-Learning: Zukunft oder Realität, 12. Workshop on e-Learning, S. 75-82
Sess
ion
1
26
SeitderBolognaReformwirdangestrebt,Hochschullehrekompetenzorientiertzugestalten[1]. Lehr-Lernprozesse sollen so arrangiert werden, dass Studierenden das ErreichendefinierterLearningOutcomesermöglichtwird[1].DieanHochschuleneingesetztenFormenderLeistungsbeurteilungsindjedochhäufignichtgeeignetumzuüberprüfen,inwieweitdieStudierendendieseIntendedLearningOutcomesauchtatsächlicherreichthaben[2].GeradekomplexenLernzielenwerdenkonventionelleFormensummativerLeistungsüberprüfungenkaumgerecht[3].DaPrüfungsformensichabermaßgeblichaufdasLehr-undLernhandelnder Beteiligten auswirken [2], wird unter Bezugnahme auf den Begriff des ConstructiveAlignmentnachBiggs[4]gefordert,Lehren,LernenundPrüfenzueinanderinBeziehungzusetzen[1].
Der Portfolioarbeit wird zugeschrieben, ebenfalls eine Brückenfunktion zwischen Lehren,Lernen und Prüfen einnehmen zu können [2, 4]. Unter Bezugnahme auf die erzielbarenMehrwerte [5]digitalunterstützterPortfolioarbeit,wiedenMöglichkeiteneiner zeit-undortsunabhängigenGestaltung,derVernetzungundKollaboration,derWiederverwendbarkeitvon Artefakten sowie der einfachen Verbreitung und Teilung von Inhalten, scheinen E-PortfoliosdieklassischePortfolioarbeit,wieBiggs [4] sie inBeziehungzumConstructive Alignment setzt, sogarnochzuunterstützen.Für ihn istdiePortfolioarbeiteinklassischesInstrument zur Messung des functioning knowledge [4]. Dies lässt sich grobmit BloomsTaxonomie Stufen 3 Anwenden bis 6 Evaluieren vergleichen[3;siehezuWeiterentwicklungen:2]. Es stellt sich die Frage, wie die digitale Portfolioarbeit zu gestalten ist, damit sie eingeeignetes Assessment-Instrument bleibt.
UnsereTheseist,dassdiePortfolioarbeit–wennsiealsformativeslernprozessintegriertesAssessment-Format[3]eingesetztwird,indemSelbst-undFremdbeurteilungkombiniertsind– sowohl Lernenden Anknüpfungspunkte für gezieltes weiteres Lernen als auch Lehrenden Hinweise für die inhaltliche und methodische Weiterentwicklung von Lehrveranstaltungen bietet [2].Der EinsatzderdigitalenVarianteermöglicht dieunmittelbareKommunikationundRückkopplungvon Lernergebnissen, (formativer)BewertungundweitererGestaltungvon Lernaufgaben. Damit ist die E-Portfolio-Arbeit mit Mehrwerten gegenüber anderenkonventionellen Prüfungsformaten, wie bspw. Klausuren oder Hausarbeiten, verbunden.DerEinsatzvonE-PortfoliosalsInstrumentderkompetenzorientiertenLeistungsbeurteilungist bisher allerdings kaumuntersuchtworden [5]. ImFormatdesFlipped Conference Talk wollen wir deshalb diskutieren, inwiefern das E-Portfolio als E-Assessment-Instrumenteingesetzt werden kann, für welche Intended Learning Outcomes und Kompetenzniveaus es als Prüfungsmedium geeignet ist und welche Chancen und Herausforderungen sich
Christine Hoffmann1, Claudia Vogeler2
1Fakultät Wirtschaft und Soziales, HAW Hamburg, Deutschland2Arbeitsstelle Studium und Didaktik, HAW Hamburg, Deutschland E-Mail: [email protected], [email protected]
Mit dem E-Portfolio die Portfolioarbeit digitalisieren – Höhere Kompetenzstufen im Rahmen des Constructive Alignments elektronisch prüfen
Sess
ion
2
27
für Lernende, Lehrendeund die InstitutionHochschule ergeben. ImVideo stellenwir alsGrundlagefürdieDiskussiondiePortfolioarbeitalsdidaktischeMethodevor,wiesienachBiggs mit dem Constructive AlignmentinVerbindungsteht,undbeziehendiesaufpraktischeErfahrungenmitdemEinsatzvonE-PortfoliosanderHAWHamburg.
Keywords:
E-Portfolio, formative Leistungsüberprüfung, Kompetenzorientierung, ConstructiveAlignment,Portfolio
Quellen:
[1] Schaper, N. (2012). Fachgutachten zur Kompetenzorientierung in Studium und Lehre. HRK-Fachgutachten ausgearbeitet für die HRK von Niclas Schaper unter Mitwirkung von Oliver Reis und Johannes Wildt sowie Eva Horvath Elena Bender. Berlin: BMBF
[2] Häcker, T. (2005). Portfolio als Instrument der Kompetenzdarstellung und reflexiven Lernprozesssteuerung. In: bwp@ Nr. 8. http://www.bwpat.de/ausgabe8/haecker_bwpat8.pdf, zuletzt aufgerufen am 19.06.2017
[3] Wildt, J., Wildt, B. (2011). Lernprozessorientiertes Prüfen im „Constructive Alignment“. In: Berendt, B., Voss, H.-P., Wildt, J. (Hrsg.). Neues Handbuch Hochschullehre. Lehren und Lernen effizient gestalten. [Teil] H. Prüfungen und Leistungskontrollen. Weiterentwicklung des Prüfungssystems in der Konsequenz des Bologna-Prozesses. (pp. H6.1,46). Berlin
[4] Biggs, J., Tang, C. (2011). Teaching for Quality Learning at University. Fourth Edition. Maidenhead [u.a.]: McGraw-Hill, Society for Research into Higher Education & Open University Press
[5] Egloffstein, M., Frötschl, C. (2011). Leistungsdarstellung im E-Portfolio-Assessment. Eine empirische Analyse im Hochschulkontext. In: zeitschrift für e-learning. Lernkultur und bildungstechnologie. E-Portfolios 6/2011 (3), S. 51-62
Sess
ion
2
28
Möglichkeiten zur Prüfung des outcomes Forschenden Lernens mittels alternativer, digitaler Prüfungsformen
Oliver Ahel, Lisa Schleker Virtuelle Akademie Nachhaltigkeit, Universität Bremen, Deutschland E-Mail: [email protected], [email protected]
Der eingereichte Beitrag soll anhand des Praxisbeispiels der Veranstaltung „NachhaltigesManagement“derVirtuellenAkademieNachhaltigkeitzeigen,wiedigitalePrüfungsformengestaltet sein können, um das Konzept des forschenden Lernens prüfbar zu machen.Im Sommersemester 2017 lief diese Veranstaltung als Pilotprojekt, um neue digitale Prüfungsformen zu testen.
Hintergrundüberlegungen zum Pilotprojekt: Eine der weitreichendsten gesellschafts-politischenHerausforderungenunserTageistdieVorbereitungkünftigerGenerationenaufeinekomplexeundglobalisierteZukunft,inwelchermitbegrenztenRessourcenumgegangenwerdenmuss.NeueLehr-/Lernformatemüssendazu sogestaltet sein,dassStudierendenjeneKompetenzenvermitteltwerden,welchesiebenötigen,uminderZukunftProblemezulösen,diegegenwärtignochnichtbekanntsind.InVerbindungmitdigitalerLehrescheintdasKonzeptdesforschendenLernenseingeeigneterAnsatzhierfür:kollaborativesArbeiten,derUmgangmitKomplexität,dieNutzungDigitalerMedienunddasreflexiveHinterfragenzielenaufdieVermittlungebenjenerbenötigtenHandlungskompetenzenab.
ErsteerfolgreichdurchgeführteProjektemitvergleichbaremSettinglassenhinsichtlichderWirksamkeitdieserFormateeinepositivePrognosezu.SowiesendieEvaluationsergebnisseeines ähnlich gelagerten Lehr-Lern-Szenarios der hamburg open online university (HOOU) einen signifikant höher eingeschätzten Wert für den Erwerb an Fach-, Methoden-,Kommunikations-undPersonalkompetenzenausalsdiesimVergleichzuklassischenLehr-Lern-FormatenderFallist(Braßler,Holdschlag&vandenBerk2017,S.25-29).
Bei der praktischen Umsetzung wird schnell deutlich, dass der Ansatz des ForschendenLernens ein hohes Maß an Betreuungsaufwand, insbesondere im Assessmentbereich, mit sichbringt(Reinmann2011,S.296).EsstelltsichalsodieFrage:
WiekönnenPrüfungssituationenkonzipiertsein,damitdieErreichungderLernergebnisseforschenden Lernens beurteilt werden können und mit geringem Betreuungsaufwand eine Betreuung von großen Kohorten ermöglicht wird?
Sess
ion
2
29
Umsetzung des Pilotprojektes: Durch den Einsatz digitaler Medien wurden bestimmteKomponenten des forschenden Lernens (kollaborative Umgebung, eigenständigesProduzieren von Inhalten) in die digitale Welt verlagert. Die neue Struktur der Veranstaltung und der Prüfungsformate inklusive technischer Hintergründe, Potenziale und Herausforderungen sollen in unserem Beitrag für das E-Prüfungs-Symposium beschrieben werden. Die Erfahrungen aus der Entwicklung dieser innovativen unddigitalisierten Prüfungsformen sollen verdeutlichen, was bereits möglich ist und wo noch weiterer Forschungs- und Entwicklungsbedarf besteht. Dafür werden erste Ergebnisse aus der (qualitativen und quantitativen) Evaluation der alternativen Prüfungsformen desPilotprojekteseingebunden.Die ErfahrungenausdemPilotprojekt könnendieGrundlagefür zukünftige Forschungsprojekte liefern und durch das Aufzeigen von Potenzialen undGrenzen eineWeiterentwicklung der Einsatzformen von digitalenMedien in der Prüfungdes outcomes von forschendem Lernen ermöglichen. Digitalisierte Lehre und forschendes Lernen können den Erkenntnisgewinn der Studierenden erheblich unterstützen und zugleich den Betreuungsaufwand der Lehrenden verringern. Diese Möglichkeiten nutzbar zu machen, ist unser Ziel.
Unser Beitrag ist als Flipped Conference Talk konzipiert. Wir freuen uns darauf, auf dem E-Prüfungs-Symposium über den Nutzen und die Grenzen der im Video vorgestelltenPrüfungsformatezudiskutieren.
Keywords:
ForschendesLernen,digitalisierteLehre,innovativePrüfungsformen,BlendedLearning
Quellen:
[1] Reinmann, G. (2011). Forschendes Lernen und wissenschaftliches Prüfen: die potentielle und faktische Rolle der digitalen Medien. In: T. Meyer, C. Tan, T. Schwalbe & R.Appelt (Hg.). Medien & Bildung. Institutionelle Kontexte und kultureller Wandel (S. 219-306). Wiesbaden: Springer VS
[2] Braßler, M., Holdschlag, A. & van den Berk, I. (2017). Nachhaltige Zukunftsperspektiven. Erstellung von Open Educational Resources (OER) in der Hochschullehre.URL:https://www.researchgate.net/profile/Mirjam_Brassler/publication/314263413_Nachhaltige_Zukunftsperspektiven_Erstellung_von_Open_Educational_Resources_OER_in_der_Hochschullehre/links/ [26.04.2017]
Sess
ion
2
30
Neben der inhaltlichen Aneignung von Wissensdomänen sind an Hochschulen forschungs- undarbeitsmethodischeKompetenzensowiederErwerbkollaborativerundkommunikativerKompetenzen imHinblick aufwissenschaftliches Arbeiten zentral.Module, die in diesemMaße akademische Kompetenzentwicklung fokussieren, erfordern vor dem Hintergrund des Constructive Alignment komplexe, authentische Prüfungssituationen, die dieHandlungsdimensionenindenBlicknehmenundTeildesstudentischenLernprozessessind.
Peer-Assessments, hier verstanden als (Vorschlags-)Bewertung von Studienleistungen durchStudierende,förderndieaktiveBeschäftigungmitdemLernstoffinkomplexerWeise,schärfendasBewusstseinfürdieQualitäteigenerwissenschaftlicherArbeitundförderndieKompetenz von Studierenden im Bereich Wissenschaftskommunikation. Darüber hinausermöglicht dieses Verfahren eine erhöhte Transparenz für den Bewertungsprozess, die ErhöhungdersubjektiverlebtenRelevanzderAufgabesowiedieVerbesserungvonTempound Qualität des Feedbacks im Lernprozess. Ein zusätzlicher Nutzen für die Studierenden liegt darin, dass sie sehr zeitnah zur Einreichung ihrer Exposés ein detailliertes und elaboriertes Feedback erhalten.
Vor diesem Hintergrund werden im Rahmen des Projektseminars „Analyselaufender Forschungsvorhaben“ im Masterstudiengang Begabungsforschung und Kompetenzentwicklung der Universität Leipzig seit einigen Semestern Peer-Assessments genutzt, um Studierende bei der Erstellung der Exposés ihrer Abschlussarbeiten zu begleiten. Dazu begutachten jeweils zwei Studierende (Reviewer 1 und Reviewer 2) auf Basis zuvor gemeinsamausgehandelterKriterienineinemzweistufigenPeer-Review-ProzesseinExposé(Abb. 1). Nach Abschluss des ersten Peer-Reviews (Review 1.1 und Review 2.1) haben die Studierenden die Möglichkeit, ihr Exposé zu überarbeiten und erneut einzureichen. Mit Abschluss des zweiten Peer-Reviews (Review 1.2 und Review 2.2) ist der Peer-Review-Prozess abgeschlossen. Punkte erhalten die Studierenden für ihre Exposés und ihre Reviews. Ein sehr gutes oder exzellentes Ergebnis ist daher nur auf der Basis guter Exposés und guter Reviews zu erzielen. Die Reviews der Studierenden stellen Vorschlagsbewertungen dar, die vom Seminarleitersupervidiertundbestätigtoderggf.verändertwerden.
Heinz-Werner Wollersheim, Norbert Pengel Professur für Allgemeine Pädagogik, Universität Leipzig, Deutschland E-Mail: [email protected], [email protected]
Peer-Assessment als hochschuldidaktisches Instrument zur Aktivierung von studentischen Lernprozessen und dessen webbasierte Umsetzung in PAssT!
Sess
ion
2
31
Abb. 1: Ablauf eines Peer-Assessments in PAssT!
Um Peer-Assessments und damit das Lernen als sozialen Prozess niedrigschwelliger in verschiedenen Lernszenarien adressieren zu können sowie dem erheblichen organisatorischen Aufwand Rechnung zu tragen, haben wir gemeinsam mit dem Medienzentrum der TechnischenUniversitätDresdenineinemdurchdasSächsischeMinisteriumfürWissenschaftund Kunst (SMWK) geförderten Projekt das Peer-Assessment-Tool PAssT! entwickelt.
PAssT! ermöglicht u.a. die Anpassung der Begutachtungskriterien, die Sammlung und Zeitsteuerung des Uploads der Artefakte und Abgabe der Reviews, informiert die Studierenden in ihren Rollen als Autor und Reviewer über den Prozessablauf, gewährleistet die Verwaltung der Reviews und der Punkte sowie der Gesamtnote. Es ist zum einenunabhängig von Learning-Management-Systemen (LMS) einsetzbar und ermöglicht zum anderen diverse Anwendungsszenarien durch die Verarbeitung verschiedener Artefakte.
Im Rahmen eines Vortrags möchten wir dieses technologiegestützte Peer-Assessment-Verfahren vorstellen. Neben konzeptionellen Überlegungen werden wir auch auf ersteNutzungserfahrungen eingehen.
Keywords:
Peer-Assessment,ConstructiveAlignment,Wissenschaftskommunikation
Sess
ion
2
32
Der Einsatz elektronischer Assessments stellt Lehrende sowie Mitarbeiter in Technik und Verwaltung, der Führungsebene und den Justiziariaten vor unterschiedliche Probleme.Das Verbundprojekt E-Assessment NRW beschäftigt sich seit 3 Jahren mit ebendiesenProblemstellungen aus unterschiedlichen Perspektiven. In diesem Jahr wurde alszusammenfassendeDokumentation der Ergebnisse undAktivitäten bei derDurchführungvonE-AssessmentseinNRW-Leitfadenentwickelt,derineinemSession-Vortragexemplarischanhand eines Teilaspekts vorgestellt und diskutiert wird. Die leitende Fragestellung desVortrags ist dabei:Welche Aspektemüssen für eine nachhaltige, semesterübergreifendeBegleitungbeiderImplementierungvonE-Assessmentsberücksichtigtwerden?
In einer ersten Bestandsaufnahme des Projekts zum Einsatz von E-Assessments an Hochschulen in NRW stellte sich heraus, dass die Kernprobleme, die für alle Hochschulen bisher ein großes Hemmnis bei der breiten Etablierung und beim Ausbau von E-Assessmentangeboten darstellen, die rechtliche und organisatorische Klärung von Fragen in Bezug auf E-Prüfungen, die mögliche curriculare Einbindung von E-Assessments, Fragen zur Anerkennung von Leistungen,diemangelndeNutzungmöglicherKooperationspotenzialeaufderGrundlagevon Hochschulstrategien sowie Fragen zu infrastrukturellen Grundbedürfnissen vonelektronischen Assessments sind.
Der Leitfaden orientiert sich an den benannten Problemen und Hemmnissen und bietetden verschiedenen Zielgruppen des Projekts sowie den Akteuren bei der Umsetzung von E-AssessmentsdieMöglichkeit,mittelsindividuellerLeserführungspezifischeHilfestellungenzur Vorbereitung und Begleitung des Lernens zu erhalten. Dabei werden nicht nur die Perspektiven und Problemstellungen differenziert behandelt, sondern auch einÜberblicküberdiePhasenderImplementierungvonE-AssessmentsunddesLernprozessesimLaufeeines Semesters geboten. Das Vorhaben bezieht sich hierbei zwar konkret auf das Land Nordrhein-Westfalen,die ErgebnisseundAnsätze sind jedoch–mitwenigenAusnahmenwie den konkreten rechtlichen Anforderungen an ein E-Assessment – auch über die Landesgrenzen hinaus anwendbar.
Da sowohl die unterschiedlichen Zielgruppen und Akteure angesprochen werden als auch die grundlegenden Voraussetzungen im Vorfeld der Einführung von E-Assessments, die PhasendesLernensmitdendamitverbundenenAssessmentformen–diagnostisch,formativ,summativ–sowiediesemesterübergreifendeBegleitungderImplementierungaufgegriffenwerden, handelt es sich beim NRW-Leitfaden um eine komplexe und umfangreicheBetrachtung des Thema E-Assessment.
Marcel Graf-Schlattmann, Lara Melissa Fortmann, Prof. Dr. Dorothee Meister, Prof. Dr. Gudrun Oevel1
1Projekt E-Assessment NRW, Universität Paderborn, DeutschlandE-Mail: [email protected], [email protected], [email protected], [email protected]
NRW-Leitfaden zur systematischen Unterstützung. Nachhaltige, semester-übergreifende Begleitung bei der Implementierung von E-Assessments.
Sess
ion
3
33
Aus diesem Grunde legen wir das Augenmerk unseres Vortrags auf einen Teilaspektdes Leitfadens: die semesterübergreifende Begleitung bei der Implementierung vonE-Assessments. Dieser Aspekt befasst sich mit den Anforderungen an eine nachhaltigeImplementierung von E-Assessments und umfasst die Themen von Qualitätssicherung,Beratung sowie der Weiterbildung und Vernetzung. Dabei wird nicht nur ein inhaltlicher Einblick in das Themengebiet geliefert, sondern auch exemplarisch der Einsatz und Nutzen deserstelltenLeitfadensdiskutiert.
Keywords:
E-Assessment,nachhaltigeImplementierung,WeiterbildungundVernetzung,Leitfaden
Weiterführende Informationen zum Projekt E-Assessment NRW:
[1] http://www.eassessmentnrw.de/home.html, zuletzt aufgerufen 19.07.2017
[2] Forgó, Nikolaus; Graupe, Simon; Pfeiffenbring, Julia (2016). Rechtliche Aspekte von E-Assessments an Hochschulen. http://duepublico.uni-duisburg-essen.de/servlets/DerivateServlet/Derivate-42793/Gutachten_E-Assessment_NRW.pdf, zuletzt aufgerufen am 19.07.2017
Sess
ion
3
34
E-Prüfungen sind kein Novum mehr in der deutschen Hochschullandschaft. An einigenHochschulen sind sie bereits seit fünf oder zehn Jahren standardmäßig im Einsatz. Trotzdem kann nicht die Rede davon sein, dass E-Prüfungen sich bereits an der Masse der deutschen Hochschulen etabliert haben.
WährendinderPionierzeitderE-PrüfungenoftnochderWilleeinzelnerLehrenderodereinerIT-Einrichtungausreichte,ummiteinigenRechnernundSoftwarePrüfungendurchzuführen,sind aufgrund der erfolgreichen Beispiele an mehreren Hochschulen mittlerweile dieErwartungen an E-Prüfungen, sowohl was die Aufgabenformate, die Prüfungsräume, als auch dieRechtssicherheitangeht,gestiegenundsomitdienotwendigenRahmenbedingungenzuihrer Durchführung komplexer geworden.
Die Etablierung von hochschulweiten E-Prüfungen ist zu einem vielschichtigen Prozessgeworden,dervonunterschiedlichenStelleninnerhalbderHochschuleinitiiertwerdenkannund zu dessen erfolgreicher Durchführung eine Vielzahl von Akteuren an der Hochschule zusammenarbeiten müssen.
Gleichwohl existiert in den unterschiedlichen Publikationen zu E-Prüfungen bisher keinVorgehensmodell, das den Einführungsprozess anhand der zu durchlaufenden Teilprozesse und der darin involvierten Akteursgruppen strukturiert. In Ansätzen findet sich dies beiSchmees,Horn(2014) [1]. BasierendaufdenErfahrungen imProjektE-AssessmentNRWund bei der Einführung von E-Prüfungen an der Bergischen Universität Wuppertal wird nachfolgend ein solches Modell vorgestellt. Erste Überlegungen zu dem Vorgehensmodell wurden bereits als Poster auf dem ePS 2015 präsentiert und seitdem ausgearbeitet [2].DasModell bietetderProjektleitungeineOrientierungdarüber,wanndieKooperationenwelcher Akteure am besten angestoßen werden, wann welche Prozesse beginnen sollten undwelcheProzesse aufeinander aufbauen.DasVorgehensmodell ermöglicht somit einemöglichsteffizienteEinführungundEtablierungvonE-PrüfungenunterEinbeziehungallerAkteurs-/InteressengruppenderHochschule.
HierbeidientderStakeholderansatzvonR.EdwardFreemanalstheoretischeGrundlage[3].Diese Methode wird im Bereich der Umfeldanalyse im Projektmanagement eingesetzt und wirdhieraufdieEinführungvonE-Prüfungenangewandt.ZielistesdabeimittelsderAnalysealler in einem Projekt relevanten Prozesse, sowohl diese als auch die daran beteiligten Interessensgruppen (Stakeholder) zu identifizieren und rechtzeitig aktiv zu involvieren.Essentiell istdabei,dassalleAkteurevonderProjektleitungdieMöglichkeiterhalten,sich
Alain Michel Keller1, Silke Kirberg2
1 ZIM, Bergische Universität Wuppertal / E-Assessment NRW, Deutschland2 Referentin für eLearning, Hochschule Niederrhein / E-Assessment NRW, Deutschland E-Mail: [email protected], [email protected]
Der Weg in die Hochschule – Prozesse zur Etablierung hochschulweiter E-Prüfungen
Sess
ion
3
35
mit ihren Ideen und Bedenken in das Projekt einzubringen. Durch dieses partizipativeVorgehen können Widerstände abgebaut und eine breite Basis für das Projekt innerhalb der Hochschulegeschaffenwerden[4].
Insgesamt konnten für die Einführung von E-Prüfungen, von der initialen Diskussion desThemasdurchLehrendeund/oderGremienbishinzurDurchführungimRegelbetrieb,17Prozesse, die in einigen Fällen noch weitere Teilprozesse enthalten, identifiziert werden.Dadurch konnten die Stakeholder in den unterschiedlichen Bereichen der Hochschulen (Rektorat, Verwaltung, Zentrale Einrichtungen, Fakultäten, Lehrstühle) bestimmt und diegeeigneten Zeitpunkte und das Ausmaß Ihrer Einbindung in das Projekt erfasst werden. Die konkreten Prozesse und Stakeholder an einzelnen Hochschulen wurden dabei soweit abstrahiert, dass sich diese möglichst leicht auf die Strukturen an anderen Hochschulen übertragen lassen.Der Vortrag auf dem ePS 2017 soll dazu dienen, das Vorgehensmodell einem Fachpublikum vorzustellen, um in der Diskussion weitere Anregungen zu einzelnen Prozessen und deren Strukturierung zu gewinnen. Ende 2018 soll das Vorgehensmodell dann über www.eassessmentnrw.de interessierten Hochschulen zur Verfügung gestellt werden.
Keywords:
E-Prüfungen, E-Assessment, Stakeholder, Prozesse, Prozessmodell, Change Management
Quellen:
[1] Schmees M., Horn J. (2014). E-Assessments an Hochschulen: Ein Überblick. S.141-154, Münster, New York: Waxmann.
[2] Keller A. M. (2015). Der Weg in die Hochschule – Prozesse zur Etablierung hochschulweiter E-Prüfungen. In: Abstractband e-Prüfungs-Symposium ePS 18.-19. November 2015 // Paderborn. S.84/85.
[3] Freeman R. E. (1984). Strategic Management: a Stakeholder Approach. Boston: Pitman.
[4] Melbinger W. (2014). Stakeholder-Management für IT-Projekte. In: E. Tiemeyer (Hrsg.), Handbuch IT-Projektmanagement. S. 609-624, 2. Aufl. München: Hanser.
Sess
ion
3
36
Der aktuelle hochschuldidaktische Perspektivwechsel eines shift from teaching tolearning erfordert in der Hochschullehre einen veränderten Blick auf die Organisationvon studentischen Lernprozessen auf diversen Ebenen. Das Fachgutachten zurKompetenzorientierunginStudiumundLehrefürdieHRKhathinsichtlicheinerkonsequentenUmsetzung von Kompetenzorientierung auf Defizite der Hochschullehre im Hinblick aufdie kohärente Planung und Durchführung von Lehrveranstaltungen und Assessments hingewiesen[1].DabeistellendieVernetzungvonLern-undPrüfungsinfrastrukturenunddiehochschuldidaktischeFundierungtechnischerUnterstützungssystemewesentlicheAspekteder Qualitätssicherung von Studium und Lehre dar. Mit Blick auf die zunehmende Verbreitung vonE-AssessmentsandeutschenHochschulenimformativenundsummativenBereichistesnotwendig,dassLehrendedasprüfungsdidaktischePotenzialvonE-Assessmentserschließen,um Lernprozesse und Leistungsüberprüfung kompetenzorientiert gestalten zu können(ConstructiveAlignment).EinAustauschvonAufgaben(Items)zurqualitativenBegutachtung(Review) oder hochschulübergreifenden Verwendung in Prüfungen aufgrund verschiedener Learning-Management- und Prüfungssysteme gestaltet sich gegenwärtig schwierig.Gleichzeitig ist aber der hochschulübergreifende Wissens- und Erfahrungsaustausch vonLehrenden entscheidend für die Entwicklung und Verbreitung von (E-)Assessment-Literacy, um die Bedeutung und kompetenzorientierte Gestaltung von Prüfungen in Lehr-Lern-Arrangements hervorzuheben sowiedieQualität vonHochschulprüfungen zu sichern [2].Darüber hinaus ist eine wesentliche Grundlage für eigenverantwortliche LernprozesseundkompetenzorientiertePrüfungendieFormulierungvonLearningOutcomesundderenTransparenzgegenüberStudierenden(ConstructiveAlignment).
Vor diesem Hintergrund möchten wir in einem Vortrag das E-Assessment-Literacy-Tool EAs.LiT vorstellen[3].EsverbindetdenhochschuldidaktischenAnspruchdesConstructiveAlignmentmit der Usability eines modernen Content-Management-Systems (CMS). Dieses web-basierte System zur kollaborativen, qualitätsgesicherten Erstellung von Items für E-Assessmentswurde im Rahmen eines vom Sächsischen Staatsministerium fürWissenschaft und Kunst(SMWK) geförderten Verbundprojektes entwickelt. EAs.LiT unterstützt entsprechend dem Constructive Alignment bei der Formulierung von Learning Outcomes, der daraufbasierenden Erstellung und Begutachtung von Items sowie der kriterienbasierten semi-automatischen Zusammenstellung gleichwertiger E-Prüfungen (Abb. 1). Dazuwurden diebisher aus Learning-Management-Systemen bekannten Elemente zur Item-Erstellung um die DefinitionvonLearningOutcomesundAnforderungsstufensowiethematischeEinordnungerweitert. Zusätzlich ermöglicht ein Begutachtungsprozess die Erstellung strukturierter Reviews zur Sicherung der Item-Qualität hinsichtlich fachlicher Richtigkeit, Relevanz undFormulierung.DesWeiterenunterstütztEAs.LiTdiesemi-automatischeErstellungvonItem-
Heinz-Werner Wollersheim1, Norbert Pengel1 Andreas Thor2
1Professur für Allgemeine Pädagogik, Universität Leipzig, Deutschland2Professur für Datenbanksysteme, Hochschule für Telekommunikation Leipzig, Deutschland E-Mail: [email protected], [email protected], [email protected]
Die Gestaltung von E-Prüfungen mit dem E-Assessment-Literacy-Tool EAs.LiT
Sess
ion
3
37
PoolsfürPrüfungendurcheineinteraktive,mehrdimensionaleDatenexplorationinnerhalbdes Item-Bestandes sowie mittels eines Strukturplans für eine Prüfung (Blueprint).EAs.LiTistalsPluginfürdasCMSWordpressimplementiert.DiewesentlichenDatenobjekte(Learning Outcomes, Items, Reviews) werden als spezielle Wordpress-Content-Types in der von Wordpress verwalteten Datenbank abgelegt, welche somit auf standardisierte Wordpress-Funktionalitäten (Versionierung, Status- und Rechteverwaltung, thematischeKategorisierung) zurückgreifen können. Gleichzeitig ermöglicht die Verwendung vonWordpress-UI-Elementen eine adaptive, konsistente und moderne Benutzeroberfläche.Spezielle Sichten (u.a. Item Explorer), Algorithmen (u.a. Blueprint-basierte Item-Pool-Erstellung) sowie Import/Export-Funktionen zu Lern-Management-Systemen (derzeit QTI/Ilias5)rundendieImplementationab.
Abb. 1: Schematische Darstellung des E-Assessment-Workflows mit EAs.LiT
Keywords:
ConstructiveAlignment,E-Assessment,Qualitätssicherung,
Quellen:
[1] Schaper, N. (2012). Fachgutachten zur Kompetenzorientierung in Studium und Lehre. Hochschulrektorenkonferenz Projekt nexus. URL: http://www.hrk-nexus.de/fileadmin/redaktion/hrk-nexus/07-Downloads/07-02-Publikationen/fachgutachten_kompetenzorientierung.pdf [15.06.2017].
[2] Wollersheim, H.-W.; Pengel, N.: Von der Kunst des Prüfens – Assessment Literacy. HDS.Journal – Perspektiven guter Lehre 2016/2; S.14-32, http://nbn-resolving.de/urn:nbn:de:bsz:15- qucosa-212985 [15.06.2017].
[3] Weitere Informationen unter http://www.easlit.de sowie: Thor, A.; Pengel, N.; Wollersheim, H.-W. (2017). Digitalisierte Hochschuldidaktik: Qualitätssicherung von Prüfungen mit dem E-Assessment-Literacy-Tool EAs.LiT. Proceedings of 15. E-Learning Fachtagung Informatik der Gesellschaft für Informatik (Delfi 2017) (accepted for publication).
Sess
ion
3
38
Der Vortrag widmet sich der Frage, wie E-Assessments rechtssicher durchgeführt werden können. Er stellt Handlungsempfehlungen zum Umgang mit rechtlichen Fragestellungen bei elektronischen Prüfungsformen vor, die derzeit – neben weiteren Themenbereichen – im RahmendesVerbundprojektes„E-AssessmentanHochschuleninNRW“erarbeitetwerden.[1]ZieldesProjektes,dasEnde2017abgeschlossenwerdensoll, istes,solideGrundlagenfürdieVerwendungvonE-AssessmentszuschaffenunddieVernetzungderE-Assessment-Akteure in NRW zu fördern.
Die vorzustellenden Handlungsempfehlungen stützen sich im Wesentlichen auf ein im Rahmen desProjekteserstelltesrechtswissenschaftlichesGutachten,dasdieverfassungsrechtlichenGrundlagenvonE-Assessmentsbehandeltunddaten-undprüfungsrechtlicheFragestellungenanhanddesAblaufseinerelektronischenPrüfungbeantwortet. [2]DasGutachtenbasiertsowohlaufderaktuellenRechtsprechungalsauchaufeinschlägigerrechtswissenschaftlicherForschungsliteratur.
AusgehendvondenErgebnissendesGutachtenswerdenamProjektstandortDuisburg-EssenHandlungsempfehlungenausgearbeitet,diesicheinerseitsamAblaufderImplementierungvonelektronischenPrüfungenorientierenundandererseits zielgruppenspezifischeFragenbeantworten. Zu den ablauforientierten Handlungsempfehlungen gehören zum BeispielEmpfehlungen zur Anpassung von Prüfungsordnungen, zur Gestaltung elektronischerKlausurformen wie etwa des Antwort-Wahl-Verfahrens oder zur Archivierung von Prüfungsergebnissen.DiezielgruppenspezifischenEmpfehlungenrichtensichanLehrendeund Studierende und geben zum Beispiel Lehrenden Hinweise zur Durchführung von Probeklausuren oder Studierenden Ratschläge zu den verschiedenen Aufgabentypen im Antwort-Wahl-Verfahren.
ZudenwichtigstenErgebnissenzähltdieErkenntnis,dassE-Assessmentsdannrechtssicherdurchgeführtwerdenkönnen,wenndiedurchdieVerfassunggewährtenGrundrechtederPrüfungsteilnehmerberücksichtigtunddieAuthentizitätundIntegritätderPrüfungsleistungsichergestelltwerden.DagegebenenfallsdurchStudierendeeingeschalteteGerichteprüfen,ob in einem Prüfungsverfahren Verfahrensfehler unterlaufen sind, müssen alle rechtlich relevanten Punkte in der Prüfungsordnung geregelt sein.
Dr. Nina Hahne
ZIM, Universität Duisburg-Essen, DeutschlandE-Mail: [email protected]
Handlungsempfehlungen zu rechtlichen Fragen bei E-Assessments
Sess
ion
3
39
Keywords:
E-Assessment, elektronische Prüfungen, Handlungsempfehlungen, rechtliche Fragen
Quellen:
[1] http://www.eassessmentnrw.de, zuletzt aufgerufen am 19.06.2017
[2] Nikolaus Forgó, Simon Graupe, Julia Pfeiffenbring: Rechtliche Aspekte von E-Assessments an Hochschulen. Gutachten im Auftrag des Verbundprojektes E-Assessment NRW. http://duepublico.uni-duisburg-essen.de/servlets/DocumentServlet?id=42871, zuletzt aufgerufen am 20.06.2017
Sess
ion
3
40
Das zunehmende Interesse an E-Klausuren färbt auch auf die juristischen Studiengängeab. Gerade für das juristische Staatsexamen sind vor allem in NRW seit einigen Jahrenviele Vorarbeiten geleistet worden [1][2]. An Universitäten sind bislang jedoch keinegroßen juristischenFreitextklausurenbekannt,diemittelselektronischerPrüfungssystemedurchgeführt und evaluiert wurden. Solche im juristischen Gutachtenstil [4] verfasstenFreitextklausuren verlangen zum einen Kompetenzen im Verstehen und Anwenden von bekannten Schemata, adressieren jedoch letztendlich höhere Kompetenzniveaus durch die erforderliche Analyse und Beurteilung der Fälle im Hinblick auf unterschiedliche Auslegungen aufderBasisbestimmterGesetze.ImRahmeneinerPilotklausuranderUniversitätSiegenwurdeuntersucht,welchenEffektdieelektronischeDurchführungeinersolchenKlausuraufdie Art und Weise der Aufgabenbearbeitung, Korrektur und Überprüfung der Lernergebnisse hat[3].
BeiderdurchgeführtensummativenE-KlausurhandelteessichumdenNachschreibterminderKlausurPrivatrechtfürWirtschaftswissenschaftlerundLehramtsstudierende.DieKlausurbestandausFreitextaufgaben,derenAufgabenstellungen juristischeFälle imGutachterstilwaren. Die Studierenden konnten frei wählen, ob sie die Klausur in elektronischer Form oder aufPapierschreibenwollten.Vonden290angemeldetenStudierendenhabensich71fürPapier und219 für die elektronischeVariante entschieden. Nach der Klausur haben 41% der Teilnehmenden einen elektronischen Fragebogen ausgefüllt. Außerdem wurden einige Teilnehmende in Kleingruppen interviewt. Im Vorfeld der E-Klausur wurden zum Vergleich dieWörter von 100 zufällig ausgesuchte Klausuren des ersten handschriftlichen Terminsausgezählt.
DieTeilnehmerderE-KlausurhattendasGefühl,mehrZeitgehabtzuhaben.Esgibtaberkeinen signifikaten Unterschied bei der Wörterzahl der Gesamthohorten (12% mehrWörter in der E-Klausur). Allerdings waren die Wörterzahlen der Studierenden mit guten bis sehr guten Noten sehr viel höher als die der Anderen. Es gilt jedoch zu bedenken, dass bei der E-Klausur das Verändern und Löschen von Wörtern durch die „Copy & Paste“-Funktionalität sehrvieleinfacher istalsaufPapier.GeradederoptischeEindruckunddiesinnvolleStrukturierungderKlausurwardenTeilnehmernderE-Klausursehrwichtig.SehrwichtigwardenTeilnehmernauchdieAngabe,dasssiebessertippenalsperHandschreibenkönnen und damit auch ihr Wissen vollständig anbringen konnten. Dies ist im Hinblick auf höhere Lernzielniveaus erforderlich. Als verbesserungswürdig wurde die Oberfläche derPrüfungssoftwaregenannt,diesichidealerweisenochmehrandieOberflächevongängigenTextverabreitungsprogrammen anpassen sollte. Auch eine Rechtschreibkorrektur wurde
Andreas Hoffmann1, Marc Sauer2
1Lehrstuhl Betriebssysteme und verteilte Systeme, Universität Siegen, Deutschland2Supportstelle für elektronische Klausuren, Universität Siegen, Deutschland E-Mail: [email protected], [email protected]
Juristische Volltext-E-Klausuren
Sess
ion
4
41
gewünscht. Grundsätzlich wünschten sich die Teilnehmer weitere Freitextklausuren imjuristischenUmfeld(98,8%).
Die Korrektur der Klausuren erfolgte ebenfalls elektronisch. Die Korrektoren beurteilten dieAuswertungderelektronischenKlausurenalssehrpositiv.DurchdiebessereLesbarkeitkönnten InhalteganzerAbschnittebesser aufeinenBlickerfasstwerden,da keineArbeitauf das Entziffern der einzelnen Worte fällt, was den Blick auf das Gesamte lindert.Interessanterweise wirkten gerade die schlechteren Klausuren trotz EDV unordentlich. Die Korrektorenmerktenan,dassdasErstellenderKommentareamRandmehrZeitbenötigtals auf Papier, aber dass man die Anmerkungen detailierter verfasst. Das wiederum ergibt einbesseresFeedbackfürdieStudierenden,wodurcheingrößererLernforschrittdurchdieKlausureinsicht- und Nachbereitung möglich ist. Auch die Markierung inkl. Kommentare ganzer Textbausteine macht die Korrektur nachvollziehbarer und der Bezug zu Fehlern wird deutlich besser erkennbar. Nachlässige Ausdrucksweisen, Tippfehler, Rechtschreibfehler, schwachesAusdrucksvermögen,FehlerimSatzbauoderGrammatikschwächentretendemKorrektor unmittelbarer entgegen als bei Papierklausuren, bei denen mehr Zeit auf dasEntziffernentfällt.
DurchdieelektronischeDurchführungzeichnensichneueTechnikenderGutachtenerstellungab,indemPassagenzunächstgrobvorformuliertundimWeiterenfürdiespezifischenFälle„ausgefüllt“odervielmehrausformuliertwerden.DenStudierendenistesalsomöglich,dentatsächlichenWissensstandzupräsentieren,dasiesichnichtmitoptischenBedenkenplagenmüssen. Im Weiteren könnte der gezeigte Effekt für weitere Fachklausuren untersuchtwerden, welche im Stil der großen Freitextklausur gestellt werden. Auch stellt sich dieFrage, ob die Nutzung der neuen Techniken geänderte Erwartungen bei Volltext-E-Klausuren seitens der Prüfer erzeugen.
Keywords:
E-Assessment,Volltext-Prüfungen,JuristischeKlausuren,JuristischeFallgutachten
Quellen:
[1] F. Kollmann, A. Hoffmann: Entwicklung und Evaluation eines Prüfungssystems zur Durchführung elektronischer Volltextklausuren im juristischen Staatsexamen In: H. Pongratz, R. Keil (Hg.) 2015 – DeLFI 2015 - Die 13. e-Learning Fachtagung Informatik der Gesellschaft für Informatik e.V. (GI), München, 1.-4. September 2015, GI-Verlag, S. 157–168
[2] Interview Neue Juristische Wochenschrift (NJW) mit J. v.d. Esche und A. Hoffmann: Die juristische E-Prüfung. S. 12 f., Ausgabe 39/2016. Verlag C.H.Beck oHG, München.
[3] M. Becker, C. Weidt: Erfahrungen mit der elektronischen Juraklausur in großen Gruppen, i.E., ZRP 2017
[4] T. Hildebrand (2016): Juristischer Gutachtenstil: Ein Lehr- und Arbeitsbuch, UTB
Sess
ion
4
42
VieleAnfängerhabenSchwierigkeitenbeimEinstiegindieProgrammierungundbenötigeneine geeignete Lernumgebung aber auch ein didaktisches Szenario,wo siemotiviert undselbständigProgrammierenlernenkönnen.DieheutigeGeneration,diesogenannten„digitalnatives“[1],istmitdigitalenMedienaufgewachsen.DerDigitalGame-BasedLearningAnsatzspricht,lautMarkPrensky[2],dieheutigenStudierendenmiteinemihnenbekanntenundgerngenutztenMediumanunderzeugtsomitintrinsischeMotivation.
AnderRWTHAachenentstand2016einSeriousGameCodescape,umdenEinstiegindieProgrammierspracheJavafürAnfängerzuerleichtern.DabeivermitteltdasSpielselbstkeineInhalte, wird vorlesungsbegleitend eingesetzt und soll inhaltlich und zeitlich eng mit der Vorlesungverzahntwerden.DasLernspielistbrowserbasiertundsomitplattformunabhängig.Die Programme der Studierenden werden auf dem Server kompiliert, getestet und bewertet. Die automatischeBewertung entlastet die Lehrendebei der Korrektur derHausaufgabenundermöglichtdenStudierenden,einesofortigeRückmeldungfürihreAbgabenzukriegen.
Abb. 1: Ein Codescape Raum: A) die Spielkarte, B) Code-Editor, C) Compiler/Fehler Konsole
Paul Gamper1, Wolfram Barodte1
1Medien für die Lehre, RWTH Aachen, Deutschland E-Mail: [email protected], [email protected]
Programmieren lernen mit Serious Games - ein Erfahrungsbericht.
Sess
ion
4
43
Als Spielerin oder Spieler erkundet man ein außer Kontrolle geratenes Raumschiff. DasRaumschiffistinDecksunterteilt,welchewiederumRäumeundMinispielebeinhalten.MitHilfe von Decks, die mit der Zeit freigeschaltet werden, erfolgt eine zeitliche und inhaltliche GruppierungdesLernstoffes. RäumedesRaumschiffs(Abb.1)stellendieAufgabenvisuelldar und sind das zentrale Element im Spiel. Durch das Lösen der Herausforderungen in den Räumen werden die Inhalte aus der Vorlesung eingeübt. Durch Minispiele und Dialoge können zusätzliche Aufgaben abgebildet und Faktenwissen gezielt abgefragt werden.
Das Spielwurde seitWintersemester 2016/2017 in drei Einführungs-Veranstaltungenmitinsgesamt 2800 Studierenden eingesetzt, die Insgesamt fast 417.000 Programme (mit Zwischenständen) abgegeben haben. Das Spiel wurde während der ersten Erprobung gut angenommenundstießbeidenStudierendenundauchDozierendenaufpositiveKritik.Über70% der befragten Spieler empfanden Codescape als gelungen und 50% gaben an, das Spiel auch in ihrer Freizeit spielen zu wollen. Um die 70% der Befragten gaben an, dass das Spiel ihnengeholfenhat,denVorlesungsstoffbesserzuverstehen.
FüreinebessereIntegrationindieVorlesungensindbereitsErweiterungenfürdieKonzepteRekursion,VerifizierungundobjektorientierteProgrammierunggeplant.MitneuenInhaltenwerden auch die Anreizsysteme, Ziele und Erfolgsbewertung im Spiel angepasst.
Keywords:
EinführunginJava,Game-BasedLearning,Lernspiel
Quellen:
[1] Digital game-based learning. Compuers in Entertainment, 1(1), 21-21, 2003
[2] Digital natives, digital immigrants part 1. On the horizon, 9(5):1–6, 2001
Sess
ion
4
44
Elektronische Prüfungen sind mittlerweile ein fester Bestandteil der Prüfungskultur derRWTHAachen[1].FürdiegrundlegendenHerausforderungen,diebeiderEtablierungdieserPrüfungsformauftreten,wurdenbereitsverschiedeneLösungenerörtert [2,3]. Inzwischenbegegnen uns neue Herausforderungen wie z.B. Kapazitätsprobleme bei ePrüfungen für Veranstaltungen mit großen Teilnehmerzahlen.
Seit nunmehr einem Jahr werden Veranstaltungen mit hohen Teilnehmerzahlen mit Hilfe von ePrüfungen erfolgreich in den Fächern Mechanik 1, 2 und 3 im BSc-Studiengang Maschinenbau angeboten. Die große Anzahl der abzunehmenden Prüfungen (ca. 5000 pro Jahr)stehthierbeiderAnzahldergleichzeitigverfügbarenRechnerplätze(ca.310)gegenüber.AusdiesemGrundschreibendieStudierendendieKlausurenderzeitüber2Tageverteiltin2-8 Kohorten pro Veranstaltung.
DienaheliegendeLösungfürdieKapazitätsengpässe,dieSchaffungvonmehrRechnerplätzen(vgl.RechnerkapazitätenderTUDelft,NLmitca.1000Plätzen),istnichtalleinezielführend.ZumeinenkostendieAnschaffungundderBetriebderInfrastrukturvielZeitundGeld,sodass Erweiterungen der Kapazitäten eher in Dekaden als in Jahren gerechnet werden. Zum anderen führt eine massive Erweiterung der Kapazitäten zu einem großen Überangebot außerhalb der Prüfungszeit. Angeschaffte Technik wird entweder kaum genutzt oderwird in der Prüfungszeit überbucht. Aus diesen Gründen muss die Schaffung von mehrRechnerplätzendurcheinflexibles,schnellesundkostengünstigesKonzeptergänztwerden.
On-Demand-Prüfungen lösen das Kapazitäts- und Auslastungsproblem auf eine elegante, kostengünstigeWeise.StattdieStudierendenfestinKohorteneinzuteilenundnacheinanderzu prüfen, können sich die Studierenden ihren Prüfungstermin selber auswählen. Dabei können sie den Prüfungstermin individuell nach ihrem Lernstand, persönlichen Rahmenbedingungen und Vorlieben auswählen. Diese Flexibilität in der Lern- und Prüfungsplanung ist ein direkter Mehrwert für die Studierenden. Durch eine Durchmischung der Semester und Veranstaltungen werden zudem Täuschungsversuche deutlich erschwert. Zum Beispiel kann ein Studierender der Mechanik 1 im Maschinenbau schlecht von einem StudierendenderMechanik3abschreiben.AusdenobengenanntenGründenergänzenOn-DemandePrüfungendenAnsatz,mehrRechnerplätzezuschaffen,erhöhendieFlexibilitätder Prüfungsplanung für Studierende und erlauben zudem einen Paradigmenwechsel im akademischen Prüfen in Massenveranstaltungen.
Bernd Markert1, Mazdak Karami2
1Insitut für Allgemeine Mechanik, RWTH Aachen University, Deutschland2Medien für die Lehre, RWTH Aachen University, Deutschland E-Mail: [email protected], [email protected]
ePrüfung On-Demand – Individuell Lernen, individuell Prüfen
Sess
ion
4
45
Jedoch fordert diese Form der Prüfungsorganisation auch eine hohe Flexibilitätder Prüfungsverantwortlichen, eine zusätzliche Anmeldefunktion mit einemOptimierungsalgorithmusundeinensehrgroßenAufgabenpool.
ImWintersemester2017/2018werdendieePrüfungenOn-DemandineinemPilotprojektinder Mechanik 1, 2 und 3 durchgeführt. Dabei können die Studierenden in der Anmeldephase Termine priorisieren und bekommen anschließend über ein Losverfahren einen Termin zugewiesen, fallsdieRaumkapazitätüberschrittenwird.EinZieldesPilotprojekts isteszuerfassen, welche Termine stark priorisiert werden undwieman die Prozesse optimierenkann.
Keywords:
E-Assessment, ePrüfungen On-Demand, Individuelles Prüfen
Quellen:
[1] Karami M., Baumann M.: Pädagogische Hochschulentwicklung: von der Programmatik zur Implementierung. Zum Glück gezwungen? Wie die Einführung eines hochschulweiten Angebots elektronischer Prüfungen gelingen kann. In: Brahm T, Jenert T & Euler D (Hrsg.). Pädagogische Hochschulentwicklung. Springer VS Verlag (2016) (ISBN 978-3-658-12067-2)
[2] Karami M., Heussen N., Schmitz-Rode T., Baumann M. Advantages and Disadvantages of Electronic Assessments in Biomedical Education. World Congress on Medical Physics and Biomedical Engineering, September 7 – 12. (2009) 25(12):61-4. (DOI: 10.1007/978-3-642-03893-8_18)
[3] Otto A., Karami M., Baumann M., Groß D. Verbesserungspotenziale elektronischer Prüfungen am Beispiel von medizinischen Tests. In: Die Rektorin der Ernst-Moritz-Arndt-Universität Greifswald (Hrsg.) Greifswalder Beiträge zur Hochschullehre, Greifswald: 73-88. (2015) (ISBN: 978-3-86006-429-0)
Sess
ion
4
46
Systeme für die automatische Bewertung von Programmieraufgaben sind seit langembekanntundweitverbreitet.SieermöglichendieerfolgreicheDurchführungvonformativenodersummativenPrüfungenauchfürgroßeGruppenvonLernenden.DerAufwandfürdieErstellung von didaktisch sinnvollen Programmieraufgabenmit umfangreichem Feedbackist jedoch sehr hoch. Dieses Problem wird verschärft, wenn Aufgaben in mehrerenähnlichenVariantenbenötigtwerden,umeinePrüfunginmehrerenGruppennacheinanderdurchführen zu können.
Andere Teilgebiete der Informatik und andere Fächerwie beispielsweise dieMathematiknutzen in diesem Fall variable Aufgabenstellungen, in denen Teile des Inhalts für jeden Prüfungsteilnehmer individuell nach vom Autor festgelegten Vorgaben zufällig generiert werden. Dieses Prinzip auf Programmieraufgaben zu übertragen, führt jedoch zu einer großen Zahl an herausfordernden Fragestellungen:
• Welche Teile der Aufgabenstellung einer Programmieraufgabe können überhaupt (prüfungs-)didaktischsinnvollvariiertwerden?
• KannsinnvolleVariationsogestaltetwerden,dassPrüfregelnundFeedbackgleichbleiben können, oder müssen diese mit variiert werden?
• WiekanndieGleichwertigkeitoderSchwierigkeitvonAufgabenvariantenbeurteiltwerden?
• Welche Komplexität von Variation ist für Autoren noch überschaubar, um dieKonsistenz des Feedbacks gewährleisten zu können?
Diese und weitere Fragestellungen können in diesem Workshop diskutiert werden. DerWorkshop richtet sich sowohl an Lehrende in der Programmierausbildung und verwandten Fächern, als auch an die Entwickler von Systemen für die automatische Bewertung vonProgrammieraufgaben.ZieldesWorkshopsistes,imRahmeneinesoffenenAustauschsden(prüfungs-)didaktischen Bedarf festzustellen sowie Erfahrungenmit ersten Versuchen zurVariabilität von Programmieraufgaben auszutauschen.
Keywords:
E-Assessment, Programmieraufgaben, Variabilität
Michael Striewe, Benjamin Otto
Universität Duisburg-Essen, DeutschlandE-Mail: [email protected], [email protected]
Variabilität in Programmieraufgaben
Wor
ksho
p 1
47
LehrendeindenGeisteswissenschaftenundverwandtenFächernstehenbeimEinsatzvonE-Assessment-TechnologienhäufigvordemProblem,dassaktuellverfügbareAufgabentypenundSystemedidaktischanspruchsvolle,offeneunddiskursorientierteAufgabenstellungennicht angemessen abbilden und mit (teil-)automatisiertem Feedback versehen können.Während sich gut zu operationalisierende Aufgabenstellungen sowie Faktenwissen nochleichtmitMultiple-Choice-FragenoderanderengeschlossenenAufgabenformatenabbildenlassen, erfordert die kritische Auseinandersetzung mit Theorien oder die konstruktiveDarlegung eines Gedankenganges nahezu zwingend den Einsatz von FreitextaufgabenodervergleichbarenoffenenFrageformaten.DieautomatischeAuswertungvonFreitextenbeschränktsichnachdemderzeitigenStandderForschungjedochzueinemgroßenTeilaufdiesyntaktischeStrukturundKorrektheitderTexteundzeigterheblicheSchwächenbeidersemantischenAnalyse.
Der Workshop richtet sich daher sowohl an Entwickler von E-Assessment-Systemen, die in diesem Bereich für Verbesserungen sorgen möchte, als auch an Lehrende aller fachlichen Disziplinen,diekreativeLösungenfürdenUmgangmitdemderzeitigenDefizitsuchenodergefunden haben. Der Workshop soll insbesondere eine Plattform bieten, um Wünsche,ErfahrungenundLösungenmiteinanderauszutauschenundzudiskutieren.
Keywords:
E-Assessment,Aufgabentypen,MultipleChoice,Freitext,Geisteswissenschaften
Michael Striewe
Universität Duisburg-Essen, DeutschlandE-Mail: [email protected]
Zwischen Multiple Choice und Freitext – E-Prüfungen in den Geisteswissenschaften
Wor
ksho
p 2
48
Für dieGestaltung vonAufgaben in E-Assessments empfiehlt beispielsweiseWollersheim(2015) durch Peer-Review und andere Maßnahmen die Qualität der Prüfung bereits in der Vorbereitungsphasezusichern[1].Außerdemwird imZusammenhangmitE-Assessmentsdaraufhingewiesen,dassdiegeschlossenenAufgabendieMöglichkeitbieten,siestatistischauszuwerten.DieserVorteilwirdinVorträgen[2][3],diefürdieEtablierungelektronischerPrüfungenargumentieren,genannt.DieAuswertungundInterpretationderTeststatistikensollindenProzessderQualitätssicherungeinfließen[1][4][5].
Nach der Auswertung von Tests und Klausuren richtet sich der Blick auf die Ergebnisse derStudierenden.UmdiegestelltenFragenundAufgaben jedochzureflektierenundggf.zu überarbeiten, eignet sich die Interpretation von statistischen Auswertungen. DieseTeststatistikengebenKennwertean,dieHinweisedaraufgeben,obdieBeantwortungderTest- oder Klausuraufgaben die von den Studierenden individuell erreichten Lernergebnisse überhaupt im erforderlichen und gewünschten Maß abbilden.
Vielen Lehrenden ist allerdings unbekannt, ob – und wenn ja welche – statistischeInformationensieaufeinfacheArtundWeiseausdenvonIhnenverwendetenE-Learning-Tools für diese Art der Qualitätssicherung nutzen können.
IneinerHandreichungdesProjekts„E-AssessmentNRW“werdendaherdie„aufKnopfdruck“vorhandenen Auswertungen der an Hochschulen verbreiteten Lernplattformen MOODLEundILIASdargestellt,sowieerläutert,wiediePrüfungsergebnissepercsv/Excel-ExportfürStatistikprogrammegenutzt undmit SPSS, Excel o.ä. von Lehrendenausgewertetwerdenkönnen.
Die Interpretation der Informationen erfordert ein gewisses Grundlagenwissen, da dieStatistikenvondenLearningManagementSystemenunkommentiertdargestelltwerden.
Für interessierte Lehrende soll mit der Handreichung daher eine Quelle entstehen, die Informationen und Interpretationshilfen zur Testauswertung für E-Prüfungssoftwarebündelt und darüber hinaus Interesse daran weckt, Learning Management Systeme mit ihren vielfältigenMöglichkeiten verstärkt in diagnostischen, formativen und summativenAssessments einzusetzen.
Silke Kirberg1, Yvonne Fischer2 1 Referentin für eLearning, Hochschule Niederrhein / E-Assessment NRW, Deutschland2 wissenschaftliche Mitarbeiterin, Hochschule Ostwestfalen-Lippe / E-Assessment NRW, DeutschlandE-Mail: [email protected], [email protected]
Qualitätssicherung von Testfragen – Teststatistiken auswerten, Fragen und Aufgaben verbessern
Know
ledg
e Ca
fé 1
49
Der Beitrag im Knowledge-Café auf dem ePS 2017 dient dazu, die vorhandenen Informationsressourcen für statistische Kennwerte in den Tools für E-Assessmentdem Fachpublikum vorzustellen. Die prüfungsdidaktische Herausforderung,einen Pool an guten Fragen und Aufgaben ständig weiter zu entwickeln, kann durch die Nutzung von vorhandenen Daten und Statistiktools erleichtert werden.Die Diskussion mit den Teilnehmenden kann wertvolle Anregungen für die Interpretationshilfe geben. Ende 2017 soll die finalisierte Handreichung dann überwww.eassessmentnrw.de interessierten Hochschulen zur Verfügung gestellt werden.
Keywords:
E-Prüfungen,E-Assessment,Qualität,Statistik,E-Prüfungs-Didaktik
Quellen:
[1] Wollersheim, H.-W. (2015): Qualitätssicherung elektronischer Prüfungen mit geschlossenen Aufgabenformaten, Präsentation im Rahmen der GML2-Konferenz 2015. http://www.gml-2015.de/PPP/Fr_11_00_Wollersheim_vb.pdf [22.11.2016]
[2] Daniel, M. (2014): Mathematik-Kompetenzen online prüfen – geht das? Vortrag an der DHBW Karlsruhe. https://www.dhbw-karlsruhe.de/fileadmin/user_upload/dokumente/T-Informatik/25jahre-oktober-2014-daniel_e-klausuren.pdf [16.03.2017]
[3 ] Huth, D., Spehr, St., Keller, A. M. (2016): „E-Prüfungen / E-Assessment / Baumaßnahmen“ an der Bergischen Universität Wuppertal. Vortrag anlässlich der ZKI-Herbsttagung und 17. DINI-Jahrestagung vom 12. bis zum 15. September 2016. https://www.uni-ulm.de/fileadmin/website_uni_ulm/zkiherbst2016/praesentationen/dienstag/huth_Vortrag_ZKI_HT_2016_E-Pruefungen__E-Assessment_Baumassnahmen_13.09.2016_final.pdf [16.03.2017]
[4] Bücking, J., Schwedes, K. (2010): E-Assessment im Testcenter der Universität Bremen. In: Ruedel, C., Mandel, Sch. (Hg.): E-Assessment. Einsatzszenarien und Erfahrungen an Hochschulen. Medien in der Wissenschaft Bd. 56. Münster: Waxmann, S. 47-62.
Know
ledg
e Ca
fé 1
50
Die TH Wildau, die größte Fachhochschule Brandenburgs, hat im Sommer 2012 im Rahmen des BMBF geförderten Projekts SOS – Strukturierung und Optimierung des Selbststudiums begonnen, E-Assessments durchzuführen. Seitdem zeigte sich in mehr als 13500 Teilnahmen andiagnostischen,formativenundsummativenE-AssessmentsdiezunehmendeAkzeptanzfür Online-Tests. Ausgehend vom vermehrten Einsatz und den im Projekt entwickelten Qualitätsstandards zur Erstellung elektronischer Fragen wird der Fokus nun verstärkt auf testdidaktischeQualitätgelegt.
Elektronische Prüfungen werden von den Lehrenden erstellt, die in unterschiedlicher Weise mit der E-Assessment-Software und der Gestaltung elektronischer Fragen vertraut sind.Die E-Prüfungen entsprechen daher nicht immer testdidaktischen Qualitätskriterien (z.B.Kompetenzorientierung).HäufiggehenLehrendevonihrenbisherigenFrageninPapierformaus;diese lassen sich jedochnicht immer1:1 inelektronischeFragenübertragen [1].BeiderUmstellungaufelektronischePrüfungenbenötigenLehrendedahersowohltechnischenSupportalsauchdidaktischeSchulungen[2].
ImKnowledgeCafébzw.VortragsollendaherfolgendeFragendiskutiertwerden:
• WiekanndiedidaktischeQualitätderE-Assessmentsverbessertwerden?• Wie sollte eine entsprechende Schulung konzipiert sein? • WiekönnenLehrendezurTeilnahmemotiviertwerden?• Welche Rolle hat der E-Assessment-Service bei der Qualitätssicherung? Wie viel
Unterstützung kann und soll er leisten?
Aus den genannten Problemstellungen und Einzelgesprächen mit Lehrenden hat der E-Assessment-Service der TH Wildau ein Schulungskonzept entwickelt, das sowohl technische alsauchdidaktischeFragestellungenadressiert.
Es enthält folgende Aspekte:
• TheoretischerInputzuTestdidaktikinkl.Constructive-Alignment-Konzept• TechnischeMöglichkeitenderE-Assessment-Software• Praktische Arbeit an den Fragen der Lehrenden unter Berücksichtigung von
Lerntaxonomiestufen• Einbindung von E-Assessments in verschiedene Lehrkonzepte
Xenia V. Jeremias1
1Zentrum für Qualitätsentwicklung TH Wildau, DeutschlandE-Mail: [email protected]
Testdidaktische Schulungen zur Qualitätssicherung
Know
ledg
e Ca
fé 1
51
UnterstütztwirdderUmstellungsprozessdurchHinweiseundGestaltungsbeispieleaufderWebsitederHochschule [3].Diese können inder Schulung auf die konkreten FragenderLehrenden angewendet werden und damit zur Verbesserung der Fragenqualität beitragen. Als Good-Practice-Beispiele stehen aus den BereichenMathematik und Rechnungswesenetwa2.800elektronischeFragenzurVerfügung.DerLeitfadenkannanderenHochschulenauf Wunsch zur Verfügung gestellt werden.
Abb. 1: Leitfaden E-Assessment. Screenshot: Xenia V. Jeremias
DieQualifizierungvonLehrendenimBereichE-PrüfungenistbedarfsorientiertangelegtundwirdjenachErfahrungundInteressederLehrendenflexibelangepasst.Es istgeplant,dieSchulung im Flipped-Classroom-Format durchzuführen.
Keywords:
E-Assessment,E-Prüfungen,Testdidaktik,Schulung,Beratung,Qualitätssicherung
Quellen:
[1] Karami, M., Baumann, M. (2016). Zum Glück gezwungen? Wie die Einführung eines hochschulweiten Angebots elektronischer Prüfungen gelingen kann. In: T. Brahm et al. (Hrsg.), Pädagogische Hochschulentwicklung. S. 317, Wiesbaden: Springer Fachmedien
[2] Hochschulforum Digitalisierung (2015): E-Assessment als Herausforderung. Empfehlungen für Hochschulen. https://hochschulforumdigitalisierung.de/sites/default/files/dateien/HFD%20AP%20Nr%202_E-Asessment%20als%20Herausforderung%20Handlungsempfehlungen%20fuer%20Hochschulen.pdf, zuletzt aufgerufen am 30.05.2017
[3] www.th-wildau.de/eassessment, zuletzt aufgerufen am 30.05.2017
Know
ledg
e Ca
fé 1
52
Fragestellung/Zielsetzung
Prüfungsitems müssen aus unterschiedlichen Gründen überarbeitet werden, wie zumBeispielschlechtepsychometrischeStatistikenoderBekanntheitderPrüfungsitemsbeidenTeilnehmern. Die Erstellung neuer Items ist ein langwieriger und arbeitsintensiver Prozess. Umsowichtiger ist es, dass die Vergleichbarkeit zwischen den neu erstellten und bereitsetablierten Items auf einfache Weise sichergestellt werden kann. In diesem Beitrag werden Ergebnisse eines Anwendungsbeispiels dargestellt. Im Rahmen der Objective StructuredClinicalExaminations (OSCE)wurdegeprüft,obsogenannteBrückenitems(„linked items“)ein geeignetes Mittel zur Bewertung der Prüfungsleistungen zwischen den Semesterndarstellen.
Material/Methoden
BeidenOSCEswurdeein„linkeditem“-Ansatzverwendet,uminsgesamt427Items(WS2015/2016& SS 2017)mittels Raschmodell zu analysieren. Dabei wurden Items, die beiallen zu untersuchenden Prüfungen vorgegeben wurden, als sogenannte Brücken items oder Linkitems verwendet („anchored-item-design“). Diese verlinkten Items ermöglichen mitRaschmodell-Analysen, die Itemschwierigkeiten für den kompletten Itempool (bestehendaus etablierten und neu erstellten Items) und die Prüfungsleistungen (über Schätzung eines Personenparameters, der die Prüfungsleistung widerspiegelt) für alle Teilnehmer zu bestimmen.
Ergebnis
Nach einer Überprüfung auf Raschmodell-Konformität mittels Modelltests ist ein fairerVergleich zwischen den Items als auch zwischen den Prüfungsleistungen aller Teilneh-mer über die verschiedenen Prüfungstermine möglich. Die Parameterschätzungen für die Aufgaben und die Prüfungsleistungen der Teilnehmer zeigen ein valides Raschmodell. Durch dieGültigkeitdesRM-ModellsistdieVergleichbarkeitzwischendenItemsalsauchzwischenden verschiedenen Teilnehmern (unabhängig aus welchem Semester) gege ben.
Take-Home-Message
DieVerwendungvonBrückenitems isteinezuverlässigeMethode,umfaireundeffizienteVergleichezwischenItemsausverschiedenenSemesterndurchführenzukönnen.Gleichzeitigkönnen auch die Prüfungsleistungen der Teilnehmer aus den verschiedenen Semestern fair und zuverlässig miteinander verglichen werden.
Joy Backhaus1, Herbert Poinstingl2, Chantal Rabe1, Sarah König1 & Eva Hennel3
1Institut für Medizinische Lehre und Ausbildungsforschung Würzburg, Deutschland2Psychologische Fakultät, Universität Wien, Österreich3Lehrklinik der Medizinischen Fakultät Würzburg, Deutschland E-Mail: [email protected], [email protected], [email protected], [email protected] & [email protected]
Wie unfair! Die neuen Prüfungsitems sind doch viel schwieriger als die alten – ein empirischer Lösungsansatz
Know
ledg
e Ca
fé 1
53
Unsere Intention im Knowledge Cafe
ImRahmendesKnowledge-CafesmöchtenwirdenTeilnehmernanbieten,primärpraktischeAspektedesAnsatzeszudiskutieren:
1. Wie viele Brückenitems benötige ich, wenn ich diesen Ansatz implementierenmöchte?
2. Wie wurde der Ansatz von den Studierenden und Prüfern aufgenommen?
3. Wie sind wir in den Folgesemestern verfahren?
Keywords:
ProbabilistischeTesttheorie,anchored-item-design,Fairness,Medizin
Quellen:
[1] Wright, B. D. (1977). Solving measurement problems with the Rasch model. Journal of Educational Measurement, 14(2), 97-116.
[2] Bond, T. G., & Fox, C. M. (2013). Applying the Rasch model: Fundamental measurement in the human sciences. Psychology Press.
Know
ledg
e Ca
fé 1
54
Die Notwendigkeit des Einsatzes elektronischer Unterstützug beim Prüfen, ergibt sich aus vielfältigen Einflüssen der Digitalisierung [1]. Damit E-Assessment in Lehre undPrüfungswesenerfolgreichimplementiertundgenutztwerdenkann,wirddessenAkzeptanzdurch Studierende vorausgesetzt. In der durchgeführten Studie zum Thema „Akzeptanzvon E-Assessment aus der Sicht von Studierenden“ im Sommersemester 2015 und Wintersemester2015/16wurdeebendieseuntersucht.
Bisher gibt es wenig Forschungsarbeiten, die Einstellung und Akzeptanz von Studierenden in Hinblick auf E-Prüfungen eingehend beleuchten. Zur Erfassung von Einstellungen sowie möglicher Bedenken und Unsicherheiten im Umgang mit E-Prüfungen wurde auf das TechnologieakzeptanzmodellvonDavis[2]zurückgegriffen.DieAkzeptanzvonTechnologienlässt sich anhand des wahrgenommenen Nutzens und der wahrgenommenen einfachen Bedienbarkeit vorhersagen. Je höher der Nutzen eines Systems sowie dessen einfache Bedienbarkeit empfunden werden, desto eher ist der/die Anwender/-in dazu bereit,die Innovation zu nutzen. Zusätzlich wurde in der Literatur nach möglichen externenEinflussfaktoren gesucht und auf den gefundenen Studienergebnissen basierend, die zuuntersuchenden Hypothesen erstellt.
Ziel dieser Studie war es, die Einstellungsakzeptanz (wahrgenommener Nutzen, wahrgenommene einfache Bedienbarkeit) von N = 521 Studierenden insbesondere auf E-Prüfungenzuerfassen.ZusätzlichwurdenEinflussfaktorenaufdieEinstellungsakzeptanzuntersucht: Geschlecht,medienbezogene Selbstwirksamkeit, Präferenz der Prüfungsform,Einschätzung der eigenen Leistung, Bedenken bei der Durchführung elektronischer Prüfungen und Prüfungsangst. Die Datenerhebung erfolgte mit Hilfe eines quantitativenOnlinefragebogensdirekt imAnschluss aneineE-Prüfung. StatistischeBerechnungen vonMittelwerten,t-TestsundVarianzanalysenerfolgtenmitHilfederStatistik-SoftwareSPSS.
Im Knowledge Café werden relevante Ergebnisse der durchgeführten Studie präsentiert:Akzeptanzwerte der Studierenden, Faktoren für die Akzeptanz von E-Prüfungen welche identifiziertwerdenkonnten,BedenkendiegegenüberE-PrüfungengeäußertwurdenundKonsequenzen welche sich daraus für Theorie und Praxis beim Einsatz von E-Prüfungen ergeben.
Die präsentierten Ergebnisse dienen der anschließendenDiskussion alsGrundlage.DabeisollenErfahrungenderTeilnehmerandererHochschulenberichtetunddiskutiertwerden.
Katja Sesselmann1, Stefanie Zepf1, Michaela Gläser-Zikuda2
1 Institut für Lern-Innovation, Universität Erlangen-Nürnberg, Deutschland2 Institut für Erziehungswissenschaft, Lehrstuhl Schulpädagogik, Universität Erlangen-Nürnberg, Deutschland E-Mail: [email protected], [email protected], [email protected]
Akzeptanz von E-Assessment aus der Sicht von Studierenden
Know
ledg
e Ca
fé 1
55
Keywords:
E-Assessment, E-Prüfung, Technologie-Akzeptanz, Studium
Quellen:
[1] Arnold P., Kilian L., Thillosen A., Zimmer G. (2013). Handbuch E-Learning – Lehren und Lernen mit digitalen Medien. Bielefeld: Bertelsmann
[2] Davis F. D. (1989). Perceived usefulness, perceived ease of use and user acceptance of information technology Source: MIS Quarterly, Vol. 13, No. 3 (Sept. 1989), pp. 319-340.
Know
ledg
e Ca
fé 1
56
DieAusbildungimFach„Statistik“umfasstnebenderVermittlunganalytischerKompetenzenauch die datengestützte Argumentation und die korrekte Interpretation statistischerBefunde.ZudemsollteeinezeitgemäßepraxisorientierteStatistikausbildungauchMethodender elektronischen Datenanalyse abdecken.
Konzipiert man die Statistikprüfung als e-Klausur, so droht einerseits die Gefahr einerReduzierung der abgeprüften Kompetenzen auf Rechenfertigkeit und die Fähigkeit zurGenerierung statistischer Resultate (nicht aber deren kritischerDiskussion, Interpretationund Reflexion). Andererseits eröffnet eine e-Klausur die Möglichkeit, zur BearbeitungderAufgabeneinschlägige Software zuzulassenundmit derAnwendungskompetenz einezusätzliche,berufsqualifizierendeFertigkeitabzuprüfen.DieArtderPrüfungsformgewinntdamiteinepotentielleRückwirkungaufLernzieleundLehrinhalte.
Im Knowledge Café wird vorgestellt, wie dieses (vermeintliche) Dilemma am Fachbereich WirtschaftswissenschaftderUniversitätBremengelöstwird:ImRahmenderelektronischenKlausurimFachStatistikwerdenhierhandschriftlichzubeantwortendeFragenindieKlausuraufgenommen.DadurchkönnenHerleitungen,InterpretationenundgrafischeIllustrationenstatistischerSachverhalteabgefragtwerden.GleichzeitigwirdderEinsatzvonMicrosoftExcelunddemfreizugänglichenProgramm„pqrs“zurBerechnungvonWahrscheinlichkeitenfürparametrische Verteilungen zugelassen. Diese Prüfungsgestaltung hat sich im langjährigen Einsatzbewährt.UmfragenundPrüfungsevaluationenzeigen,dassdasVerfahreneinehoheAkzeptanz bei den Studierenden aufweist.
GleichzeitigfordertdiesespeziellePrüfungsformaucheinenzusätzlichenRessourcenaufwand:DiemanuelleKorrekturderhandschriftlichenKlausurteile istaufwändig, fürdieÜbergabeder (Teil-)Bewertungen in das Prüfungssystem müssen Prozeduren entwickelt und laufend überprüftwerden, und um die Prüfungsmodalitäten transparent zumachen,müssen dieStudierendenanhandeiner „Probeklausur“mitdenBesonderheitenderPrüfungvertrautgemacht werden.
Im Knowledge Café wird die Prüfungsstruktur anhand entsprechender Aufgabentypen illustriert. Anschließend sollen das Konzept und mögliche Alternativen kritisch diskutiertwerden.
Martin Missong Fachbereich Wirtschaftswissenschaft, Universität Bremen, Deutschland E-Mail: [email protected]
Fragengestaltung im Fach „Statistik“
Know
ledg
e Ca
fé 2
57
Keywords:
E-Assessment, Softwaregestützte Prüfung, Kompetenzorientierung, QuantitativeMethodenausbildung
Know
ledg
e Ca
fé 2
58
Im Rahmen eines Verbundprojektes sächsischer Hochschulen zum Thema „DieWeiterentwicklung von E-Assessments für digitalisierte Hochschulen: Grundlegung undVerbreitung vonE-Assessment-Literacy“ [1]wurdeanderHTWKLeipzig imFebruar2017eine elektronische Prüfung im Modul Operations Research durchgeführt. WesentlicheKompetenzen, die es abzuprüfen galt, waren dabei Modellierungsfähigkeiten sowie mathematischeundalgorithmischeFähigkeiten.
MultipleChoiceAufgabensindnachAnsichtderAutorennurpartiellgeeignet,umverlässlichmathematische und algorithmische Kompetenzen der Studierenden abzufragen. Hierkommen eher komplexe Aufgaben zum Einsatz, die sich unter anderem dadurch auszeichnen, dasskleineFehlerinZwischenschrittenzufalschenErgebnisseninallenfolgendenSchrittenführen, obwohl letztere grundsätzlich korrekt durchgeführt wurden. Eine faire Bewertung von Studierendenleistungen verlangt, dass diese Folgefehler angemessen berücksichtigtwerden – eine Forderung, der sich natürlich auch die Bewertung einer elektronisch erbrachtenPrüfungsleistungstellenmuss.MitderONYXTestsuiteistesdurchdieKopplungan das Computeralgebrasystem MAXIMA einerseits möglich zu berechnen, ab welchem Rechenschritt eine Studierendenantwort falsch ist, und andererseits überprüfbar, ob dienachfolgenden Antworten trotzdem korrekt sind.
Die Erstellung von Aufgaben, die derartigen Anforderungen an die Berücksichtigung vonFolgefehlern genügen, verlangt nicht nur einen sehr hohen Zeitaufwand, sondern ist zudem fehleranfällig. Die naheliegende Antwort auf diese Herausforderung ist die gemeinsame Bewältigung ineinemTeamvonAutorenundGutachtern.EinFokusbeiderVorbereitungder Operations-Research-Prüfung lag daher auf der Beschreibung von Autoren- undReviewprozessen, die bei der Erstellung von Prüfungsaufgaben zu durchlaufen sind, mit der Zielsetzung, daraus Verbesserungsvorschläge für das ONYX-System abzuleiten undumzusetzen.
Am Beispiel der Operations-Research-Prüfung stellt der Vortrag den zahlreichenHerausforderungen, die mit einer elektronischen summativen Evaluierung komplexermathematischerFähigkeiteneinhergehen,Lösungsansätzegegenüber.Erzeigtdamitauf,dasselektronischesPrüfenauch innatur-und ingenieurwissenschaftlichenDisziplinenadäquatmöglich ist. Darüber hinaus wird die Notwendigkeit der Formulierung und Überprüfung von QualitätsstandardsbeiderErstellungmathematischerE-Assessmentserklärtundineinemkurzen Ausblick gezeigt, wie durch adaptivesTesteneinÜbergangzuformativenAssessmentsrealisiert werden könnte.
Benjamin Schmidt1, Martin Grüttmüller1, Jana Weigel2
1Fakultät Informatik, Mathematik und Naturwissenschaften, HTWK Leipzig, Deutschland2Fakultät für Agrarwissenschaften, Universität Göttingen, Deutschland E-Mail: [email protected], [email protected], [email protected]
Erfahrungen mit einer elektronischen Operations-Research-Prüfung mit OPAL/ONYX
Know
ledg
e Ca
fé 2
59
Keywords:
SummativesE-Assessment,mathematischeKompetenzen
Quellen:
[1] Wollersheim, Grüttmüller, Weigel, et al.: „Die Weiterentwicklung von E-Assessments für digitalisierte Hochschulen: Grundlegung und Verbreitung von E-Assessment-Literacy“ in Kawalek, J.; Hering, K. & Schuster, E. (Hrsg.): 14. Workshop on e-Learning - Tagungsband. 22. September 2016, Hochschule Zittau/Görlitz. Wissenschaftliche Berichte, Heft 129 - 2016, Nr. 2690 - 2703.
Know
ledg
e Ca
fé 2
60
ZahlreichePrüfungenbewegensichaufreproduzierendenWissens-oderAnalyseebenen[1],obwohl die avisierten Kompetenzen handelnd ausgerichtet sind. e-Prüfungen besitzen das Potential,dieZieledesConstructiveAlignment[2]realitätsnäherumzusetzen,indemhöhereTaxonomiestufen in die Prüfung integriert werden. Denn nicht nur in der Medizin ist die PrüfungpraktischerFertigkeitenmeistaufwändigenPrüfungsformatenwieOSPE(ObjectiveStructuredPracticalExamination)oderMPP(Mündlich-PraktischePrüfung)vorbehalten.Umdie zu testenden relevanten praktischen Fertigkeiten der Studierenden niederschwelligerprüfen zu können, können klassische Formate wie Mündliche Prüfungen in vielen Fächern mit entsprechend gestalteten digitalen Medien erweitert werden. Auf diesen Überlegungen bautdasKonzeptdervirtuellenDiagnostik(VD)auf.HierbeibearbeitetderPrüflinganeinemTouchscreeneinepraktischeAufgabe.DiesePrüfungsformbefindetsichseiteinigenJahreninderAnwendung[3].NunmehrinteressiertdieFrage,obPrüflingediesemMediumeherrationaloderemotionalbegegnen.
A B
Abb. 1: A: Blended Assessment in einer Mündlichen Prüfung (Szene wurde für dieses Bild nachgestellt). Der Prüfling (rechts) platziert gerade virtuelle Elektroden auf einem virtuellen
Patienten auf dem Tablet und wird dabei vom Prüfer (links) beobachtet. Foto: Mazdak Karami.
B: Bildschirmdarstellung der ersten Prüfungsaufgabe zur Platzierung der Elektroden.
Mit dieser Frage soll geklärt werden, ob die Akzeptanz des Mediums eher transient ist, d.h. momentanvoneineralsmodernempfundenenDigitalisierungswelleprofitiert,oderobsie
Michael Gundlach1, Anke Brocker1, Kim Haps1, Mazdak Karami2, Martin Baumann1
1 Lehrstuhl für Angewandte Medizintechnik, RWTH Aachen, Deutschland2 Medien für die Lehre, RWTH Aachen, Deutschland E-Mail: [email protected], [email protected], [email protected]
Blended Assessments: Wie können und warum sollten Mündliche Prüfungen mit e-Prüfungen kombiniert werden?
Know
ledg
e Ca
fé 2
61
beständigist,d.h.dasTabletalssinnvollesHilfsmitteleinenobjektivenZusatznutzenliefert.
AachenerStudierendederNatur-undIngenieurwissenschaftenmitderVertiefungMedizin,diedieMündlichePrüfungzurVeranstaltung„EinführungindieMedizin“(2SemV+P,6SWS)absolvieren, bearbeiten zum Thema Elektrokardiogramm (EKG) zwei Aufgaben auf einemTablet.ZunächstmüsseneinemvirtuellenPatientendreivonviervirtuellenElektrodenfüreinEKG(MessmethodenachEinthoven)perdrag&dropangelegtwerden(Abb.1).FolgendwirdeinervonvierzuvorfestgelegtenEKG-SchriebenzurAnalysepräsentiert(physiologischesEKG,AV-Block1.,2.,3.Grades).DerPrüflingkanninjederTeilaufgabejeweilszweimaleinedigitaleHilfestellunganfordernundzusätzlichdenEKG-SchriebmiteinemStylusdigitalmarkierenbzw.beschriften.WährendderPrüfungerfolgtdieBeobachtungdurchdenPrüfungsbeisitzu.a. hinsichtlich der Kriterien Mündliche Begründungen, Geschwindigkeit und SicherheitderHandlungen.ImAnschlussandiePrüfungwirdderPrüflingumeineSelbstauskunftzurWahrnehmung dieses Prüfungsteils gebeten.Mithilfe des User ExperienceQuestionnaire(UEQ),einemetabliertenFragebogenzurErfassungderUserExperienceeinesProdukts[4],werden die Daten zur Evaluierung der App erhoben.
ZumZeitpunktderAbstracteinreichungläuftdieErhebungnoch.ErsteAuswertungendeutenan,dassPrüflingedemdigitalerweitertenklassischenPrüfungsformatpositivbegegnenundessowohlrationalalsauchemotionalalshilfreichempfinden.
DieNutzungdigitalerMedien inMündlichenPrüfungenkannzukünftigermöglichen,einereale Situation besser abzubilden und zudem die Studierenden im Alltag, in dem dieseMedien selbstverständlich sind, abzuholen.
Keywords:
Blended Assessment, Mündliche Prüfungen, Handlungskompetenzen, user experience
Quellen:
[1] Krathwohl DR. A Revision of Bloom’s Taxonomy: An Overview. Theory Into Practice 2002, Vol. 41(4):212-218 (DOI: 10.1207/s15430421tip4104_2)
[2] Biggs J. Enhancing teaching through constructive alignment. Higher Education 1996, Vol. 32(3):347-364 (DOI: 10.1007/BF00138871)
[3] Karami M, Baumann M. Practical Testing in Oral Exams. Biomed Tech 2014; 59 (s1). (DOI 10.1515/bmt-2014-5015)
[4] User Experience Questionnaire (http://www.ueq-online.org), zuletzt aufgerufen am 06.06.2017
[5] Projekt im Rahmen der Fellowships für Innovationen in der Hochschullehre: Blended Assessments – Praktische und theoretische Fähigkeiten kombiniert prüfen (https://www.stifterverband.org/lehrfellows/2016/baumann), zuletzt aufgerufen am 06.06.2017
Know
ledg
e Ca
fé 2
62
Innovative E-Prüfungen in der Medizin mit CaseTrain
Alexander Hörnlein1, Sarah König2 1Rechenzentrum / E-Learning, Julius-Maximilians-Universität Würzburg, Deutschland2Institut für Medizinische Lehre und Ausbildungsforschung, Universitätsklinikum Würzburg, Deutschland E-Mail: [email protected], [email protected]
Mit dem E-Learning-System CaseTrain werden seit vielen Jahren auch elektronische Prüfungen durchgeführt [1] – in der Medizin bisher aber nur in Form automatischauswertbarer Papierklausuren. Für die Studiengänge Human- und Zahnmedizin wurde nun derflächendeckendeEinsatzvonreinelektronischenPrüfungenmitneuenPrüfungsformatenvorgesehen. Damit CaseTrain hier zum Einsatz kommen konnte, waren zahlreiche Anpassungen und Erweiterungen notwendig.
Infrastruktur und Organisation
Aufgrund zu kleiner Computerpools werden Prüfungen bisher mit mitgebrachten Laptops und gestellten LAN-Kabeln durchgeführt, was einen sehr hohen zeitlichen und personellen Aufwand erfordert. Um diesen zu minimieren, wurden in der Medizinischen Fakultät Prüfungen auf Tablets (Apple iPads) im WLAN der Universität mit Semesterstärke von bis zu 200Studierendenimplementiert.CaseTrainmusstehierzueinerseitssoerweitertwerden,dass die Oberfläche trotz der relativ kleinen Größe der Tablets und ausdifferenzierterPrüfungsformate inkl. Bildmaterial bedienbar ist. Zum anderen musste das Laden der Prüfungsinhalte und die Protokollierung der Ergebnisse so geändert werden, dass trotz der begrenzten Bandbreite insbesondere beim Prüfungsstart keine Verzögerungen entstehen.
Inhaltliche Anforderungen
Im Gegensatz zu Prüfungen anderer Fakultäten bestehen medizinische Prüfungenüberwiegend aus Auswahlfragen mit einem (besonders bei key feature Fällen [2])umfangreicheren Fragestamm mit ggf. Bildmaterial. CaseTrain musste hier so erweitert werden, dass die Studierenden ihre bisherige Bearbeitungsstrategie bei Papierklausuren auch im elektronischen Format anwenden können, nämlichwichtige Inhalte des Fragestamms(farbig) zumarkieren,Antwortenauszustreichenund selbstNotizenoderZeichnungen zuerstellen.
Neue Prüfungsformate
Fragesequenzen. Normalerweise können die Studierenden die Prüfungsfragen in beliebiger Reihenfolgebearbeitenunddie eigenenAntwortenbeliebig oft ändern. Für voneinanderabhängige Fragen, bei denen die Antwort auf eine Frage A durch den Fragestamm einer nachfolgenden Frage B verraten wird, musste CaseTrain so erweitert werden, dass eine solche Frage A nur einmal beantwortet werden kann, und dass die zugehörige Frage B erst nach Beantworten der Frage A sichtbar wird.
Know
ledg
e Ca
fé 2
63
Bilder. Ein durch elektronische Prüfung sehr viel eleganter umsetzbares Format sind Fragen zu Bildern, die bisher entweder aufwändig als Farbausdrucke ausgeteilt oder im Wechsel projiziert wurden. Für die bessere Auswertung von Bildern wurde eine komfortable Lupenfunktiongeschaffen.
Auswahlfragen/Bewertungen. CaseTrain wurde um die Unterstützung für kprim-Fragen [3], neue Auswertungsschemata und dieMöglichkeit, pro Frage das Auswertungsschemafestzulegen, erweitert.
Evaluation
Im Wintersemester 16/17 wurden bereits drei Prüfungen durchgeführt. DieAuswertung der Online-Umfragen mit Rücklaufquoten über 75% gaben Hinweise auf Verbesserungsmöglichkeiten, die bereits im Verlauf dieser Prüfungen umgesetzt werden konnten.SowurdedasItem„DieAusgabederiPadsverliefproblemlos“indererstenPrüfungnochdurchschnittlichmit „triffteher zu“bewertet, inderdritten schonmehrheitlichmit„trifftvollzu“.
Diskussion und Ausblick
Die Tablet-Prüfungen in der Medizin fanden eine hohe Akzeptanz bei den Studierenden. Die Durchführbarkeit in einer großen Semesterkohorte konnte unter Beweis gestellt werden. Die Anzahl der Prüfungen wird nun bis zum Vollausbau sukkzessive erhöht. Für die nächsten Prüfungen wurde vor allem das Inhaltsverzeichnis im Prüfungsplayer mit dem BearbeitungszustandderFragenklarergestaltetundmitFilterfunktionenversehen,sodassgezielter zu noch unbeantworteten oder markierten Fragen navigiert werden kann. Nicht zuletztwurdeeindringendbenötigtesFeatureimplementiert,umdieStudierendeninderZeit zwischen Beendigung ihrer Prüfung und dem Ende der allgemeinen Prüfungszeit zu beschäftigen:Spiele.
ImRahmendesKnowledgeCaféisteineDemonstrationdesSystemssowohlausSichtderPrüfendenalsauchausSichtderPrüflingegeplant,diebenötigteniPadswerdengestellt.
Quellen:
[1] Hörnlein A, Pearson K, Puppe F, Scheuchenpflug R, Tscherner M (2015). Summative elektronische Prüfungen an der Universität Würzburg mit CaseTrain. In: e-Prüfungs-Symposium ePS, 18. – 19. November 2015, Paderborn
[2] Page G, Bordage G, Allen T (1995). Developing key-feature problems and examinations to assess clinical decision-making skills. Academic Medicine
[3] Krebs R (2004). Anleitung zur Herstellung von MC-Fragen und MC-Prüfungen für die ärztliche Ausbildung. Institut für Medizinische Lehre IML, Universität Bern
Know
ledg
e Ca
fé 2
64
Julia Finken1, Philipp Krieter1, Benjamin Weyel2
1 Institut für Informationsmanagement Bremen GmbH, Universität Bremen, Deutschland2 Institut für musikpädagogische Forschung, Hochschule für Musik, Theater und Medien Hannover, Deutschland E-Mail: [email protected], [email protected], [email protected]
E-Assessment im Musikunterricht
Das Projekt ”PosyMus – Potenziale von Feedbacksystemen im Musikunterricht” befasst sich mit Kompetenzmessungen im Musikunterricht sowie der Ergebnisrückmeldung an Lehrkräfte. Die Messung von Musikkompetenzen mittels computerbasierter Tests hatinsbesondere in den musikpraktischen Teilkompetenzen – in Anlehnung an [6] und [7]habenwir uns auf die curricularen Bereiche „Musikwahrnehmenund kontextualisieren“sowie„Musikpraxis“konzentriert–besondere fachspezifischeAnforderungen.GeradedieMessung von rhythmischen und tonalen Kompetenzen setzt neuartigemultimediale undinteraktive Testitems und Visualisierungen voraus [4]. Neben denHerausforderungen beider Itemkonzeption und -entwicklung (vgl. Abb. 1) ist auch die geeignete Visualisierungder Kompetenzmessdaten hinreichend komplex. Für musikpraktische Eingaben müssenbesondere Auswertungs- und Visualisierungsstrategien gefunden werden, um sonst nur auditiv erfassbare und flüchtige Informationen in einem elektronischen Feedbacksystemgewinnbringend abbilden zu können. Hieraus ergibt sich die Notwendigkeit einer engen ZusammenarbeitzwischenMusikpädagogInnenundInformatikerInnen.
Abb. 1: Musikpraktisches Testitem des PosyMus Testsystems
Das Forschungsprojekt legt den wissenschaftlichen Fokus auf die Untersuchung derMöglichkeiten des Feedbacks aus musikbezogenen Kompetenzmessungen. Dabei ist die Frage,wiedieDarstellungderDatensowiedesInteraktionsdesignsgestaltetseinmüssen,damitLehrkräftedieErgebnissefürFörderungundUnterrichtsentwicklungnutzenkönnenvonzentralerBedeutung.ZudemwerdenHaltungenundBeliefsderLehrkräftezudigitalenMedien, E-Assessment und schulischer Datennutzung untersucht. In welcher Weise
Post
er
65
KompetenzmessdatenfürDiagnoseundFörderungimSinneeinesformativenAssessment[5]genutztwerdenkönnte,wirdebenfallsüberprüft.
Um sich ein Bild von diesen Haltungen und Beliefs sowie möglichen Nutzungsszenarien schaffen zu können, hat das Forschungsteam qualitative Interviews, angelehnt an dieGrounded Theory [1] Methodologie geführt. Um geeignete Darstellungsformen derMusikkompetenzdaten zu finden, wurde das Feedbacksystem mithilfe der Lehrkräfte inAnlehnung an den User Centered Design Prozess [2][3] in mehreren Iterationsschrittenentwickelt und durch Usabilitytests evaluiert.
Die Interviewauswertung dauert noch an, es zeichnet sich bisher ab, dass die Einstellung zu digitalen Medien im Allgemeinen eng mit der Akzeptanz von E-Assessment zusammenhängen würde. Die bisherigen Usabilitytests mit Lehrkräften ergaben ein positives Bild, dasentwickelte System scheint geeignet, um musikbezogene Kompetenzmessdaten abzubilden und diese verstehen und nutzen zu können.
Um das System in den Schulalltag zu integrieren, wäre es notwendig, auf der einen Seite die generelle Akzeptanz zur digitalen Kompetenzmessung im Musikunterricht und auf der anderen Seite die technischen Voraussetzungen durch ein geeignetes Test- und Rückmeldesystemzuschaffen.
Keywords:
E-Assessment, Kompetenzmessung, Musikunterricht, elektronische Rückmeldesysteme
Quellen:
[1] Strauss, A., Corbin, J. (2010). Grounded Theory: Grundlagen qualitativer Sozialforschung. Weinheim, Beltz.
[2] Nielsen, J. (1993). Usability Engineering. Morgan Kaufmann, San Francisco.
[3] Abras, C., Maloney-Krichmar, D., Preece, J. (2004). User-centered design. In: W. Bainbridge (Hrsg.), Encyclopedia of Human-Computer Interaction, 37 4. S. 445–456. Thousand Oaks: Sage Publications, London.
[4] Finken, J., Marx, F., Meyer, M., Krieter, P., Breiter, A. (2017). Entwicklung und Durchführung computerbasierter Tests zur Messung von Musikkompetenzen. In: Proceedings of DeLFI 2017 - Die 15. E-Learning Fachtagung Informatik der Gesellschaft für Informatik e. V., (in Veröffentlichung).
[5] Fautley, M. (2010). Assessment in music education. Oxford, Oxford University Press.
[6] Hasselhorn, J. (2015): Messbarkeit musikpraktischer Kompetenzen von Schülerinnen und Schülern: Entwicklung und empirische Validierung eines Kompetenzmodells. Waxmann, Münster.
[7] Jens Knigge. (2011). Modellbasierte Entwicklung und Analyse von Textaufgaben zur Erfassung der Kompetenz „Musik wahrnehmen und kontextualisieren“. Berlin, LIT.
Post
er
66
Das interdisziplinäre Verbundprojekt „Computerbasiertes adaptives Testen imStudium – CaTS“ verfolgt das übergreifende Ziel, traditionelle Assessmentverfahren imHochschulkontextinRichtungcomputerbasiertesadaptivesTesten(CAT)weiterzuentwickeln.Im CaTS-Verbundprojekt soll dies durch die Entwicklung eines computerbasierten adaptiven Testverfahrens, welches im Semesterverlauf formativ in zwei Disziplinen(Bildungswissenschaften und Informatik) eingesetzt werden soll, erreicht werden.Darüber hinaus sollen Empfehlungen zum Einsatz formativer und summativer „CATs“im Hochschulkontext erarbeitet werden. Die rasche Durchführung und die objektiveAuswertung computerbasierter Assessments sind nur einige Vorteile dieser Verfahren, wie auchdieMöglichkeitzurUmsetzunginnovativerAufgabenformateundzurkontinuierlichenAnalyse von Aufgaben über Kohorten hinweg [4]. Dabei bieten computergestützteAssessments auch dieMöglichkeit, adaptives Testen im Hochschulkontext zu realisieren.Beim computerbasieren adaptiven Testen [3] orientiert sich die Auswahl vorgelegterAufgaben direkt am Antwortverhalten der Studierenden. Es wird dadurch vermieden, dass Studierende mit hoher/niedriger Kompetenz wiederholt zu leichte/schwere Aufgabenbearbeiten müssen.
Abb. 1: Beispiel für verschiedene Wege in einem adaptiven Test (in Anl. an [5])
Holger Horz1, Detlef Krömker1, Frank Goldhammer2,3, Daniel Bengs2, Sabine Fabriz1, Florian Horn1, Ulf Kröhne2,Paul Libbrecht2, Jana Niemeyer1, Daniel Schiffner1, Alexander Tillmann1, S. Franziska C. Wenzel11Goethe-Universität Frankfurt am Main (GU),2Deutsches Institut für Pädagogische Forschung (DIPF)3Zentrum für internationale Bildungsvergleichsstudien (ZIB)E-Mail (Koordination): [email protected]
Computerbasiertes adaptives Testen im Studium – CaTS
Post
er
67
Zwar ist adaptives Testen im deutschen Hochschulkontext bislang wenig verbreitet, esliegen aber nutzbare Erfahrungen aus anderen Ländern [1] vor. Auch zeigt sich, dasscomputerbasierteadaptiveTestsvonStudierendenalsangenehmeralsPapier-und-BleistiftKlausurenwahrgenommenwerden[2].ÜberdieVerwendungvonMessmodellenderItem-Response-Theorie (IRT)wirdauchbeiadaptiverAufgabenauswahlein fairerVergleichvonStudierendenleistungen ermöglicht.
Im Projekt verfolgte Forschungsfragen sind:
1. Lässt sich erstens ein CAT mit zugrundeliegender Itemdatenbank und Metadatenverwaltung entwickeln, der Lehrveranstaltungen unterschiedlicher DomänenundunterschiedlicherLehrendersummativundformativabbildenkann?
2. Zeigt die formative Durchführung des entwickelten Tests mit lernförderlichenRückmeldungen die erwarteten positiven Effekte für Studierende (z.B. auf dieLernmotivation)?
3. Lässt sich aus den Projektergebnissen und einer prüfungsrechtlichen Beratung eine ModellösungfürrechtssicheresadaptivessummativesTestenanderHochschuleableiten?
Für disziplinen- und hochschulübergreifende Ergebnisse arbeitet CaTS mit zwei Beispieldisziplinen (Bildungswissenschaften und Informatik) und zugleich in Kooperationmit verschiedenen Hochschulstandorten: den Hochschulen Rhein-Main und Fulda sowie den Universitäten Bielefeld und Hamburg. Als Projektergebnisse werden die Vernetzung von Lehrenden und Standorten in gemeinsamen Domänen in der Erstellung und Nutzung gemeinsamerAufgabenpools,eingeprüfterCaTS-Test,dernachProjektendeauchfürweitereDomänenadaptierbarseinsoll,sowieEmpfehlungenzumEinsatzformativerundsummativerCATsimHochschulkontextunterBerücksichtigungvonForschungsstand,Projektergebnissenund prüfungsrechtlicher Begutachtung erwartet.
Keywords:
E-Assessment,adaptivesTesten,Diagnostik
Quellen:
[1] Lilley, M. (2007). The development and application of computer-adaptive testing in a higher education environment (Dissertation Thesis). School of Computer Science, Faculty of Engineering and Information Sciences, University of Hertfordshire.
[2] Maravić Čisar, S., Čisar, P. & Pinter, R. (2016). Evaluation of knowledge in object oriented Programming course with computer adaptive tests. Computers & Education, 92-93, 142–160.
[3] Meijer, R. R. & Nering, M. L. (1999). Computerized adaptive testing: Overview and introduction. Applied Psychological Measurement, 23, 187-194.
[4] Michel, L.P. & Görtz, L. (2015). Digitales Prüfen und Bewerten im Hochschulbereich. Gütersloh: CHE Centrum für Hochschulentwicklung.
[5] Talent Q (2017). https://www.trytalentq.com/about-talent-q/ (Stand 29.06.2017)
Post
er
68
InschulischenLehr-Lern-SettingssinddigitaleMedienkaummehrwegzudenken.Spätestensseit Smartphone und Tablet die breite Masse der Schüler*innen erreicht haben, bieten sich vielfältige ergänzende Möglichkeiten der inhaltlich-didaktischen Gestaltung vonLernarrangements.AllerdingsverändernsichmiteinerqualitativhochwertigenAnreicherungderLehreumdigitaleElementeauchdieAnforderungenandieLehrkräfteerheblich,diesverbunden mit curricularen Folgewirkungen für das Studium angehender Pädagog*innen. Wenngleich nun die Förderung von eKompeten zen in dieser Zielgruppe nach Beschluss der KultusministerkonferenzbereitseinenwesentlichenBestandteiluniversitärerAusbildung[1]darstellt, sind selbstverständlich nicht alle Studierenden gleichermaßen medienkompetent und -affin.Medienbildung an Hochschulen beinhaltet insofern zum einen die Förderungmediendidaktischen Wissens (unter Berücksichtigung der fachdidaktischen Perspektive),zum anderen jedoch auch und zuvorderst die Förderung der Fähig keiten zur Nut zung digitaler Technologien. Ausgangspunkt hierfür sind die diesbezüglich differenten Vorerfahrungen,Einstellungen und Erwartungen der Studierenden für die Entwicklung und Etablierung angemessenerzielgruppenspezifischeAngebote.
DiesenÜberlegungenundbereitsvorliegendenEvaluationsergebnissenamABPädagogischePsychologiefolgend,wurdeaufderFolieeinesdynamisch-transaktionalenParadigmas[u.a.2,3]dasLehrveranstaltungs-undPrüfungskonzeptfüreinModuldesProfilierungsbereichsan der Universität Vechta entwickelt. Die als Blended-Learning-Veranstaltung konzipierten SeminareofferierendabeidenLernendenAngeboteaufunterschiedlichenNiveaustufen.InAn leh nung an die Forderungen des Europäischen Referenzrahmens für Schlüsselkompetenzen deslebenslangenLernenssollendieStudierendenbefähigtwerden,„Hilfsmittelzubenutzen,um komplexe Informationen zu produzieren, zu präsentieren und zu verstehen“[4],ferner soll eine „kritische und reflektierende Einstellung gegenüber den verfügbarenInformationen“ [ebd.]gefördertwerden.DieVerbindungdigitalerundklassischerMediensowie der Einsatz aktivierenderMethoden werden über den Semesterverlauf analysiert,wobei Tools zur Konzipierung von Ablaufplänen und einzel nen Lehreinheiten erörtert, zudem dieErgebnisseundLernfortschrittedereinzelnenVeranstaltungenvondenStudierendenineinemePortfoliofestgehaltenwerden.DiePrüfungsleistungbeinhaltetmehrereaufeinanderbezogeneTeilezudiversenKomponentenderMedienkompetenzund-didaktik,dazuzähltauchdieErstellungeinesLehr-Lern-VideosmitanschließenderPräsentationundReflektion.
Die zentralen Ergebnisse dieses Projektes (im Fokus stehen dabei die studentischenVideos, das Peer-Assessment und die Lehrveranstaltungsevaluation) sollen im Rahmendes Posterbeitrags vorgestellt und in den aktuellen Forschungsstand eingeordnet werden, ImplikationenfürdieweitereArbeitsollendenBeitragkomplettieren.
Martin K.W. Schweer1, Yvonne Friederich2
1AB für Pädagogische Psychologie, Universität Vechta2 AB für Pädagogische Psychologie, Universität Vechta E-Mail: [email protected], [email protected]
Studentische Lehr-Lern-Videos als Basis für kompetenzorien tierte Prüfungs-formen in der Medienbildung angehen der Pä dagog*innen
Post
er
69
Keywords:
E-Assessment, Lehr-Lern-Videos, eKompetenzen
Quellen:
[1] https://www.kmk.org/fileadmin/Dateien/pdf/PresseUndAktuelles/2016/Bildung_digitale_Welt_Webversion.pdf, zuletzt abgerufen am 19.05.2017
[2] Mischel, W. (2004). Toward an Integrative Science of the Person. Annual Review of Psychology 55, S. 1-22
[3] Schweer, M., Siebertz-Reckzeh, K. & Lachner, R. (2012). Hybride Lernarrangements aus differentiell-psychologischer Perspektive. In M. Schweer (Hrsg.), Medien in un serer Gesellschaft. Chancen und Risiken (S. 185-202). Frankfurt a. M.: Peter Lang.
[4] http://www.kompetenzrahmen.de/files/europaeischekommission2007de.pdf, zu letzt abgerufen am 19.05.2017
Post
er
70
Im Freistaat Sachsen hat sich seit 2014 ein offenes, hochschulübergreifendes Netzwerkzum E-Learning-Einsatz im Fachbereich Mathematik/Physik mit Fokus auf E-Assessmentgebildet.GemeinsamwurdendiegenutztenSoftwaresystemeOPALundONYXhinsichtlichAufgabenverwaltung, -erstellung sowie der Testdurchführung und -auswertung weiterentwickelt, um komplexe, mathematische Fragestellungen generisch abbilden zukönnen.GrundlagebildetdieAnbindungandasComputer-Algebra-SystemMAXIMA,sowieMechanismen zum Einsatz von Variablen in generischen Aufgabentemplates, welche die Aufgabengenerierung für jeden Testversuch und Teilnehmer zur Laufzeit ermöglichen.
Abb.1: Aufgabenbeispiel vom Typ Formelvergleich mit zur Laufzeit generierter Grafik und Lösung
Um einen breiten Einsatz über verschiedene Zielgruppen, Studiengänge und Fachsemester von E-Assessments in der Mathematik formativ und summativ erreichen zu können, istein großer Fundus an qualitativen Aufgaben erforderlich. Daher wurde im Netzwerk einhochschulübergreifender Aufgabenpool für den Fachbereich Mathematik initiiert. Dieserumfasst aktuell über 2.000 parametrisierte Aufgaben aus zahlreichen mathematischenTeilgebieten.AnderErstellungbeteiligensich30aktiveAutor/innenaus fünf sächsischenUniversitäten und Fachhochschulen. Die kooperative Erstellung der E-Assessment-Inhaltedurch ein Netzwerk an Fachexperten, der Austausch zu den Realisierungsmöglichkeiten, bis hinzumgegenseitigenReviewermöglicheneinenbreitgefächertenBestandanqualitativenAufgaben.DerAufgabenpoolistdieGrundlagefürverschiedeneVor-undBrückenkurse,eineVielzahl an Online-Self-Assessments und Prüfungsvorleistungen sowie für Abschlusstests.
Markus Seidel1, Yvonne Winkelmann2
1Fakultät Physikalische Technik/Informatik, Westsächsische Hochschule Zwickau, Deutschland2BPS Bildungsportal Sachsen GmbH, Deutschland E-Mail: [email protected], [email protected]
MathOER: Offener Aufgabenpool Mathematik
Post
er
71
Abb.2: Aufgabenpool Mathematik: Thematische Verteilung der Aufgaben inkl. Hochschulmitwirkung
Alle Inhalte liegen im XML-basierten E-Assessment-Standard IMS Question Test and Interoperability (QTI) vor. Der Einsatz des offenen, international anerkannten Standardsermöglicht den Austausch der Inhalte mit anderen Systemen und im Besonderen die einfacheKonvertierungvonundinandereFormate.SokönnendieTestinhaltebeispielsweiseaufeinfacheWeisealsPDFexportiertfürPapierklausureneingesetztwerden.VerschiedeneImportmöglichkeiten unterstützen die Übernahme bestehender Inhalte oder die schnellere Erfassung von Aufgabeninhalten (bspw. LaTeX-Import).
NächsterSchrittdesNetzwerkesistderAusbauunddieweitereÖffnungdesAufgabenpoolssowie die Erschließung neuer Möglichkeiten, mit besonderem Fokus auf adaptiveTestszenarien und individuelle Feedbackprozesse. Im Sinne des Constructive Alignmentsoll eine stärkereKopplungder Lehr-und LernprozessemitdenE-Assessment-Aktivitätenerreicht werden.
Um die Öffnung des Aufgabenpools in Form eines OER-Stores zu erreichen, wurden ineinemKooperationsprojektbereitsdienotwendigenProzesseundRahmenbedingungenzurkooperativenInhaltspflegeermittelt,welchenunschrittweiseoptimiertundrealisiertwerdensollen. Ein wesentlicher Fokus liegt dabei auf den rechtlichen Rahmenbedingungen, wie der Lizenz- und Autorenkennzeichnung, sowie auf Community-Funktionen, um kooperativeReview- und Feedbackprozesse zur Qualitätsanalyse und Verbesserung zu erreichen.
Keywords:
E-Assessment,Aufgabenpool,OER,mathematischeAssessments
Quellen:
[1] Potts D., Winkelmann Y. (2015): Aufbau eines Elektronischen Übungs- und Bewertungstools für die Mathematikausbildung in MINT-Fächern (ELMAT) – Etablierung eines hochschulübergreifenden Aufgabepools zur Unterstützung der Selbstlernphasen in der Studieneingangsphase, GMW 2015
Post
er
72
Im Zuge einer zunehmenden Digitalisierung [1] sind immer mehr Lerninhalte auch imInternet verfügbar. Dies gilt auch für Seminare bzw. Kurse („MOOCS)“ zum Erlernen vonProgrammiersprachen.Beispieldafür sindz.B.CodeScape [2]oderOpenHPI [3].DanebenexistierenähnlichePlattformen,diejedochwenigerdieVermittlungvonFertigkeitenzumZielhaben,sonderndenWettstreitmitandrenTeilnehmern.BeispielehierfürsindCodinGame[4]undCodewars[5].
DieIdeehintersolchenPlattformenistgrundsätzlichdieselbe:EinUserkannperBrowsereinProgramm entwickeln, welches dann an einen Server gesendet und dort kompiliert wird. Die AusgabedesProgrammsbzw.eventuellauftretendeFehlermeldungenwerdendannandenUserzurückgeschicktundimBrowserdargestellt.UmdasProgrammnichtnuraufsyntaktischeKorrektheit zu überprüfen, sondern dessen Funktionsweise ebenfalls zu verifizieren,wirddasProgrammaufdemServermitvorbereitetenTestdatengestartetundüberprüft,obdasgewünschteErgebnisproduziertwird.JenachZielsetzungdesKurseswerdenInformationenüber das Verhalten des Programms in Bezug auf die Testdaten in unterschiedlichen DetailgradenandenBenutzerzurückgegeben.Dabeiwerdendie Informationenteilsnochaufbereitet,umbeispielsweiseHilfestellungbeiderLösungvorhandenerProblemezugeben.
Im Unterschied zu einer herkömmlichen Programmierumgebung ist es in diesen Systemen jedoch nicht möglich, den Programmlauf im Detail zu analysieren. Es können weder Haltepunktegesetztwerden,nochderProgrammablaufschrittweisenachvollzogenwerden.Diese Funktionalität ist zwar teilweise in webbasierten Anwendungen nutzbar, dort liegtderFokusaberhauptsächlichaufProgrammiersprachenwieCundC++(mittelsgdbserver[6])oderaufSkriptsprachenwiePHPoderPython(mittelsxdebug[7]oderBibliothekenwieremote-pdb [8]).TrotzderweitenVerbreitung Javas [9],gerade imHochschulumfeld [10][11],gibtesunseresWissensnureinePlatform,diedieseMöglichkeitfürJavabietet,nämlichEclipse CHE [12]. Obwohl quelloffen, müsste zur Nutzung dieser Funktionalität in einereigenen Anwendung die Anbindung des Java-Debuggers aus dem Sourcecode von Eclipise CHEextrahiertundindieeigeneAnwendungportiertwerden.DahersollinunseremProjekteine Bibliothek entwickelt werden, welche die Funktionalität von Eclipse CHE adaptiert.Analog zum Vorbild teil sich die Bibliothek in zwei Komponenten auf: ein Client, der im Browser ein User Interface bereit stellt, und ein Server, der übertragenen Sourcecode in einemDocker-ContainerstartetundentsprechendeInformationenandenClientzurückgibt.DieKommunikationzwischendenbeidenKomponentenerfolgtübereineREST-Schnittstelle.
Richard Zameitat1, Bastian Küppers1,2
1 IT Center, RWTH Aachen, Deutschland2 Learning Technologies Research Group, RWTH Aachen, Deutschland E-Mail: {zameitat, kueppers}@itc.rwth-aachen.de
JDB – Eine Bibliothek für Java-Debugging im Browser
Post
er
73
Keywords:
Java, Debugger, Webservice, REST, Docker
Quellen:
[1] Hochschulforum Digitalisierung, „The Digital Turn - Hochschulbildung im digitalen Zeitalter. Arbeitspapier Nr. 27.,“ Hochschulforum Digitalisierung, Berlin, 2016.
[2] RWTH Aachen University, „Codescape,“ Medien für die Lehre, 2016. [Online]. Available: https://codescape.medien.rwth-aachen.de/. [Accessed 13 Juni 2017].
[3] Hasso-Plattner-Institut, „openHPI,“ Hasso-Plattner-Institut, 2013. [Online]. Available: https://open.hpi.de/. [Accessed 13 Juni 2017].
[4] CodinGame, „CodinGame,“ CodinGame, 2016. [Online]. Available: https://www.codingame.com/. [Accessed 13 Juni 2017].
[5] Codewars, „Codewars,“ Codewars, 2014. [Online]. Available: https://www.codewars.com/. [Accessed 13 Juni 2017].
[6] R. Stallman, R. Pesch and S. Shebs, „Debugging with GDB,“ 2002. [Online]. Available: http://ftp.gnu.org/old-gnu/Manuals/gdb-5.1.1/html_node/gdb_130.html. [Accessed 14 Juni 2017].
[7] D. Rethans, „Xdebug,“ 2017. [Online]. Available: https://xdebug.org/. [Accessed 14 Juni 2017].
[8] Python Software Foundation, „remote-pdb 1.2.0,“ 2015. [Online]. Available: https://pypi.python.org/pypi/remote-pdb. [Accessed 14 Juni 2017].
[9] TIOBE, „TIOBE Index,“ 2017. [Online]. Available: https://www.tiobe.com/tiobe-index/. [Accessed 14 Juni 2017].
[10] B. Chalk and K. Fraser, „A Survey on the teaching of introductory programming in Higher Education,“ Februar 2006. [Online]. Available: https://pdfs.semanticscholar.org/6f3c/7bf141cd75e5b91dedef0ecc8a872ee92afc.pdf. [Accessed 14 Juni 2017].
[11] V. Aleksić and M. Ivanovic, “Introductory Programming Subject in European Higher Education,” Informatics in Education, pp. 163-182, September 2016.
[12] Eclipse Foundation, “Eclise CHE,” 2017. [Online]. Available: http://www.eclipse.org/che/. [Accessed 14 Juni 2017].
Post
er
74
Danksagung
OrganisationundDurchführungdes4.E-Prüfungs-SymposiumwärenohnedieHilfeund das Engagement vieler begeisterungsfähiger Menschen nicht möglich gewesen. Unser besonderer Dank gilt unseren Veranstaltungspartnern von der RWTH Aachen und von e-teaching.org, den Reviewerinnen und Reviewern, den Moderatorinnen und Moderatoren sowie natürlich allen, die (davon gehen wir aus) das Symposium durcheigeneBeiträgeoderdieaktiveTeilnahmeanDiskussionenundWorkshopszu einer spannenden und abwechslungsreichen Veranstaltung machen werden. Unseren Sponsoren und Ausstellern sowie der Universität Bremen ist für Ihre großzügige finanzielle Unterstützung zu danken. Nicht zu vergessen sind unserestudentischenHilfskräfte–dengutenGeisternimHintergrundderTagung.
LastbutnotleastdankenwirdemZMML-Team,dasvollzähligfürdasePSverhaftetwurde und sich mit großem Engagement in die Arbeit gestürzt hat.
ImNamendesOrganisationsteams
Jens Bücking
75
KONTAKTDr. Jens BückingZentrum für Multimedia in der Lehre (ZMML)[email protected]://www.e-pruefungs-symposium.de
Wir danken für die Unterstützung durch:
D i g i t a l A s s e s s m e n t