troels endelig 2018.06.17 peergrade lom flat templated · læringsmålene opnås bedst muligt...
TRANSCRIPT
RoskildeUniversity
Formativ evaluering med IT-systemet PeergradePotentialer og begrænsninger i universitetsundervisning
Bertel, Troels Fibæk; Bentzen, Tina Øllgaard
Published in:Læring og Medier (LOM)
DOI:10.7146/lom.v10i18.103307
Publication date:2018
Document VersionOgså kaldet Forlagets PDF
Citation for published version (APA):Bertel, T. F., & Bentzen, T. Ø. (2018). Formativ evaluering med IT-systemet Peergrade: Potentialer ogbegrænsninger i universitetsundervisning. Læring og Medier (LOM), 10(18), 1-22.https://doi.org/10.7146/lom.v10i18.103307
General rightsCopyright and moral rights for the publications made accessible in the public portal are retained by the authors and/or other copyright ownersand it is a condition of accessing publications that users recognise and abide by the legal requirements associated with these rights.
• Users may download and print one copy of any publication from the public portal for the purpose of private study or research. • You may not further distribute the material or use it for any profit-making activity or commercial gain. • You may freely distribute the URL identifying the publication in the public portal.
Take down policyIf you believe that this document breaches copyright please contact [email protected] providing details, and we will remove access to thework immediately and investigate your claim.
Download date: 12. Oct. 2020
Læring & Medier (LOM) – nr. 18 - 2018 ISSN: 1903-248X
http://www.lom.dk 1
Formativ evaluering med IT-systemet Peergrade – Potentialer og begrænsninger i universitetsundervisning
Troels Fibæk Bertel Adjunkt, Ph.d. Kommunikation, Institut for Kommunikation og Humanistisk Videnskab, Roskilde Universitet
Tina Øllgaard Bentzen Postdoc, Ph.d. Roskilde School of Governance, Institut for Samfund og Erhverv, Roskilde Universitet
Læring & Medier (LOM) – nr. 18 - 2018 ISSN: 1903-248X
http://www.lom.dk 2
Resumé/Abstract Dereridesenereårkommetetøgetfokuspåværdienafformativevalueringpåuniversiteterne,mendettetiltrodsevalueresdestuderendespræstationerfortsatovervejendesummativtgennemeksaminer.Nyeonlinelæringssystemer,sombl.a.slårsigoppåatkunnestyrkefeedbacktildestuderendeogspareressourcerforunderviseren,syneslovendeiforholdtilatunderstøtteformativevaluering.Denneartikelundersøgerpotentialerogbegrænsningervedatanvendeetsystemafdennetype,Peergrade,tilformativevalueringiuniversitetsundervisning.Metodiskerartikleninspireretafaktionsforskningogbaseretpåetkomparativtcasestudie,hvorPeergradeafprøvesogevaluerespåtohumanistiskeogsamfundsfagligeuniversitetskurser.Påbaggrundafafprøvningenkonkludererartiklen,atdereretpotentialeknyttettilbrugenafPeergrade,derdelskanafhjælpenogleafdelogistiskeudfordringer,derkanværeforbundetmedfeedbackprocesser,ogdelskanunderstøttelæringgennembrugenafformativevalueringunderanvendelseafpeer-feedbackogrubrics.Samtidigpegerstudietpå,atbrugenafsystemetkræverenstørreinvesteringafressourceriplanlægning,faciliteringogkoordineringfor,atdestuderendefårudbytteafforløbet.
Althoughformativeassessmentinuniversityteachinginrecentyearshasreceivedincreasingattention,studentperformanceispredominantlyevaluatedusingsummativeevaluation.Newonlinetechnologies,whichpromisetofacilitatepeer-feedbackprocessesinteachingandsaveteacherstimeandresourcesotherwisespentgivingfeedbacktostudents,seempromisingforsupportingformativeassessment.Thisarticleexaminesthepotentialsandlimitationsofusingonesuchsystem,Peergrade,forformativeassessmentinuniversityteaching.Inspiredbyactionresearch,thearticlepresentsacomparativecasestudy,whereformativeassessmentusingPeergradeisimplementedandevaluatedintwouniversitycoursesinthehumanitiesandsocialsciences.ThearticleconcludesthatPeergradehasapotentialforovercomingsomeofthelogisticalchallengesofhandlingpeer-feedbackprocessesandforimprovinglearningthroughtheuseofrubricsandpeer-feedback.Thestudyindicates,however,thatimplementingsuchprocesses,demandsanon-trivialinvestmentofresourcesintermsofplanning,facilitationandcoordinationifstudentsaretobenefit.
Læring & Medier (LOM) – nr. 18 - 2018 ISSN: 1903-248X
http://www.lom.dk 3
Indledning DereroverdesenereårudvikletenrækkeforskelligeonlineIT-systemertilunderstøttelseafpeer-feedback-processeriuniversitetsundervisning.EtrelativtnytskudpåstammeneridennesammenhængPeergrade(www.peergrade.io),somerudvikletpåDanmarksTekniskeUniversitet(DTU),ogsomnetopnugørsitindtogpålandetsuniversiteter.ViafprøveridenneartikelPeergradepåtohumanistiskeogsamfundsfagligekandidatkurserpåRoskildeUniversitet,hvorprogrammetforsøgesanvendttilunderstøttelseafformativevaluering(påengelsk”formativeassessment”)—dvs.tilenbedømmelse,derforetagesiløbetafundervisningen,oghvisresultaterbrugestilatjustereundervisnings-oglæringsaktiviteter,sålæringsmåleneopnåsbedstmuligt(Black&William,1998a,1998b;Heritage,2010;Heritage&Stigler,2010).Dettegørvi,fordidenfremherskendesummativeevalueringformiuniversitetsundervisningen(hvordestuderendespræstationprimærtevalueresvedafsluttendeeksaminer)kankritiseresforatføretiluhensigtsmæssigelæringspraksisserogresultater(Gibbs,1999;Gibbs,Simpson,Gravestock,&Hills,2004),mensformativevalueringfremhævessomenmetode,derbedreunderstøtterlæring,nårformativebedømmelserkombineresmedkonstruktiv(peer)feedback(Black&William,1998a,1998b;Gibbsetal.,2004).DaPeergradenetopfokusererpåatfaciliterepeer-feedback,synesanvendelsenafsystemetiforbindelsemedformativevalueringumiddelbartlovende;detteunderstøttesendvidereogsåaftidligereforskning,derviseratonlineværktøjerkanværefremmendeforlæring,nårdekombineresmedformativevaluering(Gikandi,Morrow,&Davis,2011).Vispørgerderforiartiklen:”MedhvilkepotentialerogbegrænsningerkanPeergradeanvendestilformativevalueringiuniversitetsundervisningen?”
Formativ evaluering AfprøvningenafPeergradevilidenneartikelindgåisammenhængmedformativevaluering,hvorforviherkortdefinererdennerammesætning.Black&William(1998b)definererformativevalueringpåfølgendemåde:
“Weusethegeneraltermassessmenttorefertoallthoseactivitiesundertakenbyteachers—andtheirstudentsinassessingthemselves—thatprovideinformationtobeusedasfeedbacktomodifyteachingandlearningactivities.Suchassessmentbecomesformativeassessmentwhentheevidenceisactuallyusedtoadapttheteachingtomeetstudentneeds”.
IfølgeGibbsm.fl.erdenudbredteanvendelseafsummativevalueringiuniversitetsundervisningproblematisk,idetdenrisikereratunderstøtteenlæringiselvedetatbeståeksamenersnarereendatmestreindholdetietgiventlæringsforløb(Gibbs,1999,p.42),ligesomdenkanmedføreen
Læring & Medier (LOM) – nr. 18 - 2018 ISSN: 1903-248X
http://www.lom.dk 4
instrumentel”dullandlifelesslearningthathasshortlastingoutcomes”(Gibbsetal.,2004,p.3).Formativevalueringfremhævesikontrasthertilsomenmetode,derbedreunderstøtterlæring,når1)underviserentilpasserundervisningenpåbaggrundafinformationtilvejebragtgennemevaluering;2)destuderendemodtagerhandlingsrettetfeedback,derfortællerdem,hvordandekanforbedredereslæring;3)destuderendeerinvolveretievalueringsprocessengennemselv-ogpeer-evaluering(Black&William,1998b;Gibbsetal.,2004;Heritage&Stigler,2010,p.7).DerfindesifølgeHeritageikkenogenfastopskriftpå,hvorledesformativevalueringbøreksekveresidenenkelteundervisningssituation(2010,p.5);dogbørlæringsaktiviteterneafstemmesmedlæringsmåleneforlæringsforløbet(Rienecker,Jørgensen,Dolin,&Ingerslev,2015).
Peergrade Peergrade(www.peergrade.io)eretonlinenetværksbaseretværktøj,somerdesignettilatunderstøttepeerfeedbackiuniversitetsundervisning.Igrovetrækfungererprogrammetpåfølgendemåde:Underviserenformulererenskriftligopgave,somgørestilgængeligfordestuderendegennemsystemetsammenmedendeadlineforaflevering.Herefterbesvarerdestuderendeopgavenindividueltellerigrupperoguploaderdenisystemet,somfordelerdeindkomnebesvarelsermellemdem.Destuderendegiverherefterfeedbacktilhinandensopgaverunderanvendelseafskemaermedfastebedømmelseskriterierogspørgsmål,såkaldte”rubrics”(senedenfor),somunderviserenharforberedtpåforhånd.Hvisenstuderendeellergruppeoplever,atfeedbacken,dermodtages,erurimelig,hardemulighedforatmarkeredette,ihvilketfaldundervisereninddragesogskaltagestillingtilsituationen.Destuderendeforventesogsåatgivefeedbackpådenfeedback,demodtager,hvilketbådetjenersomentilbagemeldingtilfeedbackgiveren,ogsominputtildealgoritmer,dermatcherfeedbackgiverog-modtager.Feedback-giverog-modtagerkanisystemetgøresanonymeoverforhinanden,hvilkettidligereforskningharindikeretkangøredestuderendemeretilbøjeligetilatafgivekritiskfeedbackogføretilforøgetlæring(Lu&Bol,2007).Underviserenkanfølgeforløbetafafleveringenogfeedbackgivningenisystemetogfårafslutningsvisforskelligemetrikkerogetsamletresultatforhverstuderendesperformance(dettegælderogså,hvisdestuderendeafleverersomgruppe).Peergradeerifølgeproduktetshjemmesideudvikletmedafsætipædagogiskforskningogsystemethævdesatkunnebidragemedenbedrelæringsoplevelsefordestuderendesamtenmereeffektivprocesforunderviseren.IintroduktionsvideoentilPeergradeerdentidsbesparelse,derhævdesatkunneopnåsvedatoverladefeedbackafgivelsetildestuderende,endvidereetcentraltargumentforatbrugesystemet(Peergrade.io,n.d.-b).
EtvigtigtelementafPeergradeerbrugenafsåkaldte”rubrics”.Enrubrickandefineressom”adocumentthatarticulatestheexpectationsforanassignment
Læring & Medier (LOM) – nr. 18 - 2018 ISSN: 1903-248X
http://www.lom.dk 5
bylistingthecriteriaorwhatcounts,anddescribinglevelsofqualityfromexcellenttopoor”(Reddy&Andrade,2010,p.435).Ienkvalitativanalyseaf21studier,hvorrubricsharværetanvendttilformativevaluering,identificererPanadero&Jonsson(2013)enrækkemåder,hvorpårubricskanmedvirketilatunderstøttelæringidennesammenhæng.Førstogfremmestøgerbrugenafrubricsgennemsigtighedenafbedømmelsesprocessenog-kriterierne,hvilketkanmedvirketilatberoligedestuderendeoggøreprocessenmerehåndterbar.Herudoverkanrubricsgørefeedback-processernemmere,forøgedestudendestropåegenformåenogselvhjulpenhed(”self-efficacy”)samtunderstøttederesstyringafegenlæring,bl.a.gennemenforøgetindsigtiegenvidenogfærdigheder,mulighedforattilrettelæggeegenarbejdsindsatsogfortløbendebedømmeegetarbejde(”self-regulation”).Dissepositiveeffektermodereresafdestuderendeskøn(hvorkvinderinoglesammenhængeharhaftbedreeffektafrubricsendmænd),hvorvidtrubricskombineresmedmeta-kognitiveaktivitetersåsompeer-feedbackellerej(succesfuldeinterventionerkombinereroftedeto)oglængdenafinterventionen(hvorlængereinterventionerofteharenstørrepositiveffekt,specieltforyngrestuderende/skoleelever).
Peergradeanbefaler,atrubrics,deranvendestilfeedbackisystemet,udformessomkonkretespørgsmåltilopgaven,derbedømmes(Peergrade.io,n.d.-a),ogviharfulgtdisseanbefalingerinærværendeafprøvning.Systemetgivermulighedfor,atspørgsmålenebådekanudformessomlukkedekvantitativespørgsmål,derisinesvarmulighedereksplicitererkvalitetskriterierneforbedømmelsen,ellersomåbnekvalitativespørgsmål.Spørgsmålstypernekanogsåkombineresved,atdestuderendebedesuddybederessvarpådelukkedespørgsmålmedenkommentar.Jf.definitionenovenfor,erdetetikkeettypisktrækvedrubrics,atdeudformessomspørgsmålogsvarpådennemåde.Detspecifikkeformat,deranvendes,erdogifølgePanadero&Jonssonnæppeafgørende,sålængeengivenrubricbidragertilenøgetgennemskuelighedibedømmelseskriterierne(2013,p.141).
Somdetfremgårafdetovenstående,giverPeergradesomsystemaltsåunderviserenenrækkeværktøjer,derfacilitererdenlogistiskehåndteringaffeedbackprocesser,samtidigmedatdetimplementererenbestemtpædagogiskpraksis—afgivelseaffeedbackunderanvendelseafrubrics.Afdenneårsagvildissetodimensionerafsystemetværenærtforbundneidetnedenstående.Viprøverdogatanskueliggøreforskellenemellemdetodimensioner,hvordetforekommersærligtrelevant.
Læring & Medier (LOM) – nr. 18 - 2018 ISSN: 1903-248X
http://www.lom.dk 6
Valg af cases AfprøvningenafPeergradeblevudførtiforbindelsemedtokurserpåRoskildeUniversitet,somdetoforfatterehverisærundervistepåiefteråret2017,hhv.”CrossMedia”og”Politikogadministrationidanskekommuner”.ValgkursetCrossMediablevafholdtpåInstitutforKommunikationogHumanistiskVidenskab(IKH)oglåtidsmæssigtførst.Undervisningenforegikpåengelskfordanskeoginternationalestuderende.Detvaretintensivtkursus,sombestodaf12undervisningsgangeàfiretimer.Kursetafvikledesoverfireugerogomhandledeteoriogpraksisirelationtildesign,medierogkommunikation.Underkursetarbejdede19kandidatstuderendeigrupper,hvordedesignedeogudvikledeenidétiletIT-produktelleren-tjeneste.Kursetblevevalueretsummativtefter7-trinsskalaenmeden10-sidersskriftligopgave,hvordestuderendeskullebeskrivedenidéellerdetprodukt,deharudviklet,samtbegrundeogreflektereteoretiskoverderesvalg.Tilstedeværelsepåkursusgangenevarikkeobligatorisk.Undervisningenblevvaretagetaftopersoner,hvorTroelsFibækBertelvarkursusansvarligogstodforotteaftilektioner.Peergradeharpåkursetværetanvendttiltoøvelsesopgaver.Denførsteopgaveblevudførtdesidstetotimerafenenkeltundervisningsgang,hvilketvistesigikkeatværehensigtsmæssigt,dadetkræverlængeretidfordestuderendeatlevereetskriftligtproduktafsådanenstandard,atanvendelsenafevalueringsspørgsmålenegivermening.Derforblevdennæsteopgaveudformetmedenlængeretidsfrist,hvordestuderendeiløbetafhalvandenugeskulleskriveoguploadeenopgaveiPeergrade.Opgavenvarendelanalyse,dersenere(iomarbejdetform)skulleindgåidenendeligeeksamensopgave.
KursetPolitikogadministrationidanskekommunerblevafholdtpåInstitutforSamfundogErhverv(ISE)over12kursusgangeàhalvandentimepr.uge.Samletsetløbkursetoverknap3måneder.De35studerendevarpåkandidatniveau,ogundervisningenforegikpådansk.Undervisningengennemførtesafetlærerteampåfirepersoner,hvorafTinaØllgaardBentzenstodforfemafgangenesamthavdedetoverordnedekursusansvar.Encentralambitionikursetharværetatskabebådeteoretiskogpraktiskbaseretlæring,ogderforerderetableretettætsamarbejdemedenkommune,sombidragermedoplægsamtinvitererpåen”rundrejse”isinearbejdsgange.Kursetblevevalueretsummativtgennemtoopgaver:Deneneopgaveblevudleveretogigangsatibegyndelsenafkursettilafleveringindenkursetsafslutning.Denandenopgavevaren48timersopgave,somgennemførtesumiddelbartefterkursetsafslutning.Detoopgavervægterhver50%ivurderingenafdensamledekarakter,somgivesefter7-trinsskalaen.AfprøvningenafPeergradeblevudførtiforbindelsemeddenførsteopgave,somblevudarbejdetundervejsikursusforløbet.Opgavenblevudformetifire
Læring & Medier (LOM) – nr. 18 - 2018 ISSN: 1903-248X
http://www.lom.dk 7
forskelligevariantermedforskelligespørgsmålogblevtildeltdestuderendeefterettilfældighedsprincip.
Kursus “CrossMedia” “PolitikogAdministrationIdanskekommuner”
Niveau Kandidat KandidatOmråde Kommunikation
(humanistisk/samfundsfaglig)
Forvaltning(samfundsfaglig)
Antalundervisningsgange
12 12
Antalstuderende 19 35Undervisningsgangenslængde
4timer 1,5timer
Kursetstidsramme Afviklesover4uger Afviklesover12ugerAntallærere 2 4Eksaminationsform Skriftlig14-dageseksamen
(10 sider) ved kursetsafslutning. Bedømmesefter7-trinsskalaen.
En skriftlig opgave underkurset (5 sider) samt enskriftlig 48-timers-opgave(5sider).Bedømmes samlet efter 7-trinsskalaen.
Sprog Engelsk DanskBrugafPeergrade Gruppebaseret – hver
studerende giverindividuelt feedbackpåenopgave udformet af engruppe.
Individuel – hverstuderendegiverindividueltfeedbackpåenopgavefratoindividuellestuderende.
OpgaveriPeergrade
To opgaver: Én opgavegivet som en del af enundervisningsgang. Énopgaveløstmedenfristpåenuge.
En opgave: De studerendehar ca. midtvejs ikursusforløbet uploadetudkast til den opgave, somdeobligatoriskskalafleverevedkursetsafslutning.
Detokurserdelerenrækkeligheder,menerogsåforskelligepåflereområder.Somvistitabel1erderibeggekurserstilfældetaleomuniversitetskurserpåkandidatniveau,hvorderanvendesskriftligeksamensomgrundlagforsummativbedømmelse.Dererdogogsåenrækkeforskelle:CrossMediaeretintensivtkursuspå48timer,derafviklesoverenperiodepåfireugerogharrelativtfåstuderende,mensPolitikogadministrationidanskekommunereretkursuspå18timer,somafviklesover12ugermedenstørregruppeafstuderende.Enandenforskeler,atCrossMediaividudstrækningerbaseretpågruppearbejde,mensarbejdsformenpåkursetPolitikogadministrationidanskekommunerprimærterindividuel.
Tabel1:Oversigtoverdetokurser
Læring & Medier (LOM) – nr. 18 - 2018 ISSN: 1903-248X
http://www.lom.dk 8
ForskellenemellemkursernegørdetmuligtforosatudforskepotentialerogbegrænsningerianvendelsenafPeergradetilformativevalueringgennempeer-feedbackiforskelligartedekontekster,derdogerfagligtbeslægtede.MedafsætiFlyvbjergsterminologikanvalgetafdetocasesbetegnessomet”maksimalvariation”-udvalg,hvilketersærligtrelevant,nårmåletmedforskningeneratfåvidenomforskelligebetingelserforprocesellereffektiencase(Flyvbjerg,2006).
Metodologi og metode Metodiskbasererundersøgelsensigpåaktionsforskning,somerkarakteriseretvedenambitionomatskabevidengennemdeltagelseoginterventionietfelt.Aktionsforskningbyggerpåenhermeneutisktilgangogbrugenafinteraktiveprocesseriskabelsenafempiriskematerialersamtbrugenafeksperimentertilatudforskebetingelserogeffekteridetsocialeliv(Nielsen&Nielsen,2010).Denvidenskabeligeproceseriaktionsforskningsparadigmetforbundetmedåbneeksperimenterogbevidstplanlagteændringerietgiventfelt,somkræverdeltagelseoginvolveringafaktørerneifeltet.Encentralpointeerogså,atforskeren,derinvolverersigiaktionsforskning,måbetragtesigselvsomendelaffeltetfremforatværeenobjektivobservatørfrasidelinjen.Derforkræveraktionsforskninggrundigrefleksionoveregenrolleogbetydningforprocessen.Aktionsforskningafviserdetpositivistiskesynspunkt,atvidenomsocialerelationerkanobjektiviseresudenforståelseforkonteksten.Derforermåletidenneartikelikkeatproduceregeneralisérbareresultater,menatillustrerevariationerihvilkepotentialerogbegrænsningeranvendelseafPeergradekanhaveiforskelligekontekster.Viharvalgtaktionsforskningsomafsæt,idetvisomkursusansvarligeogundervisereudgørencentraldelafdetfelt,viundersøger.Detgiverosenværdifuldindsigtogensærligmulighedforatiscenesætteeksperimenteriundervisningen,mensamtidigerdenneindvævedepositionuforeneligmedetpositivistiskidealomobjektivitet.
ForbeggekurserharafprøvningenafPeergradefulgtsammegrundskabelon:
• Introduktiontillæringsmål,rubricsogbrugenafPeergrade• Oprettelseafkursus,opgaveogstuderendeiPeergrade• Afleveringafopgaverogdistributionafopgavertilfeedback• Distributionaffeedbackblandtdestuderende• EvalueringafbrugenafPeergradegennemåbendialogforankreti
enanonymafstemningiprogrammetKahoot.CrossMediaerafvikletca.tomånederførkursetPolitikogadministrationidedanskekommuner,hvilketharbetydet,aterfaringernefradettekursusharbidragettilovervejelserogtilpasningeribrugenafPeergradepådetefterfølgendekursus.Enerfaringfraførstekursusharf.eks.vist,atdererbrug
Læring & Medier (LOM) – nr. 18 - 2018 ISSN: 1903-248X
http://www.lom.dk 9
foratafsættemeretidendoprindeligtforventettilatinstruereom,hvordanfeedbackenskalgives,hvilketharaffødtflereindsatserpådetnæstekursusift.atklædedestuderendebedrepåtildette.
Iforholdtiludarbejdelsenafbedømmelsesspørgsmålideanvendterubricsblevderidenaktuelleafprøvninganvendtrubricsbeståendeaftispørgsmål,ottelukkedeogtoåbne.Eteksempelpåetafdeottelukkedespørgsmål(derhvertfulgtesafetuddybendeobligatoriskåbentkommentarfelt)idenaktuelleafprøvning,er:”Hvorklarognematfølgeerargumentationeniopgaven?”,hvorsvarmulighedernevar1)”Argumentationeneruklarogsværatfølge”,2)”Argumentationenervissestederuklarogsværatfølge”og3)”Argumentationenerklarognematfølge”.Brugenafdennetypespørgsmålekspliciteredebedømmelseskriterierne,hvorveddeudoveratværenemmeatanvendefordestuderendeogsåsikrededensystematikoggennemskuelighedibedømmelsen,derercentralforeneffektivbrugafrubricsiformativevaluering.Eteksempelpåetåbentspørgsmåler”Hvadfungeredespecieltgodtiteksten?”.Dabedømmelsesspørgsmåleneerknyttettilkurserneslæringsmålsamtundervisningssprog,erdeikkeheltidentiske;doggårflerespørgsmålafmeregenerelkarakterigenpåbeggekurser.Bedømmelsesspørgsmåleneblevgjorttilgængeligefordestuderendeforudforbesvarelsenafderesopgaver,hvorveddekunnetagehøjdeforbedømmelseskriterierneideresarbejde.BrugenafrubricseriPeergradeautomatiskkoblettilenmeta-kognitivaktivitetiformafpeer-feedback,hvilketmenesatkunneøgedereslæringspotentiale,ogdamålgruppenerungevoksneuniversitetsstuderende,vurderesdenrelativtkorteinterventionslængdeikkeatværeproblematisk(jf.Panadero&Jonsson,2013).
AfprøvelsenafPeergradeharhaftetformativtsigte,hvorforviikkehargjortbrugafdeafsystemetsfunktionaliteter,dersigtermodunderstøttelseafsummativevalueringf.eks.iformafkaraktergivning.Endvidereharanvendelsenafsystemetprimærthaftfokuspåatunderstøttedestuderendeslæringsaktivitetergennempeerfeedbacktildenenkeltestuderendeellergruppe.Derharsåledesimerebegrænsetomfangværettaleom,atopgaverogfeedbackerblevetdiskuteretiplenumpåholdene—selvomdettenaturligviserforekommet,hvisdestuderendeharhaftspørgsmålellerkommentarer—ligesomderikkeerforetagetsystematiskeændringeraflæringsaktiviteterne.Ensådan”student-oriented”tilgangsynesatværepålinjemeddenfremherskendepraksispåområdet(Panadero&Jonsson,2013).
EvalueringenafafprøvningsforløbetmedPeergradeerforetagetetpardageefter,atdestuderendeharmodtagetfeedbackpåderes(sidste)opgaver,ogderharpåbeggekurserværetafsatca.enhalvtimetildette.Evalueringenertildelsgennemførtgennemottespørgsmåliquiz-ogafstemningsværktøjetKahoot(www.kahoot.com),sommuliggørenanonymogøjeblikkeligafstemning,hvordestuderendedeltagergennemderesmobiltelefonereller
Læring & Medier (LOM) – nr. 18 - 2018 ISSN: 1903-248X
http://www.lom.dk 10
tablets,oghvorresultaterneumiddelbarteftersvarafgivelsenkanvisespåprojektoriplenum.Påbeggekurserhardesammeottespørgsmålværetanvendt;herspørgesbl.a.tildestuderendesgenerelleoplevelseafPeergrade,værdienafatfåoggivefeedbacksamtderesegenarbejdsindsatsift.atskriveenopgaveoggivefeedbackpåandresopgaver.Resultatetafafstemningenfremgåraffigur1sidstidenneartikel.
BrugenafKahootkangiveetkvantitativtfingerpegomdestuderendesvurderingerafPeergradesomsystem.Kahootertilgengældikkesærligtanvendeligtift.kvalitativeevalueringer,ogderforharafstemningværetkombineretmedopfølgende,kvalitativedialogeriplenumefterpræsentationenafsvarfordelingenpåhvertafdeottespørgsmål.
EvalueringentagerihøjgradafsætidestuderendesoplevelseafPeergrade,hvilketnaturligvisharnoglemetodiskesvagheder—herunderatoplevelsenaflæringsmetodenikkebehøveratreflektere,omlæringfaktiskfindersted.Omvendtmåmansige,atdestuderendesoplevelseaflæringsaktiviteterne,ogderesderaffølgendeindstillingtildem,errelevante,daenpositivoplevelseafenlæringsmetodealtandetligemåfremmemotivationenforatgennemførelæringsaktiviteterne.Påsammemådeeridentifikationenafeventuelleoplevedebarriererforlæringenforudsætningforatfjernedissebarrierer.Derforervidenom,hvaddestuderendeopleversompotentialerogbegrænsningeriPeergradeinteressantift.atdesignelæringsforløb,somoplevesunderstøttende.Dethavdeværetinteressant,hvisbrugenafPeergradekunneholdesopimodregulæreindikatorerforlæringsomf.eks.enændringieksamenskarakterer,mendaundersøgelsenerudførtindenforetenkeltsemester,erdetteikkeenmulighed.Desudenvilledetværevanskelligtatmålesådanneeffekterselvoverfleregentagelserafsammekursus,dapersonsammensætning,pensumogkontekstforandresovertid.Ioverensstemmelsemedaktionsforskningsparadigmetinddragervidesudenvoreegneoplevelserogtolkningerogsammenholderdettemeddestuderendesoplevelseriensamletanalyse.
DekvalitativeplenumdiskussionerfraevalueringenblevoptagetsomlydfilogerefterindsamlingentransskriberetogkodetiNVivo.KodningenerforetagetmedudgangspunktiCharmaz’tilgangtilGroundedTheory-analyse(2006),hvorkodningenforetagesiterativtgennemindledende(”initial”)ogfokuseret(”focused”)kodning.Hervederførstdecentralekategorierogsenereenrækkeoverordnedetemaeridentificeret.Dissetemaerbrugesidetefterfølgendetilatstrukturereanalysen,såledesathverttemagivesenoverskrift,hvorundertemaetbehandles.
Læring & Medier (LOM) – nr. 18 - 2018 ISSN: 1903-248X
http://www.lom.dk 11
Analyse PeergradesomSystemBetragtetsomsystemharvihaftgodeerfaringermedPeergrade,somhjælpermedatfacilitereenfeedbackproces,derlogistiskvilleværesværathåndtereogoverskueudenensådanstøtte,ikkemindstpåstørreundervisningshold.Systemethåndterereffektivtbl.a.udsendelseafpåmindelseromafleveringsfristersamtfordelingenafopgaverogfeedbackmellemdestuderendeogmuliggørtilligeenanonymafgivelseaffeedback,hvilketdestuderendeivoresafprøvningoplevedevarpositivt,dadekunnegivemereærligfeedback,nårdeikkeskulletagehensyntilpersonligerelationer.Iforholdtilsystemetslæringskurveervoreserfaring,atdeterrelativtnemtatanvendeforbådeundervisereogstuderende.Etaspekt,derdogmedførtevisseudfordringer,varatfådestuderendetilatafgivefeedbackpådenfeedback,deselvhavdemodtaget,formentligfordiværdienafdettefordenenkelteikkeerumiddelbartindlysende.Afslutningsvisskaldetigenunderstreges,atviikkeharafprøvetfunktionalitetrettetmodsummativevaluering.
KvantitativeevalueringsresultaterSamletsettegnerdekvantitativeresultaterfraevalueringerneetsammensatbilledeafdestuderendesoplevelseafatbrugePeergradepådetokurser(sefigur1sidstidenneartikel):MensdestuderendepåCrossMediaopleverathaveydetenstørreindsatspåatgivefeedback,enddestuderendepåPolitikogadministrationidanskekommunertilkendegiverathavegjort,erbilledetomvendtift.deresoplevedeindsatsift.atskriveopgaven.Værdienafatgivefeedbackoganvendelighedenafdenfeedback,manharfået,evalueresgenereltlidthøjerepåCrossMedia,mensdestuderendepåPolitikogadministrationidanskekommunerihøjeregradoplever,atdeudarbejdederubricshjalpdemtilbedreatforståopgavensevalueringskrav.IforholdtildenoplevedenytteværdiafatbrugePeergradetilatøveopgaveskrivningpåkurseterdestuderendepåPolitikogadministrationidanskekommunerogsålidtmerepositive.
Denabsolutmestmarkanteforskelerdog,atdestuderendepåPolitikogadministrationidanskekommunerilangthøjeregradvurderer,atdetsamletseterengodidéatbrugePeergrade.Hele54%vurderer,atdetbestemterengodidé,mens43%synes,atdetinogengraderengodidé.Kun4%(svarendetilenenkeltstuderende)mener,atdeterendårligidé.DestuderendepåCrossMediaermereforbeholdne,idet62%mener,atdetinogengraderengodidéatbrugePeergrade,mens23%svarernejtilspørgsmålet.Blotca.15%(svarendetiltostuderende)menerbestemt,atdeterengodidé.SamletsetladeroplevelsenafatbrugePeergradealtsåtilatværemerepositivfordestuderendepåPolitikogadministrationidanskekommunerendfordestuderendepåCrossMedia.
Læring & Medier (LOM) – nr. 18 - 2018 ISSN: 1903-248X
http://www.lom.dk 12
Somtidligerebeskreveterderenrækkeforskellepådetokurser,herunderkursernesintensitet,anvendelseafindividueltarbejdekontragruppearbejdeogkoblingenmellemøvelsesopgaverneogeksamen.Disseforskellekanienvisudstrækningbidragetilatforklareforskellenidestuderendesbesvarelserpådetokurser.Derudoverharanvendelsenafaktionsforskningbetydet,aterfaringerfraCrossMedia,dertidsmæssigtlåførst,harkunnetbrugestilattilretteforløbetpåPolitikogadministrationidanskekommuner.Derkanaltsåværeflerefaktorer,sompotentieltkanforklare,hvorforbrugbarhedenafdetsammesystemoplevesforskelligtidetokontekster.Vivendertilbagetilenrækkeafdissefaktorernedenfor.
ForventningsafstemningEncentralerfaringpåCrossMedia-kursetvar,atfaciliteringafprocessenervigtigforatsikreforventningsafstemningogklarhedomkringforløbet,samtatdennefaciliteringkankræveenstørreinvesteringafressourcer,endmansomunderviserumiddelbartkunneværetilbøjeligtilatantage.Dettehandlerdelsom,atdestuderendeskalpræsenteresgrundigtogkonkretfordenforeståendeanvendelseafPeergrade,herunderkravtilopgavenogindføringibrugenafrubrics,menogsåatderafsættestidtildialogomkringforventningernetilomfangetogkvalitetenafdenfeedback,derskalgives.Hvornårerkritikf.eks.tilstrækkeligomfattendeogkonstruktiv,oghvordanskalmansommodtagerhåndteredenfeedback,manfår?Afklaringafsådannespørgsmålharbetydningfor,hvorafstemtegruppenafstuderendeeridenmåde,degiverogmodtagerfeedbackpå,ogunderstøtterdermedogsåetfællesniveauidet,deinvestererifeedbacken.PåPolitikogadministrationidanskekommunerblevderderforarbejdetmeddetteienmereudstraktgradendpåCrossMedia.Blandtandetblevderiløbetafundervisningenafsattidtilenkortdialogom,hvadkonstruktivfeedbacker,oghvilkeovervejelsermanbørgøresig,nårmangiverfeedback.Tiltrodsfordenneekstraindsatsvistedenkvalitativeevaluering,atdestuderendestadigefterspørgermeretidtilatgåidialogomsådannespørgsmål.F.eks.spørgerenstuderende,omdeteriorden,atvedkommendeikkerettersigefterdenfeedback,hanellerhunharmodtaget,hvishanellerhuneruenig.Hererderaltsåbrugforenafklaringaf,hvilkenstatusfeedbackenhar,oghvordanmansommodtagerkanvælgeatbrugeden.Étforslageratgøredialogenomfeedbackmerekonkretvedatgennemgåeksemplerpågodfeedback.Forbeggekursernegælderdetendvidere,atderogsåblevbrugtrelativtmangeressourcerpåatkommunikeremeddestuderendeudenforundervisningenom,hvordandeskullebrugePeergradesamtatmindeomfristerforafgivelseaffeedbackmv.Atdererrelativtmangespørgsmål,derskalafklares,ogmegenkommunikationpåkrævetiforbindelsemeddette,kantildelsskyldes,atbrugenafetsystemsomPeergradeogdenpraksis,detimplementerer,ernyeoginogenudstrækningukendtefænomenerfordestuderende.Derbetalesaltsået”startgebyr”iformafenstørreressourcemæssiginvesteringførste
Læring & Medier (LOM) – nr. 18 - 2018 ISSN: 1903-248X
http://www.lom.dk 13
gangsystemetanvendes,mendettesandsynligt,atdettevilmindskesinogengrad,hvisdestuderendevænnestilatbrugePeergradeovertid.
AtgivefeedbackEnudfordringpåbeggekurserer,atdestuderendeikkealtidfølersigkompetentetilatgivefeedbackpåhinandensbesvarelser.Destuderendeserikkesigselvsomeksperterideteorier,hvisanvendelsedeskalgivefeedbackpåogopleverathavebegrænsetindsigtideakademiskekriteriertilf.eks.atvurderekvalitetenafenanalyseellerendiskussion,hvorfortolkningsfrihedenianvendelsenafkursuslitteraturenkanværeganskestor.TostuderendefraCrossMediasigerf.eks.omdette:
Detvarvirkeligtsværtatværesuperkritisk,fordihvilkenpositionharjegtilatbedømme,omnogenharskrevetengodanalyseellerej?
Jegkangodtkommemedminegenmening,menjegerikkeekspertenpådether.
Iandretilfældeitalesættesdetforhold,atdestuderendeikkealtidharnåetatorienteresigidendelafpensum,deranvendesiopgaven/opgaverne,deskalgivefeedbackpå.PåPolitikogadministrationidanskekommunererderpåforhånddefineretfireforskelligeopgaver,somerfordelttilfældigtimellemdestuderende,hvornogleopgaverharkrævet,atdestuderendelæserforanipensumiforholdtilkursetsprogression,mensandreikkeharkrævetdette.PåCrossMediastillesøvelsesopgavernemedudgangspunktialleredegennemgåetteori,mentilgengældskrivergrupperneherommegetforskelligartedeemner.Såledeskommerfeedbackenpådetokursertilatforegåpåkrydsogtværsafforskelligedeleafkursuslitteraturenogemneområder,ogdetteudfordrerafsættetforatgivefeedback,dadestuderendeikkeblotkansammenligneandresanalysermedderesegen,menmåmestrepensummeregenerelt.EtkonkretforslagfradestuderendepåPolitikogadministrationidanskekommunererderforatbegrænseopgavernetildenlitteratur,derindtilvidereergennemgået,elleratvælgeénfællesopgave,somafgrænserdenlitteratur,manskalskabesigoverblikoverforbedreatkunnegivefeedback.Enandenmulighederenkvalitetssikringgennemenfællesopsamlingpåfeedbacken,somvivendertilbagetilnedenfor.
Trodsdisseudfordringeroplevermangestuderende,atdétatgivefeedbackpåandresarbejdebidragertilegenlæring—bl.a.pga.denkommunikation,derforegårgennemdeudarbejdederubrics.Påbeggekurseroplevernæstenallestuderendebestemt,ellerinogengrad,atdétatgivefeedbackhjælperdemtilbedreatforstådenstilledeopgavesevalueringskrav.EnstuderendefraPolitikogadministrationidanskekommunerudtalerf.eks.omdette:
Læring & Medier (LOM) – nr. 18 - 2018 ISSN: 1903-248X
http://www.lom.dk 14
Jegsynesfaktisk,detharværetenfinmåde.Mankommersådanindistoffetpåenandenmåde.Altsåendvedatbarelæsetilforelæsningen.Såjegermegetfanafdetpåetlæringsmæssigtplan.Ogjegsynesogså,detvarfedtatgivefeedback.Altsåjegtænkte–”duharfaktiskforståetnoget,somjegikkeharforstået.Deterfedt,dether.Detgiverfaktiskmeremeningformig.”Detlærermignogetatgiveandrefeedback.
Herharopgavenskvalitetdogogsåbetydning:Détatgivefeedbackpåethalvfærdigtudkastgiverikkedetsammeudbyttesomatgivefeedbackpåengennemarbejdetopgave,hvormanfårnyeperspektiverpåstoffet.EnstuderendefraCrossMediasigeromdette:
Jegtror,(udbyttet)afhængeraf,hvilkenopgavedufår,forhvisdufårenopgave,derermegetoverfladiskogudenreferencer,såkanduikkebrugedettilretmeget.
Mensprocessenmedatgivefeedbackladertilatkunnebidragetillæringen,erdetaltsåsomunderviservigtigtatværeopmærksompå,atufærdigeellermangelfuldeopgaveroplevessommindreudbytterigeatgivefeedbackpå.Derforkandetværeengodidéatladedestuderendebedømmeflereopgaver,såsandsynlighedenforatdekommerikontaktmedopgaver,deroplevessomudbytterigeatkommentere,øges.
AtmodtageogbrugefeedbackMensstørstedelenafdestuderendepåbeggekursermener,atdeharlagtenmiddelellerstorindsatsiatgiveandrefeedback,ogstørstedelenopleveratfeedbackenfraandreidetmindstevarnyttigienvisudstrækning,fortællerflerestuderendeveddenmundtligeevaluering,atdeikkeoplevede,atdenfeedback,defik,hjalpdeminævneværdiggrad.Specieltvardetetproblem,nårfeedbackenikkevarkonkretogkonstruktiviforholdtilf.eks.atforeslåløsningerellerforbedringeriforholdtileventuelleproblemer.Eteksempelpåafgivenfeedbacktildetåbnespørgsmål”Hvaderdeprimærekritikpunkteriforholdtilteksten?(venligstuddyb)”ienrubricfraCrossMedialyderisinhelhed:”Ikkenogetbestemt.Begreberogteorikunnehaveværetuddybetistørregrad”.Deterklart,atensådanfeedbackkunibegrænsetomfangkananvendesafmodtagerentilatforbedresinpræstation.EnstuderendefraCrossMediasigeridenneforbindelsefølgende:
Vihavdejoallerederubricen,davilavedevoresaflevering,ogdavisåfikfeedbacken,vardensletikkespecifik.Ogpådenmådehjalpdenossletikke;jegsynesikke,jegblevklogereefteratlæsefeedbacken(…)denburdehavehaftflereeksempleriforholdtil…dervaren,dersagde,atvibrugtefor
Læring & Medier (LOM) – nr. 18 - 2018 ISSN: 1903-248X
http://www.lom.dk 15
mangecitaterosv.DetvarOK,mensåsagdedenogså,atdervarformegettekstatlæseellersådannoget.Ogsågikdensletikkeindi,altså,”måskeskulleIskærenedpåtekstenomaffordancesogistedetbrugemerepladspådetellerdet”.
Detteproblemvilleformentligkunnebegrænsesmedenendnugrundigereintroduktiontil,hvordanmangivergodogeffektivfeedback,f.eks.medudgangspunktianvisningernehosHattie&Timperley,derpåpeger,atensådanfeedbackskalbesvaretrefundamentalespørgsmålift.læringsprocessen:”Whatismygoal?”,”HowamIgoing?”og”Wheretonext?”(2007).
Iafsnittetomudfordringervedatgivefeedbacknævntevi,atnoglestuderendeikkeansåsigselvsomværendekvalificeredetilatgivefeedbacktilandre,bl.a.pågrundafetbegrænsetkendskabtildetfagligestofområde,deførstervedattilegnesig.Irelationtilatmodtagefeedbacksesentilsvarendeopfattelseafandrestuderendeskompetencertilatgivefeedback.PåCrossMedianævnteflerestuderende,atdevarmereinteresseredei,hvadunderviserenmentevarengodbesvarelse,endhvadderesmedstuderendemåttemene—uagtetatdissehavdeudformetderesfeedbackpåbaggrundafenrubricproduceretafunderviseren.F.eks.fortalteenstuderende:
Påmindsttrekurserjeghartaget,hvorstuderendeharskulletevaluerehinanden,såhardeandrestuderendesagtnoget,somunderviserenharværetuenigi.Såjegtænkerogsåpå…hvisenandenstuderendegiverénfeedback,ogsåfølgermanrådetisitessay,mensåsigerdu”nej,deterheltgalt”(…)måskeskulleduevaluereos,istedetforatvievaluererhinanden.
Sådannesynspunkterogoplevelserkunneformentligimødegåsvedatforklare,atfeedbackikkenødvendigvisskaltagesforpålydendesomenrettelseafarbejdet,mensnarereskaltjenesometinputtilegenrefleksion,samtatpeer-feedbackiøvrigtbådekanværekvantitativtmereomfangsrigogbredspektretendekspert-feedback,pga.atflerepersonerkommentererarbejdet,ogkvalitativbedremåltpåfeedbackenseffekter(Cho&MacArthur,2010).Enandenmådeatimødekommedestuderendesbetænkelighederblevforeslåetafdestuderendeselv,dersavnedeenforankringaffeedbackenfraPeergradeiklasseundervisningen.Ideresøjnevilleensådanforankring(hvorderf.eks.blevsamletoppåfeedbackenafundervisereniplenum)kvalitetssikrefeedbackenoggøredenmereanvendeligsamtmotiveretiletstørreengagementiafgivningaffeedback,damanihøjeregradvillebliveholdtansvarligforatdeltageiprocessen.Enløsningkunnederforvære,atbrugenafPeergradeihøjeregradblevintegreretiundervisningenistedetforatkøreparalleltmeddenne.
Læring & Medier (LOM) – nr. 18 - 2018 ISSN: 1903-248X
http://www.lom.dk 16
PåPolitikogadministrationidanskekommunerdukkedeogsåenproblemstillingopiforholdtilmodtagelsenaffeedbacken.Herbeskrevenstuderende,atdenmodtagnefeedbackoplevedessommegetkontantoghård,fordiderikkevaretmennesketilstedetilatblødeleveringenop.Atfraværetafinterpersonellecueskanmedføreenutilsigtethårdleveringerenkendtrisikoimedieretkommunikation(jff.eks.Baym,2010),sommanbørværeopmærksompåogevt.forsøgeatforebyggevedenintroduktiontil,hvordangodfeedbackudformesunderhensyntagentilmediet,denskalleveresigennem.
Fordikvalitetenaffeedbackenvilvarieremellemstuderende,kandetværevigtigtatsikre,atettilstrækkeligtantalstuderendegiverfeedbackpådensammeopgave.Vedindividuellebesvarelserbetyderdetteipraksis,atenenkeltstuderendekommertilatgivefeedbacktilflerebesvarelser.Detskaberdenudfordring,atgennemlæsningogkommenteringafopgaverkanbliveenomfattendeopgavefordestuderende,afhængigtafopgaverneslængde.Derforkandetværeenovervejelse,omopgavernesomfangbørgøreslidtmindremodtilgengældatstillekravom,atdestuderendeskalgivefeedbacktilflere.Detteharyderligeredenpositivekonsekvens,atdefårindblikiflereopgavebesvarelser.Vedgruppebesvarelsermedindividuelfeedbackerproblemetmedenstorarbejdsbyrdeikkeisammeudstrækningtilstede,daflereindividerautomatiskgiverfeedbackpåfærregruppebesvarelser.
KoblingtilobligatoriskekravpåkurserneEnforskelpåbrugenafPeergradepådetokursererogsåopgavenskoblingtildeobligatoriskekravpåkurset.OpgavernepåCrossMediaharhaftkarakteraføvelsesopgaver,somikkeharværetknyttetdirektetileksamenpåkurset,mensopgavenpåPolitikogadministrationidanskekommunererenobligatoriskopgave,derskalafleveresiløbetafkursetsafvikling,foratmankanbeståkurset.ForbådedestuderendepåCrossMediaogPolitikogadministrationidanskekommunergælder,atdeparalleltmeddetpågældendekursusharandrekursus-og/ellerprojektforløb,hvilketbetyder,atdeofteopleveretkrydspresift.,hvordanarbejdsindsatsenskalprioriteres.Idettekrydspreskanopgaver,somikkeharnogendirektebetydningforeksamen,hurtigtblivenedprioriteret.DestuderendepåPolitikogadministrationidanskekommunerbetonerspecifikt,atkoblingentildeobligatoriskekravhargjortarbejdetmedPeergradeforpligtende.Dettegælderikkeblotift.tilderesindsatsmedatskrivederesegenopgave,menogsåift.atgivebrugbarfeedbacktilderesmedstuderende:
Detharenbetydningfordetansvar,manføler,nårmangiverfeedback.Altså,hvismanved,atdeterenopgave,manskalbrugetileksamen,følermansigmereforpligtettilatgøresigumage.Derliggeretansvariatgivekonstruktivfeedbackpånoget,derikkeersåfærdigt,hvismanved,atdeternoget
Læring & Medier (LOM) – nr. 18 - 2018 ISSN: 1903-248X
http://www.lom.dk 17
personenarbejdervideremed,ogsomtilsidstbliverendelafeksamen.
Koblingentildeformellekravharaltsåifølgedestuderendebetydningbådeift.,hvormangekræfter,derinvesteresiatudarbejdeopgaven,ogiatgiveandrefeedbackpåderesopgaver.DerforkanenovervejelseværeatgørearbejdetmedPeergradetilenobligatoriskdelafkursuskravetogatundersøge,hvilkeeksamensformersomunderstøtterdettesamspilbedst.
KursernesrammebetingelserSomtidligerenævnterderenrækkeforskellepådetokursersrammebetingelser,somogsåvisersigathavebetydningforbrugenafPeergrade.CrossMediakøreroverenkortereperiodeendPolitikogadministrationidanskekommuner,menmedfleretimer,hvilketgiveretmerekondenseretforløbmedbegrænsedemulighederforatbededestuderendelavestørreskriftligehjemmeopgaverparalleltmedkurset.PåPolitikogadministrationidanskekommunererdetsomtidligerenævntenudfordring,atopgavenpga.kursusplanlægningengivespåettidspunkt,hvorikkealkursuslitteraturergennemgået.Selvomopgavenførstskalafleverestotredjedeleindeikursusrækken,opleveskravetomatskullegivefeedbacktiltoopgaverpådettetidspunktsomenbelastningfornoglestuderende:
Jegværetretfrustreret,fordidetliggersåtidligtiforløbet.Jegkommertilnærmestatskrivetreeksamensopgaveridetherforløb.
Dettekandog,somtidligerenævnt,formentligafhjælpesvedatlaveopgaver,derfokusererpåafgrænsededeleafteorien.
Enandenforskelpådetokurserer,atopgavernepåCrossMediaerlavetigrupper,mensopgavernepåPolitikogadministrationidanskekommunererlavetindividuelt.Samletseterdetindtrykket,atdengruppebaseredebrugafPeergradepådenenesidegørdetmindresårbartatmodtage(fælles)feedback,menogsåkangøredetmindreforpligtendeatindgåiprocessen.DetteunderstregesaferfaringernefraPolitikogadministrationidanskekommuner,hvornoglestuderendeopleveratståtilbagemedenhårdkritik,somdeikkerigtigkandelemednogen.Tilgengældmotivererdeindividuelleopgavernoglestuderendetilatlæggeenstørreindsatsiarbejdet,dadenetopikkekan”gemmesig”igruppen.
Læring & Medier (LOM) – nr. 18 - 2018 ISSN: 1903-248X
http://www.lom.dk 18
DiskussionDenovenståendeanalysebidragertilenøgetforståelseaf,påhvilkenmådeogunderhvilkebetingelserPeergrademedfordelkananvendestilatstyrkeformativfeedbackpåuniversitetskurser.Pådenbaggrunderderenrækkeopmærksomhedspunkter,derbørreflekteresover,nårPeergradeinddragessometformativtelementpåsådannekurser.
MensmaniinformationsmaterialetforPeergradekankonstatere,atencentralmålsætningmedsystemeteratfrigiveundervisertid,vedatdestuderendeselvforestårfeedbackensideløbendemedundervisningen,viserresultaterneafdettestudieennogetandenvirkelighed.Vurderingeneroverordnetset,atbrugenafsystemetlogistiskharfaciliteretdenformativeevalueringsprocesogbidragettillæringpåkurserne.Brugtsomenekstralæringsaktivitetharsystemetdogikkekrævetmindre,menderimodmeretidafunderviseren.Detøgederessourceforbrugskyldesnaturligvistildels,atsystemet,ogdenpraksisdetimplementerer,ernytforbådeunderviserogstuderende,ogatderskerenekstrainvesteringafressourcerførstegangsystemetanvendes;detteressourceforbrugvilsandsynligvisinogenudstrækningkunnereduceres,nårdereretableretenstørreerfaringmedbrugafsystemet.Somunderviserskalmandogværeopmærksompå,atsystemetfortrinsvislevererentekniskløsningpådelogistiskeogpragmatiskeudfordringervedatfacilitereenfeedbackprocesistorskala.Udarbejdelsenafrubricsmedeksplicittebedømmelseskriterierioverensstemmelsemedkursetslæringsmålerenforudsætningforatbrugesystemetogkræverisigselvenheldelarbejdeogkvalitetssikring.Itillægtildettekommerkommunikationoghåndteringafprocessen;somunderviserkræverdetplanlægningatsikredenrettedialogmeddestuderendeombrugenafrubricsogrammerneforfeedback,ligesomdetkrævermegentidatsikredennødvendigeforventningsafstemning,faciliteringogkoordineringafforløbetforatunderstøttedensociale,læringsmæssigeproces.Detovenståendeeraltsammenaktiviteter,somskalbehandlessideløbendemeddentraditionelleundervisning.Dakravoglæringsmålendviderevilvarierefrakursustilkursus,måmanforvente,atbehovetforkommunikationogfaciliteringafprocesseninogengradvilbestå,selvomstuderendeogunderviserefårstørreerfaringmedsystemet.
Endelstuderendeytredeefterafprøvningenønskeom,atfeedbackenfraderesmedstuderendeefterfølgendeblevbehandletiplenumafunderviseren;deføltesigikkenødvendigvissomeksperterpådetstof,degavfeedbackpå,ogvurderedehellerikke,atderesmedstuderendevardet.Dettekunnemuligvisinogengradimødesesvedtydeligereatkommunikeretildestuderende,atekspert-feedbackhverkeniomfangellerkvalitetnødvendigviserbedreendpeer-feedback(Cho&MacArthur,2010).AlternativtburdePeer-feedbackenmåskesomforeslåetsessometsupplementtilunderviserfeedbacksnarereendsomenerstatningfor
Læring & Medier (LOM) – nr. 18 - 2018 ISSN: 1903-248X
http://www.lom.dk 19
den—ihvertfaldpåkurser,hvorindholdetlæggeroptilenhøjgradafselvstændigrefleksionogvariabilitetidemuligeanalyser.Enopfølgningiplenumvildesudenværeetudtrykfor,atfeedbackenbrugesformativtbådeafdestuderendeogunderviseren.EnøgetintegrationafPeergradeiundervisningenvilleherudoverbevirke,atderbedrekunnetageshåndomprocessenogallokeresressourcertildenne.
Dettestudiepegerendviderepåvigtighedenaf,atbrugenafPeergradetilpasseskursernesrammebetingelser.Påkorte,intensivekurserbøropgavernesomfangogtidsfristertilpasses,sådestuderendeharrealistiskmulighedforatlæggedennødvendigearbejdsindsats;eventueltkandetteforsøgessikretvedatgivemulighedfor,atopgavertildelsbesvaresiundervisningstiden,hvisdetteermuligt.Detgælderdogogsåpålængerekurser,hvoropgavernesudformningisærbørtagehøjdefor,hvilkenlitteratur,derergennemgået,nåropgavenskalafleveres.Tilsvarendekandetmåskeværenødvendigtattilpassekursernesrammertilbrugenafsystemet;destuderendevarmeremotiveredeforatlavedestilledeopgaveroggivefeedback,hvisdettevarobligatoriskpåkurset,ogdetkunnederforovervejesatindføredissepraksissersomobligatoriskeudtrykforaktivdeltagelse.ResultaterneåbnerogsåeninteressantdiskussionompotentialerogbegrænsningeriatbrugePeergradetilgruppeopgaverkontraindividueltudformedeopgaver.Studietpegerumiddelbartpå,atindividuelleopgaverkanværeforbundetmedstørreansvarlighediarbejdetmedatudformeopgaveroggivefeedback.Spørgsmåletom,hvordanPeerfeedbackbedstunderstøttesvedgruppeopgaverkontraindividuelleopgavervilværeetinteressantspørgsmåltilfremtidigforskning.
KonklusionIdenneartikelundersøgespotentialerogbegrænsningervedbrugenafsystemetPeergradetilformativevalueringgennempeer-feedbackiuniversitetsundervisning.SomsystemhjælperPeergrademedatfacilitereenfeedbackproces,derlogistiskvilleværesværathåndtereudenensådanstøtte,ikkemindstpåstørrehold.VioplevedeikkestørretekniskeellerforståelsesmæssigeudfordringerknyttettilPeergradebetragtetsomsystem—frasetatdestuderendehavdesværtvedatforståvigtighedenafatgivefeedbackpådenfeedback,deselvhavdemodtaget.Samletsetvisererfaringernefraafprøvningenpådetokurser,atdestuderendeopleverdetsomnyttigtatbrugePeergradeogdenpraksis,somsystemetimplementerer,iuniversitetsundervisningen.Destuderendeoplever,atdetforøgerdereslæringatmodtageogisærgivefeedbacktilandrestuderende,ligesomsystemetsbrugafrubricsformangehargivetanledningtilstørrerefleksionoverdekriterier,undervisernevurdererderesarbejdepå.SamletsetvurderesPeergradealtsåtilathavespændendepotentialerift.atunderstøtteformativevalueringogbidragetilatstyrkeundervisningenskvalitetpåuniversitetskurser.
Læring & Medier (LOM) – nr. 18 - 2018 ISSN: 1903-248X
http://www.lom.dk 20
BrugenafPeergradekræverdogenpædagogiskindsatsfraunderviserenift.atindtænkeogtilpassebrugenafsystemettilundervisningsforløbetogdeformellerammer,kurseterunderlagt.Bl.a.krævesderendelarbejdeafundervisereniforbindelsemedudarbejdelseafderubrics,dererenforudsætningforbrugenafsystemet,ligesomderkrævesenforventningsafstemningmellemunderviserogstuderendeift.opgavensformat,formogevalueringskriterierfor,atforløbetkanskabeværdi.Foratsikrekonstruktivogbrugbarfeedbackkræverdetogså,atunderviserenfacilitererendialogomdette,såderblandtdestuderendeopnåsenfællesforståelseaf,hvordanfeedbackgivesogmodtages.Derudoverkræversystemetogsålavpraktiskkoordineringogkommunikationfor,atalleharforståetoghusker,hvilkehandlingerderkrævesafdemoghvornår.Afprøvningenviserogså,atkursernesformellerammerkanhavebetydningforudbyttetafbrugenafsystemet;hvisfeedbackengivespåopgaver,dersidenbedømmessummativtmedkarakter,kandetteværemereforpligtendeogmotiverende,endhvisderanvendesreneøvelsesopgaver.Hvissådanneanvendes,kandetovervejesatgøredisseobligatoriske.
Referencer Baym,N.K.(2010).Personalconnectionsinthedigitalage.Cambridge,UK;Malden,MA:Polity.
Black,P.,&William,D.(1998a).AssessmentandClassroomLearning.AssessmentinEducation:Principles,Policy&Practice,5(1),7–74.
Black,P.,&William,D.(1998b).InsidetheBlackBox:RaisingStandardsthroughClassroomAssessment.PhiDeltaKappa,80(2),139–148.
Charmaz,K.(2006).Constructinggroundedtheory:apracticalguidethroughqualitativeanalysis.London:Sage.
Cho,K.,&MacArthur,C.(2010).Studentrevisionwithpeerandexpertreviewing.LearningandInstruction,20(4),328–338.
Flyvbjerg,B.(2006).FiveMisunderstandingsaboutCase-Studyresearch.QualitativeInquiry,12(2),219–245.
Gibbs,G.(1999).UsingAssessmentStrategicallytoChangetheWayStudentsLearn.InS.Brown&A.Glasner(Eds.),AssessmentMattersinHigherEducation(pp.41–52).London,UK:McGraw-HillHigherEducation.
Gibbs,G.,Simpson,C.,Gravestock,P.,&Hills,M.(2005).ConditionsUnderWhichAssessmentSupportsStudents’Learning.LearningandTeachinginHigherEducation,(1),3–31.
Læring & Medier (LOM) – nr. 18 - 2018 ISSN: 1903-248X
http://www.lom.dk 21
Gikandi,J.W.,Morrow,D.,&Davis,N.E.(2011).Onlineformativeassessmentinhighereducation:Areviewoftheliterature.ComputersandEducation,57(4),2333–2351.
Hattie,J.,&Timperley,H.(2007).ThePowerofFeedback.ReviewofEducationalResearch,77(1),81–112.
Heritage,M.(2010).AssessmentwithandforStudents.InM.Heritage&J.W.Stigler(Eds.),Formativeassessment:Makeithappenintheclassroom(pp.7–20).ThousandOaks,Ca.:Corwin.
Heritage,M.,&Stigler,J.W.(2010).Formativeassessment:Makeithappenintheclassroom.ThousandOaks,Ca.:Corwin.
Lu,R.,&Bol,L.(2007).AComparisonofAnonymousversusIdentifiablee-PeerReviewonCollegeStudentWritingPerformanceandtheExtentofCriticalFeedback.JournalofInteractiveOnlineLearning,6(2),100–115.
Nielsen,S.,&Nielsen,K.A.(2010).Aktionsforskning.InS.Brinkmann&L.Tanggaard(Eds.),Kvalitativemetoder-engrundbog.København:HansReitzelsForlag.
Panadero,E.,&Jonsson,A.(2013).Theuseofscoringrubricsforformativeassessmentpurposesrevisited:Areview.EducationalResearchReview,9,129–144.
Peergrade.io.(n.d.a).FeedbackRubrics-Aguidetocreatingeffectivefeedbackrubrics.RetrievedMay15,2018,fromhttps://www.peergrade.io/blog/create-effective-feedback-rubrics/
Peergrade.io.(n.d.-b).Peergrade-BetterFeedbackforYourStudents.RetrievedMay15,2018,fromhttps://youtu.be/US_raZCfJAM
Reddy,Y.M.,&Andrade,H.(2010).Areviewofrubricuseinhighereducation.Assessment&EvaluationinHigherEducation,35(4),435–448.
Rienecker,L.,Jørgensen,P.S.,Dolin,J.,&Ingerslev,G.H.(Eds.).(2015).UniversityTeachingandLearning.Frederiksberg,DK:Samfundslitteratur.
Læring & Medier (LOM) – nr. 18 - 2018 ISSN: 1903-248X
http://www.lom.dk 22
Figur1:SvarfordelingafdenanonymeevalueringafbrugenafPeergradepådetokurser,”CrossMedia”og”Politikogadministrationidedanskekommuner”.Dervar13udafialt19studerendepåCrossMedia,somdeltogievalueringenogbesvarededekvantitativespørgsmålmedundtagelseafspørgsmål7,som12besvarede.ForPolitikogadministrationidanskekommunersvedkommendevarder28studerendeudaf40,derdeltogievalueringenogbesvaredespørgsmål1,2,5,og7,mens27studerendebesvaredespørgsmål3,4og6.
36%
8%
46%
31%
30%
54%
30%
31%
54%
15%
39%
31%
39%
67%
54%
92%
36%
62%
52%
46%
26%
46%
43%
62%
39%
38%
43%
33%
11%
0%
18%
8%
19%
0%
44%
23%
4%
23%
21%
31%
18%
0%
0% 10%20%30%40%50%60%70%80%90%100%
Kommunekurset
Cross Media
Kommunekurset
Cross Media
Kommunekurset
Cross Media
Kommunekurset
Cross Media
Kommunekurset
Cross Media
Kommunekurset
Cross Media
Kommunekurset
Cross Media
Var d
etfo
r dig
brug
bart
at b
ruge
Peer
grad
etil
at ø
veop
gave
skr
ivni
ng p
åku
rset
?
Hjal
pfe
edba
cksp
ørgs
mål
ene
dig
tilbe
dre
atfo
rstå
opga
vens
eval
uerin
gsk
rav?
Var d
enfe
edba
ckdu
fik
fra
andr
est
uder
end
ebr
ugba
r?
Hjal
p dé
tat
giv
efe
edba
ckdi
g til
bedr
e at
fors
tåku
rset
sst
of?
Alt i
alt
erde
t så
engo
d id
e at
brug
ePe
ergr
ade
på e
tku
rsus
som
dett
e?
Hvor
stor
en in
dsat
sha
r du
lagt
i at
skriv
eop
gave
n?
Hvor
stor
en in
dsat
sha
r du
lagt
i at
give
feed
back
til a
ndre
?
Evaluering af Peergrade på de to kurser
Ja bestemt/Stor indsats Ja, i nogen grad/ Middel indsats Nej/ Lille indsats