en analyse af programmet txtanalyser - danmark og...

En analyse af TxtAnalyser

Forside Indledning Problemformuleringog metode

TxtAnalyser i forholdtil NLP

Kort om NLP Om Greller ogDraschlers "Designframework"

En analyse afTxtAnalyserud fra Grelle..

En analyse af programmet TxtAnalyser

Afleveringsopgave til valgmodul: Learning Analytics, MIL efterår 2016Undervisere: Ulla Lunde Ringtved og professor Mso. Thomas Ryberg

v/ Jacob Kiellberg, Linda Ravn og Eva Petropouleas Christensen

Åbn opgaven i Tableau her:https://public.tableau.com/views/EnanalyseafTxtAnalyser/Forside?:embed=y&:display_count=yes






IndledningTxtAnalyser er et forholdsvist dyrt program (16.000 kr. årligt) for skolerne, og det er derfor væsentligt at undersøge, hvorvidt det rentfaktisk støtter eleverne i deres skriveproces, om dataene, som programmet opsamler og anvender, er valide, og om læreren kan brugedisse data og programmets visualiseringer som beskrevet i vejledningen.

Hvordan TxtAnalyser ifølge vejledningen hjælper læreren“TxtAnalyser er et sproganalyse- og korrektionsværktøj, som automatisk kan måle og analysereelevers skriveudvikling og -kompetencer, fx med henblik på at fastsætte individuelle læringsmålfor den enkelte elev, som herved får støtte og bliver målt efter sit behov. Med TxtAnalyser kan dudanne dig et overblik over skriveprocessen for hver elev samt overordnet for klassen, og på denmåde kan den skriftlige progression analyseres både for den enkelte elev og på tværs afklassetrin. I dagligdagen kan det være svært at se, om elever med forskellige forudsætninger fårdet optimale ud af undervisningen, men med TxtAnalyser kan du få et overblik over, om eleverneflytter sig som forventet. (...)"

(Vores fremhævelser)

Hvordan TxtAnalyser ifølge vejledningen hjælper eleven:“(...) Ved at benytte TxtAnalyser kan eleven få hjælp til at identificere hvor i teksten, der ergrammatiske fejl, og hvordan de skal rettes. Læreren kan via administrationspanelet tilpasse denenkelte elevs behov for støtte og vælge om programmet løbende skal underrette eleven omeventuelle fejl samt hvilke fejl, der skal underrettes om. Disse underretninger kan indstilles til athave karakter af hints, så eleverne motiveres til at se deres egen tekst igennem for selv at finde detsted, hvor der skal foretages en rettelse. (...)”

Tryk på Play-knappen for at se en kort gennemgang afTxtAnalyser

Læs Wizkids vejledning til TxtAnalyser her:






Problemformulering og metode

Metode:1: Redegørelse for det felt, som TxtAnalyser hører ind under2:Dataanalyse: 2.1: Data hentes fra TxtAnalyser som CSV-fil, indsættes i Excel, renset for sum + opdelt i kategorier (data er allerede anonymiseret i den tilgængelige CSV-fil) 2.2: TxtAnalysers formidlingsform efterprøves og data analyseres i Tableau gennem andre visualiseringer; Hvilke opdagelser gør vi, når vi bruger Tableaus værktøjer? Er der afvigelser og kan vi udlede flere detaljer, end TxtAnalyser viser? 2.3: TxtAnalyser vurderes i forhold til brugbarhed for eleven og læreren, samt værktøjets datagrundlag og visualiseringer3: Øvrige aspekter vedr. TxtAnalyser inddrages, herunder etiske overvejelser over brug af dataopsamlende værktøjer i skolesammenhænge4: Konklusion

Problemformulering:Vi ønsker at undersøge, hvorvidt TxtAnalysers læringsdata og visualiseringer af disse kan anvendes som beskrevet i deresvejledning. I den forbindelse vil vi rense, analysere og efterprøve data ved hjælp af Tableau. Med udgangspunkt i TxtAnalyserønsker vi desuden at diskutere etiske aspekter i forhold til skolers brug af tredjeparts programmer, som anvender datalogning.

Procesmodel:Inspireret af George Siemens





En analyse afTxtAnalyser ud fraGreller og Draschle..

TxtAnalyser i forhold til NLP

TxtAnalyser placerer sig i feltet for “Natural Language Processing (NLP)”. NLP dækker kort beskrevet over en lang række områder, som alle beskæftiger sigmed at gøre vores tale- og skriftsprog forståeligt for en computer, herunder fx at kunne forstå ordklasser og sætningsstrukturer, udlede nøgleord og mening,foretage automatiske oversættelser og resuméer, m.m. NLP er en del af hele AI-forskningen, hvor målet er at få kunstig intelligens til at kunne forstå oguddrage de meninger, idéer og intentioner, som ligger bag vores skrift og tale. NLP bruges også i den gren af Learning Analytics, som omhandler WritingAnalytics, og som i stigende grad implementeres iforbindelse med e-læringskurser bl.a. for at støtte studerende og minimere frafald. For TxtAnalyser’svedkommende er det akademiske fokus dog alene på den lille del af NLP, som omhandler Text Proofing, altså grammatik og stavning. (Se kilde 1, 2, 6 og 11bagerst).

I forhold til Fælles Mål er det ikke et uvæsentligt område, da eleverne som en del af afgangsprøven i sprog og sprogbrug vurderes i forhold til netop grammatikog stavning, men Writing-Analytics-potentialerne i NLP er altså langt større end TxtAnalyser’s område, og dækker også over værktøjer, som kan hjælpe elevermed at formulere og præcisere deres indhold og tanker i skriveprocessen.Når udviklerne i vejledningen skriver, at det er et sproganalyseværktøj, som kan måle og analysere skriveudvikling og -kompetencer, er det altså lidt af entilsnigelse, da sproganalyse, skriveudvikling og -kompetencer samt skriftlig progression ikke kan reduceres til kun at handle om stavning og grammatik, men ihøj grad også indebærer indholdsmæssige parametre.


Indledning Problemformuleringog metode



En analyse afTxtAnalyser ud fraGreller og Draschlers ..

Om voresdatagrundlag fraTxtAnalyser

Eksempel på NLP (Natural Language Processing) i Writing Analytics

Institute of Educational Technology på Open University har i samarbejde med NLP eksperterfra Oxford University Computer Science department udviklet et system - OpenEssayist - iforskningsprojektet SAFeSEA (Supported Automated Feedback for Short Essay Answers).Systemet hjælper deres studerende med at skærpe indholdet og argumentationen i deresessays, dels gennem løbende analyse og vejledning under skriveprocessen og dels gennemmeningsfulde visualiseringer, og gør i den forbindelse brug af en række NLP-processer.

Følgende præmisser blev lagt til grund for OpenEssayist.- systemet skulle kunne tjekke forståelse gennem "talk back", dvs. formulere systemetsanalyse af teksten - hvilket hovedindhold og nøgleargumenter. Dette gennem resuméer ogudledning af nøgleord og nøglesætninger som udtryk for hovedidéen.

Inden selve NLP-værktøjerne aktiveres, sker der en forarbejdning af dataene. Nøgleorddefineres; disse er IKKE de ord, som den studerende selv angiver, men ord, som beskriverindholdet af dokumentet. Der oprettes også filtre, som fjerner uønskede dele af sproget (tal,modalverber, adverbier, symboler) og stop-ord (ord med lille betydningsbæring, fx the, of, somellers vil registreres som nøgleord pga. deres frekvens og "word keyness", som bl.a. betyder,at ord med ensartet grammatisk eller semantisk funktion registreres.

Derefter anvender systemet forskellige NLP-værktøjer til udledning af nøgleord, bl.a:1: Alle tilbageværende betydningsfulde ord bliver til noder i en graf og tilstødende ordomdannes til links mellem noderne2: En algoritme krydser grafen og udleder key words - disse skal optræde "i sammenhængemed mange ord, der optræder i sammenhænge med mange ord, der ..."Denne algoritme benytter hverken en ekstern model eller referencekilde og adskiller sig frasimpel ord-optælling og kollokationsoptælling - algoritmen opfanger i stedet ordetssammenhæng med hele teksten.

Processen for udledning af nøglesætninger ligner den for nøgleord. Systemets feedback til denstuderende består ud fra dette i endynamisk analyse med hints og forskellige visualiseringer, som ansporer de studerende til selvat reflektere over og redigere deres test.

De 2 kilder nedenfor viser henholdsvis en kort gennemgangaf OpenEssayist og en længere gennemgang af projektet ogsystemet


Problemformulering og metode





Visualisering fraTxtAnalyser

Om Greller og Drachslers "Design Framework"

Greller og Drachsler kalder selv deres model for et "Design Framework", når man designer en Learning Analytics proces. Den består af 6 kritiske dimensioner,som alle bør overvejes i et design for at anvende Learning Analytics på en korrekt måde til at forbedre undervisningen.

Dimensionerne er kritiske, fordi hver dimension bør have mindst en repræsentation indtænkt, for at et Learning Analytics design er komplet.

Ifølge Greller og Drachsler forudsættes designere af analytiske processer ikke blot at designe, hvad der er muligt, men også at tage hensyn til konsekvensernefor subjekterne samt at se holistisk på udbyttet for interessenterne.

Kilde: Greller og Drachsler: " Translating Learning into Numbers: A Generic Framework for Learning Analytics"


TxtAnalyser iforhold til NLP





Dashboard: Antalfejl og type fordeltpr. elev

En analyse af TxtAnalyser gennem Greller og Drachslers "Design Framework"

Interessenter: (Stakeholders): Disse opdeles i data-subjekter (dem, som afgiver data) og data-klienter (de, som analysen er beregnet for, og som forventes atagere på den).Data subjekter = elever.Data klienter = elever, lærer, skole, samt Wizkids i det omfang, de anvender data til fx at forbedre deres produkt.

(For)mål: (Objective): Refleksion. Gennem løbende formativ evaluering af elevernes grammatik, stavning og tegnsætning samt hints til rettelser af fejl sigterTxtAnalyser efter at forbedre elevernes kunnen inden for de 3 områder.

Data:Som udgangspunkt er der tale om beskyttede data, i og med at det kun er læreren og eleverne, der har adgang til disse. Ved hentning af data i CSV-filanonymiseres eleverne automatisk af programmet.Relevante indikatorer, som opsamles: Elevernes fejl fordelt på fejltyper, rettelser samt bevidst ignorerede forslag til rettelser.Tidsinterval, som data opsamles i: Som udgangspunkt altid, når programmet er aktiveret. Læreren kan dog ved at oprette et hold angive start og slutdato fordataopsamlingen.

Instrumenter:Data opsamles løbende gennem text-proofing instrumenter og præsenteres under den enkelte elevs profil både som tekst og via en graf. Dette kan ses afbåde lærer og den enkelte elev. Derudover præsenteres holdets samlede data i en fil og visualiseres via et cirkeldiagram, som kun læreren kan se.

Ydre begrænsninger:De data, TxtAnalyser indsamler, vil tilhøre datasubjekterne og data-klienterne, herunder Wizkidz. TxtAnalyser knyttes til elevernes UNI-Login. Der givessåledes ikke særligt samtykke til TxtAnalysers brug af elevernes data, da denne formodes at ligge i forhold til UNI-Login oprettelsen. Når UNI-Login bruges afeksterne websider, henviser STIL til disse siders egne politikker for håndtering af private oplysninger. STIL nævner ikke eksterne programmer oghjælpeværktøjer, men vi må gå ud fra, at det samme gør sig gældende der. Det er problematisk, da der ikke findes oplysninger i TxtAnalysers vejledning vedr.deres databeskyttelse, ej heller information om, hvad der vil ske med elevernes data, hvis TxtAnalyser skifter ejere. Det er altså et åbent spørgsmål, omelevernes data egentlig er beskyttet.

Indre begrænsninger:Indre begrænsninger handler om, hvorvidt lærerne har de fornødne kompetencer til at tolke data. TxtAnalyser forsøger med sine visualiseringer at omgådette behov. Greller og Drachsler gør opmærksom på, at netop flotte visualiseringer kan medvirke til, at læreren ikke ser den fulde pædagogiske virkelighed.På de kommende sider vil vi vise, at TxtAnalysers visualiseringer er problematiske, hvilket stiller yderligere krav til lærerens kompetencer i forhold tildatatolkning.






Dashboard: Antal fejlog type fordelt pr. elev

Nye detaljer medsøjlediagram

Om vores datagrundlag fra TxtAnalyser

Vores datagrundlag er et udsnit af en klasse på i alt 26 elever. De 12 data-subjekter, som indgår, er tilfældigt udvalgt, i og med at det var de elever, som havdetilmeldt sig TxtAnalyser-holdet i hele den tidsperiode, som vi har undersøgt. Vi kan derfor ikke være sikre på, at det billede, der fremkommer, errepræsentativt for klassen. En overvejelse kunne være, at det enten er de "dygtige" eller de "svage", som hurtigst har tilmeldt sig.Dertil kommer, at datagrundlaget er forurenet, idet "elev nr. 12" er læreren. TxtAnalyser opretter automatisk denne profil, når en lærer opretter et hold, ogdet er ikke muligt at fravælge denne feature. Det er heller ikke muligt at udelade denne profil i TxtAnalysers samlede visualisering for holdet, og dermed erdenne visualisering fra starten forurenet. Derfor har vi også været nødt til at medregne profil nr. 12 i vores bearbejdede datagrundlag, som vi anvender tilandre former for visualiseringer via Tableau, for at kunne sammenligne med TxtAnalysers visualisering, men har haft for øje, at vores visualiseringer samtidigskulle kunne "demontere" denne profil, da det selvfølgelig er det korrekte at gøre.

En endnu alvorligere fejl ved TxtAnalysers data er, at antal fejl ikke udregnes i forhold til antal skrevne ord. Derfor er det faktisk slet ikke muligt atsammenstille de enkelte elevers resultater, da der kan være meget stor forskel på, hvor mange ord, de egentlig skriver. En elev, der er svag grammatisk ogstavemæssigt, og som i øvrigt skriver meget kort, kan fx indgå misvisende i datagrundlaget, da eleven vil fremstå med meget få fejl og omvendt.Ved åbning af hver enkelt teksts statistik kan man se antallet af ord, men TxtAnalyser opsamler som udgangspunkt data på alt, hvad eleverne skriver, også iøvrige fag og andre sammenhænge - vi kan altså ikke bare åbne de afleverede danskopgaver for den undersøgte periode og optælle ord. Derfor har vi ikke haftmulighed for at lave denne beregning og se, om de enkelte elevers resultater og placering dermed ville ændre sig.En måde, hvorpå læreren kan imødegå dette, er ved at åbne et specifikt hold i et afgrænset tidsrum, fx skriftlig fremstillingsopgave over 3 1/2 time, ladeeleverne skrive, og derefter lukke holdet igen. Så kan elevernes fejlstatistik beregnes efterfølgende af læreren selv i forhold til samlet antal ord. Men såforsvinder et af formålene med TxtAnalyser, nemlig at spare læreren tid, og det er heller ikke hensigtsmæssigt at skulle oprette et nyt hold, hver gangeleverne skal bruge værktøjet.

Inden vi er gået i gang med vores visualiseringer af datagrundlaget, er vi altså bevidste om, at det faktisk ikke er anvendeligt i forhold til at sige noget om denenkelte elevs standpunkt i forhold til klassens samlede niveau. Når vi alligevel har valgt at arbejde med datagrundlaget som om det var brugbart, er det for atundersøge, hvordan visualiseringer i Tableau vil kunne tilføje nye indsigter i forhold til TxtAnalysers visualisering.

Tryk på Play-knappen for at se en kort gennemgang af vores rensning og forarbejdning af data


Om Greller ogDraschlers"Design framew..






Antal fejl udentastefejl

Visualisering fra TxtAnalyser

I TxtAnalyser visualiseres elevernes fejl i et samlet cirkeldiagram. Ifølge TxtAnalyser er det et af de værktøjer, som hurtigt giver læreren etindblik i klassens niveau. Ud fra diagrammet vil det være nærliggende at reagere ved at arbejde intensivt med stavning, da stavefejlumiddelbart tegner sig for knap 50 % af holdets fejl.

Vi savner dog at kunne se hver enkelt elevs fordeling af fejltyper. Vi har derfor arbejdet med et interaktivt dashboard, som visualiserer resultaterne via etsøjlediagram, som vi mener er en mere hensigtsmæssig visualisering. Først og fremmest giver søjlediagram-visualiseringen mulighed for at isolere “elev”nr. 12, som er læreren. Derudover rummer dashboardet mulighed for at vise alle informationer på samme tid, dvs. den enkelte elevs score i forhold til allefejltyper samt dennes placering på holdet. I Tableau kan man desuden med et enkelt klik sortere efter faldende eller stigende værdier, så eleven med defleste fejl fx vises først og så fremdeles. (Her forudsættes, at fejl er beregnet i forhold til antal ord skrevet i alt). Det er også muligt at til- og fravælgefejltyper i panelet til højre og dermed kun fokusere på et eller flere udvalgte elementer.

Se dashboard på næste side


En analyse afTxtAnalyser udfra Greller og Dr..






Tastefejl isoleret

Dashboard: Antal fejl og type fordelt pr. elev

Data TxtAnalyser

Elev 1

Elev 2

Elev 3

Elev 4

Elev 5

Elev 6

Elev 7

Elev 8

Elev 9

Elev 10

Elev 11

Elev 12

0

500

1000

1500

2000

Value

Alle fejlMeasure NamesKongruens Bestemthed (kendeord + navneord) ..Kongruens Bestemthed (kendeord + tillægsord)..Kongruens Køn (kendeord + navneord) fejlKongruens Køn (kendeord + tillægsord) fejlKongruens Køn (tillægsord + navneord) fejlKongruens Tal (kendeord + navneord) fejlKongruens Tal (kendeord + tillægsord) fejlKongruens Tal (tillægsord + navneord) fejlKongruens Uspecificeret fejlNutids r - r for meget fejlNutids r Mangler -r fejlSammensatte ord Forskellige ordklasser fejlSammensatte ord Navneord + navneord (måske..Sammensatte ord Navneord + navneord fejlStavefejl Fonetisk fejlStavefejl Forvekslingsord fejlStavefejl Tastefejl fejlStavefejl Versaler fejlStort begyndelsesbogstav Egenavn fejlStort begyndelsesbogstav Start af sætning fejl

Measure NamesKongruens Best..

Kongruens Best..

Kongruens Køn (..

Kongruens Køn (..

Kongruens Køn (..

Kongruens Tal (..

Kongruens Tal (..

Kongruens Tal (..

Kongruens Uspe..

Nutids r - r for ..

Nutids r Mangle..

Sammensatte o..

Sammensatte o..

Sammensatte o..

Stavefejl Foneti..

Stavefejl Forvek..

Stavefejl Tastef..

Stavefejl Versal..

Stort begyndels..

Stort begyndels..

Tegnsætning Bl..

Tegnsætning Bl..

Tegnsætning Fl..

Tegnsætning Ge..

Tegnsætning Ge..

Tegnsætning La..

Med Tableau-visualiseringen bliver det tydeligt, at selvom TxtAnalysers cirkeldiagram umiddelbartviser, at stavefejl er et af de væsentligste problemfelter for hele holdet at arbejde med, så gælder detaltså ikke alle elever. Elev 1, 4, 9 og 11 har fx ikke synderlige problemer hverken med stavning (ellerandet), så læreren bør altså ikke tilrettelægge ekstra undervisning i stavning målrettet samtlige elever.

Søjlediagrams-visualiseringen indeholder altså væsentligt flere detaljer end cirkeldiagrammet.







Tastefejl isoleret Dashboard:"Clustering": Enbedre visualisering..

Find totalsum

Det bliver også tydeligt, at særligt elev 7 har brug for en ekstra indsats, da dennes samlede fejlscore er mere end 2,75 gang større (2,77), end elev 5,der har næstflest fejl. Den samlede fejlscore findes ved at klikke på den ønskede elevs navn, hvorefter en boks popper frem med informationen. (Sebilleder). I dette tilfælde har elev 5 samlet 803 fejl og elev 7 samlet 2.227 fejl.






Tastefejl isoleret Dashboard:"Clustering": En bedrevisualisering, hvis m..

Kritik afTxtAnalysers brug afdata

Antal fejl uden tastefejl

Muligheden for at kunne til- og fravælge fejltyper giver yderligere indsigt. Fx er tastefejl langt den største fejltype hos elev 7. Hvis man fjerner visningen afantal tastefejl i søjlediagrams-visualiseringen, ser oversigten således ud:

Her kan man hurtigt se, at Elev nr. 7 fortsat har mere end dobbelt så mange fejl som elev nr. 5, der stadig har næstflest fejl, men differencen er væsentligtformindsket. Ved markering af elev 5 og elev 7 er det samlede antal fejl nu henholdsvis 593 og 1363. Det svarer til, at elev 7 har 2, 29 gange flere fejl end elev 5.Differencen er altså mindsket med 0,48. Lige i forhold til disse 2 elever giver dette måske ikke så meget, da elev 7 har rigtig mange andre fejltyperrepræsenteret, men i nogle tilfælde kunne det godt være interessant at fjerne den/de hyppigst fremtrædende fejl for at se, om eleverne i øvrigt ligger på etsammenligneligt niveau. Vi påpeger igen, at dette blot er til eksemplificering af Tableaus muligheder, da antal fejl ikke er beregnet i forhold til antal skrevneord, og man derfor slet ikke kan sammenligne på denne måde.


Dashboard: Antalfejl og typefordelt pr. elev




Kritik af TxtAnalysersbrug af data

Elevernes egnevurderinger afTxtAnalyser

Isolering af fejltype

Det er også muligt at isolere tastefejl for at undersøge denne fejltype nærmere. Så ser dashboardet således ud:

Her har elev 7 over 4 gange så mange fejl som elev 5. Dette kan skyldes, at eleven vitterligt har staveproblemer, men det kan også skyldes, at eleven skriverhurtigt og/eller meget langt og/eller redigerer og omskriver sin tekst flere gange end de øvrige elever, og derfor også har langt flere ord, end de øvrige, hvor derregistreres tastefejl. Igen er det problematisk, at TxtAnalyser ikke sammenholder antal fejl med antal skrevne ord i alt.







Om elevens brug afTxtAnalysersværktøj

Dashboard: "Clustering"

Measure NamesKongruens Bestemthed..Kongruens Bestemthed..Kongruens Køn (kendeo..Kongruens Køn (kendeo..Kongruens Køn (tillægs..Kongruens Tal (kendeor..Kongruens Tal (kendeor..Kongruens Tal (tillægso..Kongruens Uspecificere..Nutids r - r for meget fejlNutids r Mangler -r fejlSammensatte ord Forsk..Sammensatte ord Navn..

0 100 200 300 400 500 600 700 800 900

Value

Kongruens Bestemthed (kendeord + navneor..

Kongruens Bestemthed (kendeord + tillægso..

Kongruens Køn (kendeord + navneord) fejl

Kongruens Køn (kendeord + tillægsord) fejl

Kongruens Køn (tillægsord + navneord) fejl

Kongruens Tal (kendeord + navneord) fejl

Kongruens Tal (kendeord + tillægsord) fejl

Kongruens Tal (tillægsord + navneord) fejl

Kongruens Uspecificeret fejl

Nutids r - r for meget fejl

Nutids r Mangler -r fejl

Sammensatte ord Forskellige ordklasser fejl

Sammensatte ord Navneord + navneord (må..

Sammensatte ord Navneord + navneord fejl

Stavefejl Fonetisk fejl

Stavefejl Forvekslingsord fejl

Stavefejl Tastefejl fejl

Stavefejl Versaler fejl

Stort begyndelsesbogstav Egenavn fejl

Stort begyndelsesbogstav Start af sætning f..

Tegnsætning Blanktegn efter komma fejl

Tegnsætning Blanktegn efter punktum fejl

Tegnsætning Flere blanktegn fejl

Tegnsætning Genitiv apostrof (apostrof tilfø..

Tegnsætning Genitiv apostrof (s tilføjet) fejl

Tegnsætning Lange sætninger fejl

"Clustering": En bedre visualisering, hvis mængden af elever er stor?

Data TxtAnalyserElev 1Elev 2Elev 3Elev 4Elev 5Elev 6Elev 7Elev 8Elev 9Elev 10Elev 11Elev 12

Vi har valgt søjlediagram-visualiseringen, fordi der er tale om et meget lille antal elever, og det derfor er overskueligt. I en størreelevgruppe ville det måske være mere hensigtsmæssigt at anvende clustering eller scatter plots. Det kunne se sådan ud:

Data TxtAnalyserElev 1

Elev 2

Elev 3

Elev 4

Elev 5

Elev 6

Elev 7

Elev 8

Elev 9

Elev 10






Om elevens brug afTxtAnalysers værktøj

Dashboard: Elevensbrug af txtAnalysersværktøj

Kritik af TxtAnalysers brug af data

Gennem visualiseringerne i Tableau er det blevet tydeligt for os, at TxtAnalysers cirkeldiagram ikke tilnærmelsesvis lever op til programmets ambition omat give læreren et hurtigt overblik over klassen. Det er faktisk direkte misvisende, da det fx angiver, at knap 50 % af holdets fejl er stavefejl, men ikke ivisualiseringen rummer detaljer om, at det kun er nogle elever, som tegner sig for disse fejl.

Det er søjlediagram-visualiseringen en løsning på, da den netop kan vise den enkelte elevs antal fejl fordelt på fejltyper i forhold til resten af holdet. Men iog med at antal fejl ikke kan udregnes i forhold til antal skrevne ord, er denne visualisering heller ikke reelt brugbar.

Det eneste, man derfor reelt kan bruge data'ene til er at se, i hvilken grad den enkelte elev formår at bruge TxtAnalyser i forhold til sine egne fejltyper, dadet ikke er afhængig af, hvor mange ord, den pågældende har skrevet. Elevernes egne oplevelser af TxtAnalyser er indhentet via en padlet, og kan ses pånæste side. Derefter har vi lavet et Dashboard i Tableau for at vise, hvad data siger om deres brug af programmet.







Etiske overvejelser

Elevernes egne vurderinger af TxtAnalyserElevudsagn, hvor eleverne selv har skrevet deres oplevelse af TxtAnalyser, viser, at de selv oplever programmet som en godhjælp i skriveprocessen. Elev nr. 6 og elev nr. 9 var ikke tilstede. Derfor mangler deres udsagn


Dashboard:"Clustering": Enbedre visualiseri..





Etiske overvejelser Etiske overvejelserfortsat

Om elevernes brug af TxtAnalysers værktøj

Eleverne mener altså selv, at det er et fint værktøj i deres skriveproces. Det er værd ud fra data at undersøge, hvorvidt eleverne så rent faktisk også brugerværktøjet, som det er tiltænkt, og især i forhold til de elever, der har flest fejl.

I programmets data findes faktisk informationer om antal rettede og ignorerede fejl under den enkelte elevs statistik. Som lærer kan man altså godt se denenkeltes elevs grad af anvendelse af programmet i forhold til hver enkelt fejltype, men der findes ikke en samlet visualisering, hvor læreren hurtigt kan se,hvilke elever, der har en høj grad af anvendelse og hvilke elever, der måske har brug for hjælp til at anvende værktøjet (det er dog muligt at downloade ensamlet CSV-fil).I Tableau er det muligt at lave en sådan visualisering, som via et interaktivt dashboard kan kalde hver enkelt elev frem og vise antal fejl, rettelser og (bevidst)ignorerede fejl for alle eller udvalgte fejltyper. Vi har for overblikkets skyld angivet farven rød til fejl, farven gul til ignorerede fejl og farven grøn til rettede fejl ialle kategorier. Dashboardet findes på næste side

I billedet til højre er elev 2 markeret, samt allefejltyperne. Der er meget få grønne og ingen gulemarkører. Sammenholdt med elevens egenvurdering (nedenfor) er der altså en diskrepans, daeleven i følge data kun meget sjældent anvenderTableau i sin skriveproces.


Kritik afTxtAnalysersbrug af data





Etiske overvejelserfortsat

Dashboard: Elevens brug af TxtAnalyser

Kongruens Bestemthed (ken..



Kongruens Køn (kendeord + n..

Kongruens Køn (kendeord + t..

Kongruens Køn (kendeord + t..

Kongruens Køn (tillægsord + ..

Kongruens Tal (kendeord + n..

Kongruens Tal (kendeord + n..

Kongruens Tal (kendeord + ti..

Kongruens Tal (tillægsord + ..

Kongruens Tal (tillægsord + ..

Kongruens Uspecificeret ign..

Nutids r - r for meget fejl

Nutids r - r for meget rettelser

Nutids r Mangler -r ignoreret

Sammensatte ord Forskellig..

Sammensatte ord Forskellig..

Sammensatte ord Navneord ..



Stavefejl Fonetisk ignoreret

Stavefejl Forvekslingsord fejl

Stavefejl Forvekslingsord ret..

Stavefejl Tastefejl ignoreret

Stavefejl Versaler fejl

Stavefejl Versaler rettelser

Stort begyndelsesbogstav E..

Stort begyndelsesbogstav St..

Stort begyndelsesbogstav St..

Tegnsætning Blanktegn efte..



Tegnsætning Flere blankteg..

Tegnsætning Genitiv apostro..



Tegnsætning Lange sætning..

0

10

20

30

40

50

60

70

80

90

Value

Elevens brug af TxtAnalyserData TxtAnalyserElev 1Elev 2Elev 3Elev 4Elev 5Elev 6Elev 7Elev 8Elev 9Elev 10Elev 11Elev 12

Measure NamesKongruens Bestemth..Kongruens Bestemth..Kongruens Bestemth..Kongruens Bestemth..Kongruens Bestemth..Kongruens Bestemth..Kongruens Køn (kend..Kongruens Køn (kend..Kongruens Køn (kend..Kongruens Køn (kend..Kongruens Køn (kend..Kongruens Køn (kend..Kongruens Køn (tillæ..Kongruens Køn (tillæ..

Measure NamesKongruens Bestemth..

Kongruens Bestemth..





Kongruens Køn (kend..












Konklusion

Etiske overvejelser

Niall Sclater, Jisc, har i artiklen “Code of Practice for Learning Analytics “ sammensat en oversigt over Learning Analytics etiske og lovgivningsmæssigefremgangsmåder i en digital kontekst. Han definerer begrebet “etik” i en digital kontekst således:...“the systematization of correct and incorrect behaviour in virtual spaces according to all stakeholders”De etiske aspekter af Learning Analytics har implicit en understrøm af menneskerettigheder og anerkendte filosoffers tanker om etik. Code of Practice forLearning Analytics nævner bl. a. Fn’s menneskerettighedsdeklaration, Nürnberg-kodekset, samt Aristoteles, Kant og Mill. Netop Mill var en afophavsmændene bag utilitarismen, som i høj grad præger tankegangen bag Learning Analytics: hvordan data kan gøre mest mulig nytte for størst mulig antalmennesker?

Problemer vil kunne opstå i den henseende, idet nytteværdien kan risikere at overtrumfe det enkelte datasubjekt i den højere sags tjeneste i og med, at der eren asymmetrisk magtbalance mellem Institutionen, lærerne og de lærende, der ikke falder ud til den lærendes/ datasubjektets fordel. De må i vid udstræknin..

Se Niall Sclaters artikelCode of Practise for LearningAnalytics her:

Kilde til word cloud: http://sclater.com/blog/jisc-releases-report-on-ethical-and-legal-challenges-of-learning-analytics/


Om elevens brugaf TxtAnalysersværktøj




Konklusion Kilder

Etiske overvejelser - UNI-LoginNår en elev starter i skolen tildeles denne automatisk et UNI-Login. Om UNI-Login skriver STIL således:

"UNI•Login er dit personlige login til en lang række nationale pædagogiske tjenester og websteder. Derudover kan du have adgang til tjenester og onlinelæremidler, der kræver abonnement, institutionens net, intranet og administrative systemer. Men kun hvis du er givet ret til det. Rettighederne er knyttet tildit personlige login, som derfor kun skal bruges af dig."

Når læreren anvender et program som TxtAnalyser, der knyttes op på UNI-Login, tilsidesættes denne. I praksis fungerer det sådan, at forældrenes samtykkeuden deres vidende udvides til også at gælde de tjenester, online læremidler og abonnementsprogrammer, som læreren inddrager. Der indhentes ikke særligsamtykkeerklæring. Endvidere står der på STIL's side under afsnittet om håndtering af personlige oplysninger via UNI-Login:

"It og Læring håndterer de personlige informationer, der registreres i forbindelse med dit log-in, fx på SkoDa og login.emu.dk. For SkoleIntra gælder noglesærlige forhold. For øvrige websider der bruger UNI•Login henvises til de respektive websiders egne politikker for håndtering af private oplysninger."

Derefter følger en længere beskrivelse om, hvilke data, der opsamles fra STILs side, men altså kun i forhold til SkoDa og login.emu.dk. Selvom teksten kunnævner websider, må vi gå ud fra, at ansvarsfraskrivelsen også gælder tjenester, online læremidler og abonnementsprogrammer. Dermed er der medUNI-Login-system åbnet op for, at elevernes data kan bruges på helt andre måder, end læreren måske tror, når han/hun udvælger digitale værktøjer tilklassen.For TxtAnalysers vedkommende oplyses der intet om, hvorledes de håndterer elevernes personlige data - om de fx kan sælges til/anvendes af andre, ellerhvad der egentlig vil ske med elevernes data ved et evt. salg af TxtAnalyser til andre aktører. Det er en reel risiko med den stigende brug af data i skolen, atdata fra mange forskellige kilder på sigt kan kobles sammen til en profilering af den enkelte elev og dermed pludselig bruges langt ud over det formål, som deoprindeligt blev indsamlet til.

Læs om UNI-Login for lærere og elever her: Læs om håndtering af personlige oplysninger viaUNI-Login her:


Om elevensbrug afTxtAnalyser..




Konklusion Kilder

Etiske overvejelser - lovgivningen

Problemstillingen er ikke kun af etisk, men også lovgivningsmæssig karakter. Lovgivningen synes ikke at kunne følge med den hastige udvikling inden fordataanalyse i almindelighed. For Danmarks vedkommende gælder EUs lovgivningen på området, men den bygger på et direktiv fra 1995. (Se link til direktivnedenfor). Der er i 2012 igangsat en større reform, som kan matche udviklingen, men som citatet nedenfor viser, er det en meget langsommelig proces at laveregulativer på området. Selvom det nye direktiv er trådt i kraft i 2016, gælder det først fra 2018 - det har altså været 6 år undervejs, før det effektueres:

"In January 2012, the European Commission proposed a comprehensive reform of data protection rules in the EU.On 4 May 2016, the official texts of the Regulation and the Directive have been published in the EU Official Journal in all the official languages. While theRegulation will enter into force on 24 May 2016, it shall apply from 25 May 2018. The Directive enters into force on 5 May 2016 and EU Member States have totranspose it into their national law by 6 May 2018.The objective of this new set of rules is to give citizens back control over of their personal data, and to simplify the regulatory environment for business. (...)".(Se link til kilde nedenfor)

Udviklingen tenderer til, at datasubjekter skal have større magt over deres data, dataportablility samt kunne få dem udleveret og slettet, hvis det ønskes.Når Niall Sclater i "Code og Practice for Learning Analytics" bl.a. diskuterer ansvarlighed, transparens, samtykke, ret til egne data, adgang til egne data oginformation om deres brug, m.m., taler det ind i denne kontekst. Udfordringen ligger dog i, at udviklingen går så stærkt, at det langt hen af vejen er op til dem,som opsamler data, at udvise "god dataskik", og der kan, som tidligere nævnt, opstå en interessekonflikt, hvor gevinsterne ved opsamling af data skønnesstørre end hensynet til det enkelte datasubjekt.

Link til EU's direktiv fra 1995 Link til EU artikel om reform af direktiv






Konklusion Kilder

Konklusion og afsluttende bemærkninger

Vi kan konkludere, at Txtanalyser synes at virke fra elevvinkel, når eleven vel at mærke gør brug af programmet, mens lærervinklen er mangelfuld og giverikke læreren det hurtige overblik over elevernes skrivekompetencer og progression, som det giver udtryk for. Ved at åbne hver enkelt elevs statistik (ellerdownloade en samlet CSV-fil) kan læreren få adgang til information om antal fejl fordelt på fejltyper, rettede fejl og ignorerede fejl samt se en linjegraf overelevens udvikling.Da programmet opsamler data kontinuerligt på alt, hvad eleven skriver, er det ikke muligt at sammenligne skrivesituationer eller beregne antal fejl ud fraantal skrevne ord samlet. Læreren må selv indsamle denne viden, fx ved at oprette et nyt hold, hver gang eleverne skal bruge TxtAnalyser, og derefter holderegnskab med, hvor mange ord hver elev har skrevet i det pågældende tidsrum. Det er på ingen måde tidsbesparende.Uden den information siger TxtAnalyser ikke ret meget om den enkelte elevs skrivekompetence i forhold til de målte parametre, da der - udover skriftligtniveau - selvfølgelig også er en sammenhæng mellem antal skrevne ord og antal fejl, og som lærer vil man i hvert fald ikke kunne sammenligne elevernesniveau ud fra TxtAnalysers data.

Vi har også undersøgt og fundet ud af, at TxtAnalysers visualisering af holdets samlede resultat via et cirkeldiagram på ingen måde kan anvendes. Fx kan fåelever med mange fejl indenfor et af fejlområderne få det til at se ud som om, holdet generelt har problemer med det pågældende område, og dermed fålæreren til at tilrettelægge sin undervisning ud fra en fejlagtig antagelse. En yderligere problemstilling ved TxtAnalysers data er, at den medtager lærerensom en elev profil, der medregnes i det samlede resultat.Via Tableau har vi vist at fx et søjlediagram give et langt hurtigere overblik over holdet samlet, samtidig med at det rummer detaljer om hver enkeltspræstation. Derudover er det muligt at bruge det interaktive dashboard til hurtigt at fremkalde yderligere detaljer.

Vi er kommet frem til, at det eneste, det rigtigt giver mening at bruge elevernes data til i deres nuværende form, er en analyse af den enkeltes brug afværktøjet, altså i hvor høj grad den enkelte elev anvender programmet til at rette eller bevidst ignorere de fejl, som programmet registrerer.

Derudover er der en etisk problemstilling i, at TxtAnalyser kobles op på elevernes UNI-Login, og herigennem opnår forældrenes samtykke uden deres vidende,men ikke angiver retningslinjer for, hvorledes de håndterer elevernes personlige data ,og hvad der vil ske med disse data ved et evt. salg af TxtAnalyser tilandre aktører.

Sidst, men ikke mindst, er det bekymrende, at der lovmæssigt er så stort et efterslæb og at regler om beskyttelse af personlig data derfor ikke ertidssvarende.

Afsluttende bemærkningerI disse år hvor apps, programmer og LMS'er til skolen i stigende grad anvender dataopsamling og visualiseringer for at lette lærerens arbejde, har det væretbekymrende gennem arbejdet med opgaven at opdage, på hvor dårligt et grundlag, dette gøres i vores konkrete eksempel. Man kan frygte, at dette ikke er enenlig svale. For lærerprofessionen betyder det, at data literacy og en vis indsigt i Learning Analytics - rent praktisk, teoretisk og etisk - bliver en afgørendekompetence i årene, der kommer, for at sikre, at Learning Analytics implementeres og anvendes på en redelig og etisk måde.






Konklusion Kilder

KilderApplications, Vol. 5, No. 12, 2014http://thesai.org/Downloads/Volume5No12/Paper_10-Natural_Language_Processing.pdf

2: Buckingham Shum, Simon; Knight, Simon; McNamara, Danielle; Allen, Laura; Bektik, Duygu and Crossley, Scott (2016). Critical perspectives on writinganalytics. In: LAK ’16 Proceedings of the Sixth International Conference on Learning Analytics & Knowledge, ACM, New York, pp. 481–483.http://oro.open.ac.uk/46517/1/LAK16%20Writing%20Analytics%20Wkshp%20-%20FINAL.pdf

3: EU: Directive 95/46/EC of the European Parliament and of the Council of 24 October 1995 on the protection of individuals with regard to the processing ofpersonal data and on the free movement of such datahttp://eur-lex.europa.eu/LexUriServ/LexUriServ.do?uri=CELEX:31995L0046:en:HTML

4: EU: Protection of Personal Data: http://ec.europa.eu/justice/data-protection/

5: Greller, W. og Drachsler, H: " Translating Learning into Numbers: A Generic Framework for Learning Analytics". Educational Technology & Society, 15 (3),42–57. 2012 http://ifets.info/journals/15_3/4.pdf

6: Litman, Diane: Natural Language Processing for Enhancing Teaching and Learning, Proceedings of the Thirtieth AAAI Conference on Artificial Intelligence(AAAI-16) http://www.aaai.org/ocs/index.php/AAAI/AAAI16/paper/download/12310/12208

7: Sclater, Niall: Code of Practice for Learning Analytics, JISC, 2015 https://www.jisc.ac.uk/guides/code-of-practice-for-learning-analytics

8: UVM, STIL: UNI-Login for lærere og elever: http://stil.dk/Arbejdsomraader/Administration-og-infrastruktur/UNI-Login/For-laerere-og-elever

9:UVM, STIL: Håndtering af personlige oplysninger via UNI-Login http://stil.dk/Arbejdsomraader/Administration-og-infrastruktur/UNI-Login/Haandtering-af-personlige-oplysninger-via-UNI-Login

10: Whitelock, Denise: Denise Whitelock@ LASI 2015 - Testing OpenEssayisthttps://www.youtube.com/watch?v=eULsVzhBOY4&t=4s&index=3&list=PLbHDf3CYt-9p4OTlzTPj2aVLs5Q3sdPwD

11: Wikipedia on NLP: https://en.wikipedia.org/wiki/Natural_language_processing

MOOCS/Online courses:Coursera: Fundamentals of Visualization with Tableau, https://www.coursera.org/specializations/data-visualizationCoursera: Essential Design Principles for Tableau, https://www.coursera.org/specializations/data-visualizationCoursera: Visual Analytics with Tableaum https://www.coursera.org/specializations/data-visualizationTableau: Tableau Training and Tutorials: http://www.tableau.com/learn/training..

en analyse af programmet txtanalyser - danmark og...

Documents