Die D4-TestungDie D4-TestungGrundlagenGrundlagenManuela GlaboniatManuela Glaboniat

Guenther SigottGuenther Sigott

Zu Beginn …Zu Beginn …

Zu Beginn jeder Testung sind grundsätzliche Zu Beginn jeder Testung sind grundsätzliche Fragen zu klären, die sich unter drei Fragen zu klären, die sich unter drei Überschriften gruppieren lassen:Überschriften gruppieren lassen:

Wozu soll getestet werden?Wozu soll getestet werden? Was soll getestet werden?Was soll getestet werden? Wie soll das WAS getestet werden?Wie soll das WAS getestet werden?

Wozu?Wozu?Tests dienen unterschiedlichen Zwecken:Tests dienen unterschiedlichen Zwecken:

Achievement Test Achievement Test (Lernfortschrittstest): Haben (Lernfortschrittstest): Haben die Kandidaten das Lernziel eines Kurses erreicht?die Kandidaten das Lernziel eines Kurses erreicht?

Proficiency Test Proficiency Test (Qualifikationstest): Beruht auf (Qualifikationstest): Beruht auf einem Kompetenzmodell, das nicht kursspezifisch einem Kompetenzmodell, das nicht kursspezifisch ist.ist.

Placement TestPlacement Test (Einstufungstest): Dient dem (Einstufungstest): Dient dem Zweck, die Kandidaten unterschiedlichen Zweck, die Kandidaten unterschiedlichen Fähigkeitsniveaus zuzuweisen.Fähigkeitsniveaus zuzuweisen.

Diagnostic TestDiagnostic Test (Diagnostischer Test): Soll (Diagnostischer Test): Soll Stärken und Schwächen identifizieren. Soll Stärken und Schwächen identifizieren. Soll Rückmeldung ermöglichen, die für verschiedene Rückmeldung ermöglichen, die für verschiedene Adressaten nützlich ist (Schüler, Lehrer, Adressaten nützlich ist (Schüler, Lehrer, Schulbehörden, Forscher, …)Schulbehörden, Forscher, …)

Wozu D4 Standardstests?Wozu D4 Standardstests?

►DiagnoseDiagnose von Stärken und von Stärken und Schwächen auf der Ebene des Schwächen auf der Ebene des Individuums, der Gruppe, der Schule, Individuums, der Gruppe, der Schule, des Bundeslandes und der Nation.des Bundeslandes und der Nation.

►Nicht als Selektionsinstrument Nicht als Selektionsinstrument intendiert!intendiert!

Was?Was?Die Testkonstrukte der D4-StandardstestungDie Testkonstrukte der D4-Standardstestung

►Verfassen von TextenVerfassen von Texten►Rechtschreiben Rechtschreiben ►Einsicht in Sprache durch Einsicht in Sprache durch

SprachbetrachtungSprachbetrachtung

Verfassen von TextenVerfassen von Texten

►Fähigkeit, bei der Textproduktion den Fähigkeit, bei der Textproduktion den Schreibzweck und Schreibanlass, die Schreibzweck und Schreibanlass, die Leserschaft sowie die Konventionen Leserschaft sowie die Konventionen der Textsorte zu berücksichtigen der Textsorte zu berücksichtigen (Aufgabenerfüllung)(Aufgabenerfüllung)

►Fähigkeit zur Realisierung von Fähigkeit zur Realisierung von Textkohäsion und die Beherrschung Textkohäsion und die Beherrschung von Wortschatz, Grammatik und von Wortschatz, Grammatik und Rechtschreibung Rechtschreibung

RechtschreibenRechtschreiben

► Fähigkeit, einen begrenzten Wortschatz richtig schreiben zu Fähigkeit, einen begrenzten Wortschatz richtig schreiben zu könnenkönnen

► Wissen über die wichtigsten RechtschreibregelnWissen über die wichtigsten Rechtschreibregeln

► D4 Standards – Grundregeln der RechtschreibungD4 Standards – Grundregeln der Rechtschreibung► Groß- und KleinschreibungGroß- und Kleinschreibung► KonsonantenKonsonanten► VokaleVokale► s-Schreibungs-Schreibung► Getrennt- und ZusammenschreibungGetrennt- und Zusammenschreibung► Silben- und WorttrennungSilben- und Worttrennung► Umlaute und ZwielauteUmlaute und Zwielaute► InterpunktionInterpunktion► Schreibung geläufiger FremdwörterSchreibung geläufiger Fremdwörter

Einsicht in Sprache durch Einsicht in Sprache durch SprachbetrachtungSprachbetrachtung► Merkmale und Funktionen von gesprochener und Merkmale und Funktionen von gesprochener und

geschriebener Sprache unterscheidengeschriebener Sprache unterscheiden► Zu einem Wortstamm gehörende Wörter Zu einem Wortstamm gehörende Wörter

erkennen und Bedeutungsunterschiede, erkennen und Bedeutungsunterschiede, Formveränderungen sowie Wortartänderung Formveränderungen sowie Wortartänderung feststellen könnenfeststellen können

► Sprachliche Zeitformen (inkl. unregelmäßiger Sprachliche Zeitformen (inkl. unregelmäßiger Verben), Wort- und Satzarten sowie Satzglieder Verben), Wort- und Satzarten sowie Satzglieder unterscheiden können und über deren Funktion unterscheiden können und über deren Funktion Bescheid wissenBescheid wissen

► In geläufigen Fremdwörtern Besonderheiten und In geläufigen Fremdwörtern Besonderheiten und Unterschiede im Vergleich zu deutschen Wörtern Unterschiede im Vergleich zu deutschen Wörtern erkennenerkennen

Wie?Wie?TestmethodeTestmethode

Welche Gelegenheit(en) geben wir den Welche Gelegenheit(en) geben wir den Schülern, um ihre Fähigkeiten zu zeigen?Schülern, um ihre Fähigkeiten zu zeigen?

Beispiel:Beispiel: Beurteilung von Rechtschreibung in einem TextBeurteilung von Rechtschreibung in einem Text Beurteilung von Rechtschreibung in einem Beurteilung von Rechtschreibung in einem

Multiple-Choice TestMultiple-Choice Test

Gleiches Gleiches WASWAS, aber unterschiedliches , aber unterschiedliches WIEWIE!!

Also …Also …

Wir wollen das Wir wollen das WASWAS messen, messen,

nicht das WIE!nicht das WIE!

WASWAS: : Fähigkeit, die wir messen Fähigkeit, die wir messen wollen.wollen.

WIEWIE: : Fähigkeit, mit dem Testformat Fähigkeit, mit dem Testformat zurechtzukommen, die zurechtzukommen, die

wir nicht wir nicht messen wollen.messen wollen.

Item 1Item 1

You are asking your friend a lot of You are asking your friend a lot of questions about him/her and questions about him/her and his/her family. Choose the right his/her family. Choose the right answer for each of the questions answer for each of the questions (there is only one correct answer (there is only one correct answer per question!) and fill in the per question!) and fill in the empty boxes with the correct empty boxes with the correct number.number.

11 Can Tom drive a car?Can Tom drive a car? Yes, they have.Yes, they have.

22Is your brother goodIs your brother goodat swimming?at swimming? No, she isnNo, she isn’’t.t.

33Are you listening to theAre you listening to theradio?radio? Yes, I have.Yes, I have.

44 Have you got a cousin?Have you got a cousin? Yes, it is.Yes, it is.

55 Can you come to our barbecue?Can you come to our barbecue? No, he isnNo, he isn’’t.t.

66Does your sister go toDoes your sister go tonursery school?nursery school? No, they canNo, they can’’t.t.

77Has your aunt gotHas your aunt gota husband?a husband? Yes, we are.Yes, we are.

88Do your parents oftenDo your parents oftengo out in the evenings?go out in the evenings? No, I donNo, I don’’t.t.

Yes, we do.Yes, we do.

No, they havenNo, they haven’’t.t.

No, we canNo, we can’’t.t.

Yes, he can.Yes, he can.

No, they donNo, they don’’t.t.

Yes, she can.Yes, she can.

Yes, she has.Yes, she has.

No, she doesnNo, she doesn’’t.t.

Item 1Item 1

Tick the answer which is Tick the answer which is grammatically correct:grammatically correct:

Is your brother good at Is your brother good at swimming?swimming?

Yes, he can.Yes, he can.

Yes, you are.Yes, you are.

Yes, he does.Yes, he does.

No, he isn’t.No, he isn’t.

WAS vs WIEDu hast für diese Aufgabe 10 Minuten Zeit.Lies die Anleitung gut durch und schreib Deinen Text auf dasbeiliegende Blatt. Dein kurzer Brief oder Deine Email soll 40bis 60 Wörter lang sein.

Deine Tante in Amerika hat Dir ein Geburtstagsgeschenkgeschickt. Schreib einen kurzen Brief oder eine Email, umdich zu bedanken. Sag Deiner Tante, dass Dir das Geschenksehr gut gefällt und warum Du es gut gebrauchen kannst. Dukannst sie auch fragen, ob Du sie in den Sommerferienvielleicht besuchen kannst.

Du könntest Deinen Brief so beginnen:Liebe Tante Lizzy!.................................................. Wenn Sie den resultierenden Text im Hinblick auf

GRAMMATIKbeurteilen, was ist dann Ihr WAS (das Testkonstrukt)?

WAS vs WIEDu warst vor ein paar Tagen bei der Geburtstagsparty DeinesDu warst vor ein paar Tagen bei der Geburtstagsparty DeinesFreundes/Deiner Freundin. Schreib ihm/ihr ein Email, um ihm/ihr Freundes/Deiner Freundin. Schreib ihm/ihr ein Email, um ihm/ihr

zuzusagen, dass Dir die Party gefallen hat.sagen, dass Dir die Party gefallen hat.

Sag ihm/ihr, warum Dir die Party gefallen hat.Sag ihm/ihr, warum Dir die Party gefallen hat. Sag ihm/ihr, was Dir am besten gefallen hat.Sag ihm/ihr, was Dir am besten gefallen hat. Frag ihn/sie, wann ihr einander wiedersehen könnt.Frag ihn/sie, wann ihr einander wiedersehen könnt. Mach einen Vorschlag für das kommende Wochenende.Mach einen Vorschlag für das kommende Wochenende.

Wenn Sie den resultierenden Text im Hinblick auf WORTSCHATZ beurteilen, was ist dann Ihr WAS (das Testkonstrukt)?

Wenn Sie den resultierenden Text im Hinblick auf TEXTAUFBAU beurteilen, was ist dann Ihr WAS (das Testkonstrukt)?

Grid for developing a rating scale

Dimension 1Dimension 1…………………………………………………………

Dimension 2Dimension 2………………………………………………………………

Dimension 3Dimension 3…………………………………………………………

Dimension 4Dimension 4……………………………………………………………………

excelleexcellent (1)nt (1)

pass pass (4)(4)

Dimensionen vs NiveausDimensionen vs Niveaus

DimensionenDimensionen sind die Maßstäbe, mit denen sind die Maßstäbe, mit denen

wir die Fähigkeiten in einem Bereich wir die Fähigkeiten in einem Bereich messen.messen.

NiveausNiveaus sind die Marken auf dem Maßband. sind die Marken auf dem Maßband.

Diese können mit Deskriptoren beschriebenDiese können mit Deskriptoren beschrieben

werden.werden.

Zwei Ansätze zur Leistungsmessung:Zwei Ansätze zur Leistungsmessung:

Zählen vs BeurteilenZählen vs Beurteilen► ZählenZählen: Die Leistung wird durch das Zählen : Die Leistung wird durch das Zählen

gelöster Aufgaben ausgedrückt.gelöster Aufgaben ausgedrückt.► BeurteilenBeurteilen: Die Leistung wird durch die : Die Leistung wird durch die

Positionierung der Performanz auf einem Positionierung der Performanz auf einem Niveau ausgedrückt. Dies erfolgt durch das Niveau ausgedrückt. Dies erfolgt durch das Vergleichen der Performanz mit einer für das Vergleichen der Performanz mit einer für das jeweilige Niveau typischen Performanz (dem jeweilige Niveau typischen Performanz (dem sogenannten Benchmark). Dabei soll nichts sogenannten Benchmark). Dabei soll nichts gezählt werden, sondern der Gesamteindruck gezählt werden, sondern der Gesamteindruck auf der jeweiligen Dimension ist auf der jeweiligen Dimension ist ausschlaggebend.ausschlaggebend.

Heute und morgen wirdHeute und morgen wird

beurteiltbeurteilt, nicht gezählt!, nicht gezählt!

Gütekriterien für jeden TestGütekriterien für jeden Test

► ReliabilitätReliabilität (Zuverlässigkeit): Beurteilungen müssen (Zuverlässigkeit): Beurteilungen müssen zuverlässig sein.zuverlässig sein.

Interrater-Reliabilität: Übereinstimmung zwischen Interrater-Reliabilität: Übereinstimmung zwischen verschiedenen Ratern.verschiedenen Ratern.

Intrarater-Reliabilität: Übereinstimmung desselben Intrarater-Reliabilität: Übereinstimmung desselben Raters mit sich selbst zu verschiedenen Zeiten.Raters mit sich selbst zu verschiedenen Zeiten.

► Validität:Validität: Beurteilungen müssen das widerspiegeln, Beurteilungen müssen das widerspiegeln, was beurteilt werden soll. Wenn Grammatik beurteilt was beurteilt werden soll. Wenn Grammatik beurteilt werden soll, dürfen nicht Wortschatz und/oder werden soll, dürfen nicht Wortschatz und/oder Textaufbau mitbeurteilt werden.Textaufbau mitbeurteilt werden.

Die Raterschulung hat den Zweck, Die Raterschulung hat den Zweck, ReliabilitätReliabilität

und Validität bei der Messung derund Validität bei der Messung der

Kompetenzen im Bereich Kompetenzen im Bereich Verfassen vonVerfassen von

TextenTexten sicherzustellen. sicherzustellen.

Viel Spaß!Viel Spaß!