SAMSelf-Assessment-Test Mathematik

an der Fakultät für Physik der Universität Wienim WS 2010/11

Franz Embacher

Seminar Hochschuldidaktik in der Naturwissenschaft11. April 2011

SAM: Eckdaten

• Ziele:• Erhebung mitgebrachter mathematischer Kompetenzen von

StudienanfängerInnen• möglichst frühes Feedback an die Studierenden

• Wurde durchgeführt zwischen 4. und 15. Oktober 2010 im Rahmen der Block-LV

„Einführung in die Physikalischen Rechenmethoden I“ (= „Mathematische Grundlagen für das Physikstudium I“),

einer Pflicht-LV für Studierende der Studienrichtungen Physik Bachelor Physik Lehramt Meteorologie Bachelor/Master,

die auch von Studierenden der Astronomie besucht wird.

• Ergebnisbericht: Jänner 2011 (F.E. und Peter Reisinger, unter Mitarbeit von Hildegard Urban-Woldron und Ingrid Krumphals).

SAM: Inhalte

• Der SAM enthält 353 Einzelfragen aus 19 für das Physikstudium relevanten mathematischen Themenbereichen:

1. Zahlen2. Terme und Formeln3. Elemente der

mathematischen Logik4. Gleichungen5. Gleichungssysteme6. Ungleichungen7. Funktionen allgemein8. Lineare Funktionen9. Quadratische Funktionen10. Potenz- und

Wurzelfunktionen

11. Funktionen undFunktionsgraphen allgemein

12. Winkelfunktionen13. Exponentialfunktionen

e und e14. Logarithmus15. Vektoren16. Geometrie17. Differenzieren allgemein18. Regeln für das

Differenzieren19. Integrieren

x –x

SAM: Inhalte / Punktesystem

• Unterabschnitte: entsprechen einigermaßen genau umrissenen Gruppen von Kompetenzen.

• Abgefragt wurden

• rechentechnische Fertigkeiten und Detailkenntnisse aus dem „Schulstoff“ • konzeptuelles Wissen und Verständnis, das dem „Schulstoff“ entspricht.

• Akkordierung der Testfragen im WS 2009/10 unter Lehrenden,die in LVen des ersten Semesters involviert sind.Aus Zeitgründen keine Validierung vor Einsatz.

• Sommer 2010: Implementierung als Online-Test(http://www.univie.ac.at/sam-physik/).

• Jede Einzelfrage (multiple choice) konnte richtig oder falsch beantwortet werden (1 Punkt / 0 Punkte).

• Daneben gab es die Antwortmöglichkeiten „weiß die Antwort nicht“ und „verstehe die Frage nicht“.

• Nach Bearbeitung eines Themengebiets: Rückmeldung vom System per eMail (Punktestand).

SAM: Durchführung

• Die Teilnahme am Test wurde den Studierenden der Physik als verbindlich erklärt.

• Resultate flossen aber nicht in die Note der LV ein.

• Zusätzlicher Anreiz: bei 17 bearbeiteten Themenbereichen „Guthaben“ von 15% der erreichbaren Punktezahl bei der LV-Prüfung.

• Neben den Antworten auf die Fragen wurde erhoben bzw. ist aufgrund der Authentifizierung (Login) bekannt:

• Identität der Studierenden ( Geschlecht)• Vorbildung (Reifeprüfung in welchem Schultyp bzw. Bildungsgang)• Studienrichtung

• Geschätzter Zeitaufwand: 5 bis 30 Minuten pro Themenbereich.

Die Daten

• Nach erster Bereinigung der Daten:Datensätze von 219 Studierenden, die zumindest einen Themenbereich bearbeitet haben.

• Davon haben 172 alle 19 Themenbereiche bearbeitet Auswertung

• Die 47 Studierenden, die nicht alle Themenbereiche bearbeitet haben:• 13 Studierende … 18 Themenbereiche• 3 … 17• 15 … 8 – 16• 16 … < 8

Absolvierte Themenbereiche

225

197

Testergebnisse insgesamt

Gesamtverteilung der erreichten Punktezahlen (maximal erreichbar: 353)

Die folgende Auswertung umfasst jene 172 Studierenden,die alle 19Themenbereichebearbeitet haben.

Testergebnisse insgesamt

• Im Mittel wurden 244.1 (von 353) Punkte erreicht[= 69.2% der maximal erreichbaren Punktezahl].

• Maximalwert: 339 Punkte [96.0%].

• Minimalwert: 16 Punkte [4.5%].

• Median: 254 Punkte [72.0%].

• 14.5% der Studierenden erreichten weniger als die Hälfte der maximal möglichen Punktezahl (entspricht einem traditionellen „nicht genügend“).

• 9.4% der Studierenden erreichten mehr als 90% der maximal möglichen Punktezahl.

Testergebnisse und Geschlecht

GeschlechtMittlere Punktezahl(% d. max. Pktezahl)

Standardabweichung(% d. max. Pktezahl)

N

weiblich 233.3 (66.1%) 59.9 (17.0%) 51

männlich 248.7 (70.4%) 65.3 (18.5%) 121

gesamt 244.1 (69.2%) 63.9 (18.1%) 172

• Unterschied: nicht signifikant Signifikanz (= p-Wert = Irrtumswahrscheinlichkeit) = 0.15 Effektstärke = 0.012

• Gruppen: Die Gruppe mit weniger als 50% der maximalen Punktezahl besteht aus 13.7 % der weiblichen und 14.9% der männlichen Studierenden. Die Gruppe mit mehr als 90% der maximalen Punktezahl besteht aus 3.9% der weiblichen und 12.4% der männlichen Studierenden.

2

Testergebnisse und Vorbildung

blau: mittlere Punktezahl, rot: Standardabweichung, grau: Gruppengröße (x 10)p = 0.062, = 0.181 (nicht signifikanter, mittelgroßer Effekt)

Aufgrund der großen Streuungen keine signifikante Aussage möglich.

2

Testergebnisse und Studienrichtung

Studienrichtung

MittlerePunktezahl(% d. max. Pktezahl)

Standard-abweichung(% d. max. Pktezahl)

N

Physik und Mathematik Lehramt

271.9 (77.0%) 43.6 (12.4%) 21

Physik Bachelor 253.2 (71.7%) 59.2 (16.8%) 79

Astronomie Bachelor 250.0 (70.8%) 58.4 (16.5%) 12

Physik und Astronomie Bachelor

241.9 (68.5%) 69.8 (19.8%) 9

Sonstige 232.0 (56.7%) 100.4 (28.4%) 2

Meteorologie 221.8 (62.8%) 70.7 (20.0%) 19

Physik und anderes Fach als Mathematik Lehramt

214.0 (60.6%) 72.2 (20.5%) 30

gesamt 244.1 (69.2%) 63.9 (18.1%) 172

Testergebnisse und Studienrichtung

blau: mittlere Punktezahl, rot: Standardabweichungp = 0.02, = 0.086 (signifikanter schwacher Effekt)2

Testergebnisse und Studienrichtung

• Die Gruppe der Lehramts-Studierenden zerfälltin zwei Teilgruppen (mit/ohne Mathematikals zweites Fach)

• Physik Bachelor: 2. Rang!

Testergebnisse nach Themenbereichen

Verteilung innerhalb der Themenbereiche Ergebnisbericht

 Themenbereich

Anteil der Studierenden mit weniger als der Hälfte

der erreichbaren Punktezahl

19. Integrieren 42.4%16. Geometrie 36.6% 5. Gleichungssysteme 35.5%11. Funktionen und Funktionsgraphen allgemein

34.9%

15. Vektoren 34.3%17. Differenzieren allgemein 32.0%18. Regeln für das Differenzieren 32.0% 7. Funktionen allgemein 31.4%13. Exponentialfunktionen ex und e-

x 15.1%

12. Winkelfunktionen 14.5% 8. Lineare Funktionen 14.0%14. Logarithmus 13.4% 9. Quadratische Funktionen 8.1%10. Potenz- und Wurzelfunktionen 7.6% 4. Gleichungen 7.0% 6. Ungleichungen 5.8% 2. Terme und Formeln 4.1% 1. Zahlen 1.7% 3. Elemente der mathematischen Logik 1.7%

Testergebnisse nach Themenbereichen

Anteil der Studierenden (in%) mit weniger als der Hälfte der erreichbaren Punktezahl

Testergebnisse nach Themenbereichen

Anteil der Studierenden (in%) mit weniger als der Hälfte der erreichbaren Punktezahl

Analysis und Geometrie

(inkl. Vektoren)

Spezielle Funktionen undihre Eigenschaften

(wenig mathematisches Orientierungswissen nötig)

Algebra und elementareFunktionstypen

Einzelfragen mit den schlechtesten Ergebnissen

Themenbereich 1: Zahlen/Unterabschnitt 4/Frage 4(0.6% richtige Antworten, absolut: 1):Eine Antwort ist richtig:

6 7 3

Antwortmöglichkeiten: 42/3, 18/7, 2/7.

=

Weitere Fragen in dieser Hitlist betreffen:• 1/3 – 1/2• Vorzeichen von e und e für positive x• Ableitung als Grenzwert eines Differenzenquotienten

f(x+) – f(x) f(x+) + f(x)

u.ä.vs.

x –x

Einzelfragen mit den schlechtesten Ergebnissen

• Drückt f(x) = 3x + 1 eine direkte/indirekte/keineProportionalität zwischen unabhängiger Variableund Funktionswert aus?

• Drückt G(H) = 2/(H + 1) eine direkte/indirekte/keineProportionalität zwischen unabhängiger Variableund Funktionswert aus?

• Die Menge aller (x, y, z), die y = 2x + 1 erfüllen, isteine Kugel, eine Ebene, eine Gerade.

Empfehlungen an die Fakultät

• In den LVen der mathematischen Grundausbildung Analysis, Geometrie und Vektorrechnungausführlicher behandeln als derzeit vorgesehen.

• Angleichung der stark variierenden Kompetenzen (Lernformen, die die Studierenden verstärkt aktivieren).

• Standardisierung der für ein Physikstudium nötigen mathematischen Kenntnisse und Kompetenzen, inklusive der in der mathematischen Grundausbildung gelehrten (für Lehrende – zur Planung der LVen –und für Studierende – zum Nachlernen) Online-Angebot als „Referenz“ und „Skriptum“ gleichzeitig?

Empfehlungen an die Fakultät

• Zukünftige Einsätze des SAM:

• Kürzen, aber nicht allzu radikal.(Kompetenzen, die heute fast immer gemeinsam vorhanden oder nicht vorhanden sind, könnten in Zukunft auseinandertreten!)

• Einige problematische Fragen ändern (z.B. muss in einer Frage erkannt werden, dass ein Kreis eine Ellipse ist).

• Koppeln mit Erhebung des Lernfortschritts.• Untersuchung, inwieweit wirken sich anfängliche mathematische

Kompetenzlücken auf den späteren Studienerfolg auswirken.

• Längerfristiges Monitoring:

• Frühzeitig Trends im Mathematikunterricht (Zentralmatura,…) erkennen/abfangen.

Danke...

... für eure/Ihre Aufmerksamkeit!

Diese Präsentationund den ausführlichen Ergebnisbericht

gibt‘s im Web unter

http://homepage.univie.ac.at/franz.embacher/PhysikDidaktik/