elearning netzwerktag 2008: webbasierter self-assessments an der universität frankfurt...
TRANSCRIPT
eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt
Studienerfolg dank Self-Assessments?! Web-basierte Self-Assessmentsan der Universität Frankfurt
Siegbert Reiß
J.W. Goethe-University Frankfurt am Main
eLearning Netzwerktagam 30. Juni 2008 in Frankfurt am Main
eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt2
Übersicht
•Entwicklungsanlass
•Was meint Self-Assessment?
•Entwicklungsschritte eines Self-Assessments
•Technische Anforderungen
•Evaluation prognostischer Validitäten
•Resümee
eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt3
•Hohe Studienbewerberzahlen/Zulassungsbeschränkung
•Hohe Studienabbruchzahlen
•Lange Studienzeiten
•„Erstsemester-Schock“ bei vielen Studierenden
Entwicklungsanlass
eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt4
•Das Hochschulrahmengesetz (§ 14) verpflichtet die
Hochschulen, die „Studierenden und Studienbewerber über
die Studienmöglichkeiten und über Inhalte, Aufbau und
Anforderungen eines Studiums" zu unterrichten und sie
„durch eine studienbegleitende fachliche Beratung" zu
unterstützen.
Entwicklungsanlass
eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt5
•Die Beratung von Studieninteressierten vor einer
Studienentscheidung stellt eine notwendige und wichtige
Kommunikations- und Serviceleistung der Hochschulen dar
(Profilierung der Hochschulen).
•Die Studienberatung soll Informationen über die
Studienvoraussetzungen und Studienanforderungen für alle
in Betracht kommenden Studiengänge anbieten.
Entwicklungsanlass
eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt6
•Studienberatung soll einen Vergleich der Fähigkeiten, der
Bedürfnisse und Erwartungen des Einzelnen mit den
Anforderungen des interessierenden Studienfaches
ermöglichen.
•Potenzielle Studienbewerber müssen sich Klarheit darüber
verschaffen können, ob das Studienangebot der Hochschule
ihrer Wahl zu ihren Wünschen passt und ob sie die
Studienanforderungen nach eigener Einschätzung erfüllen
(Person-Job-Fit-Ansatz).
Entwicklungsanlass
eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt7
•Entwicklung und Evaluation eines Konzeptes für die
Beratung und Rückmeldung sowie für die Auswahl von
Bewerbern für das Studium der Informatik und der
Psychologie in Frankfurt.
•Gemeinsames Projekt der Studiengänge Informatik und
Psychologie in der Erwartung, dass die Rückmeldung aus
dem Online-Self-Assessment zu einer besseren Passung
zwischen Bewerber und Studiengang führt (höhere
Studienzufriedenheit, geringere Zahl von Studienab-
brüchen, kürzere Studiendauer).
Entwicklungsanlass
eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt8
•Web-basiertes und selbstgesteuertes Beratungsinstrument
•Richtet sich an Studieninteressierte •Bietet die Möglichkeit, die eigenen Fähigkeiten und akademischen Orientierungen zu erforschen
•Verwendet unterschiedliche Aufgaben und Fragen, die sich auf die spezifischen Anforderungen des Studienfachs beziehen
•Meldet individuelle Stärken und Schwächen des Teilnehmers hinsichtlich kognitiver Fähigkeiten, der Studienmotivation und zum Studierverhalten unter Bezugnahme auf die Studierendenpopulation des Faches zurück
Was meint Self-Assessment?
eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt
Entwicklungschritte eines SelfAssessments
Identifika-tion der Studieanfor-derungen
Literatur, Arbeitskreise, Befragungen und Absolventen-studien
Überführung der identifizierten Anforderungen in psychologische Konstrukte
Entwicklung von Tests und Fragenbogen zur Messung der definierten Konstrukts
Datengeleitete Verbesse-rungen der eingesetzten Tests und Fragebogen
Überprüfungder of Akzeptanz, Effekte Laufbahnent-scheidung und prädictive Validität
Anwendung
Datensamm-lungvia Internet, in Schulen, Laufbahn-beratung etc.
Anforderungen
Konstrukte
Test Konstruktion
Evaluation
(modifiziert nach Hornke, 2007)
eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt10
•Bewahrung der Anonymität der Teilnehmer (Zuordnung der Psychologiestudierenden über eine zusätzliche Kodierung)
•Dauer der Bearbeitung bei 60 bis 90 Minuten•Online- und Offline-Bearbeitung (Modul können nacheinander herunter geladen werden)
•Unterstützung einer festgelegten Bearbeitungsreihenfolge (Fehlermeldung bei Nichteinhaltung der Reihenfolge)
•Einschränkung maximaler Bearbeitungszeiten durch Timer; zeitbeschränkte Pausen zwischen einzelnen Blöcken; keine Zeiteinschränkung zwischen den Modulen
Technische Anforderungenan das Tool
eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt11
Startseite des Self-Assessments Psychologie
eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt
Teilnehmerrückmeldung
eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt13
•Stichprobe Psychologie
- Insgesamt 74 Studierende der Pflichtlehrveranstaltung
„Psychologische Statistik I“ im ersten Studiensemesters
bearbeiteten das Online-Self-Assessment und erhielten dafür
Credits (quasi Vollerhebung einer Semesterkohorte).
•Stichprobe Informatik
– Insgesamt 84 Studierende der Lehrveranstaltung „Grundlagen
der Programmierung I“ bearbeiteten auf freiwilliger Basis das
Online-Self-Assessment.
Erprobungsstichprobenfür das Self-Assessment
eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt
Prognose von Studienleistung- Beziehung Kognitive Leistung zu
Leistung „Psychologische Statistik I“ N~62
Leistung „Grundlagen der Programmierung 1“ N~84
Skala Prog. ValiditätSpearman r
Textverständnis Deutsch - .01
Textverständnis Englisch .12
Stochastik .56 **
Prozentrechnung .21
Bruchrechnung .09
Algebra .41 **
Schlussfolg. Denken – verb. .41 **
Schlussfolg. Denken – fig. .02
Gesamtscore (Summenwert) .46 **
Skala Prog. ValiditätSpearman r
Textverständnis Deutsch .11
Textverständnis Englisch .12
Logik .19
Mathematik .28 *
Algorithmisches Denken .31 **
Schlussfolg. Denken - fig. .02
Gesamtscore (Summenwert) .31 **
eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt
Leistung “Psychologische Statistik I” N~59
Prognose von Studienleistung- Beziehung Studierverhalten und Studienmotivation zu
SkalaProg. Validität
Spearman rÄngstlichkeit - .10
Anspruchsniveau .23
Arbeitshaltung - .16
Flow .28 *
Kontrollüberzeugung .12
Leistungsanspruch .12
Lernbereitschaft. .01
Offenheit für Neues. - .04
Entscheidungsfähigkeit - .31 *
Stressbewältigung .36 **
Zielgerichtetheit .10
Zuversicht .18
Leistung “Grundlagen der Programmierung 1” N~84
SkalaProg. Validität
Spearman rÄngstlichkeit .06
Anspruchsniveau - .16
Arbeitshaltung .20
Flow - .12
Kontrollüberzeugung - .01
Leistungsanspruch - .05
Lernbereitschaft. - .03
Offenheit für Neues. .03
Entscheidungsfähigkeit .15
Stressbewältigung -.09
Zielgerichtetheit .07
Zuversicht .20
eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt16
•Die Prüfung der prognostischen Validität erfordert die Kontrolle der Erprobungsstichprobe hinsichtlich Selektions-effekten und einer korrekten Aufgabenbearbeitung durch dieTeilnehmer.
•Ist beides gewährleistet, sind die aus Studierendenauswahl-verfahren bekannten prognostischen Validitäten erzielbar.
•Weitere Studien zur prognostischen Validität des Verfahrens (z. B. in Hinsicht auf Zwischenprüfungen) sind notwendig.
•Insgesamt konnten die ersten Untersuchungen an Studien-anfängern die Praktikabilität und Validität des web-basierten-Self-Assessments bestätigen, so dass unseres Erachtens seiner Nutzung im Rahmen der Studienfachent-scheidung nichts entgegen steht.
Resümee
eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt17
Adresse
https://www.gdv.informatik.uni-frankfurt.de/self-assessment/Informatik/ https://www.gdv.informatik.uni-frankfurt.de/self-assessment/Psychologie/
Johann Wolfgang Goethe-Universität FrankfurtAbtlg. für Psychologische Methodenlehre, Evaluation und ForschungsmethodikAbtlg. für Graphische Datenverarbeitung
Vielen Dank für Ihre Aufmerksamkeit
eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt18
Bestandteile des Self-Assessments
Zehn inhaltlichen Aufgabenblöcke (im Flash-Format),
zusammengefasst zu drei Modulen
Acht organisatorische HTML-Seiten mit Beschreibungen der Ziele
und der Funktionsweise des Self-Assessments
(Start-, Beschreibungs- Registrierungs-, Zugangs-,
Auswertungsseite und Seiten zum Passwortmanagement)
eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt19
Zusammensetzung der Module
Modul I (ca. 60 Minuten):
Studierverhalten und Studienmotivation I, Textverständnis
Deutsch, Textverständnis Englisch, Mathematische Kompetenz
(Stochastik, Bruchrechnen, Prozentrechnen, Algebra)
Modul II (ca. 30 Minuten):
Studierverhalten und Studienmotivation II, Interpretation von
Tabellen und Diagrammen, Schlussfolgerndes Denken – verbal
(Analogieaufgaben)
Modul III (ca. 10 Minuten):
Studierverhalten und Studienmotivation III, Interesse an
Inhalten des Psychologiestudiums, Schlussfolgerndes Denken –
figural (Matrizenaufgaben)
eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt20
Modul I (ca. 60 Minuten):
Studierverhalten und Studienmotivation I, Textverständnis
Deutsch, Textverständnis Englisch, Mathematische Kompetenz
(Stochastik, Bruchrechnen, Prozentrechnen, Algebra)
Modul II (ca. 30 Minuten):
Studierverhalten und Studienmotivation II, Interpretation von
Tabellen und Diagrammen, Schlussfolgerndes Denken – verbal
(Analogieaufgaben)
Modul III (ca. 10 Minuten):
Studierverhalten und Studienmotivation III, Interesse an
Inhalten des Psychologiestudiums, Schlussfolgerndes Denken –
figural (Matrizenaufgaben)
Zusammensetzung der Module
eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt21
Modul I (ca. 60 Minuten):
Studierverhalten und Studienmotivation I, Textverständnis
Deutsch, Textverständnis Englisch, Mathematische Kompetenz
(Stochastik, Bruchrechnen, Prozentrechnen, Algebra)
Modul II (ca. 30 Minuten):
Studierverhalten und Studienmotivation II, Interpretation von
Tabellen und Diagrammen, Schlussfolgerndes Denken – verbal
(Analogieaufgaben)
Modul III (ca. 10 Minuten):
Studierverhalten und Studienmotivation III, Interesse an
Inhalten des Psychologiestudiums, Schlussfolgerndes Denken –
figural (Matrizenaufgaben)
Zusammensetzung der Module
eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt22
eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt23
•Interne Erprobungsversion seit Juni 2006 zugänglich- Gegliedert in zehn inhaltlichen Aufgabenblöcke (7 Skalen zum Leistungsbereich,
12 Skalen zum Studierverhalten und zur Studienmotivation, 4 Interessensbereiche)
zusammengefasst in drei Modulen
- 60 bis 90 Minuten durchschnittliche Bearbeitungsdauer
- Online- und Offline-Bearbeitung möglich
- Unterstützung einer festgelegten Bearbeitungsreihenfolge der Blöcke
- Einschränkung maximaler Bearbeitungszeiten der Blöcke durch Timer;
zeitbeschränkte Pausen zwischen einzelnen Blöcken; keine Zeitein schränkung
zwischen den Modulen
•Erprobungsstichproben SS2006/WS2006/07 und SS 2007
• Öffentliche Zugänglichkeit seit SS 2008
Aktueller Entwicklungsstanddes Online- Self-Assessment Psychologie
eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt
Integration des SelfAssessments inden Prozess der Laufbahnentscheidung
Akademische LaufbahnentscheidungAkademische Laufbahnentscheidung
Entscheidung
Eltern, Lehrer, Freunde
Klasse 11 12 (13) Abitur Universitätszulassung
Begleitet durch:
Beratungs- und Informationsdienste Auswahl
Internet, Medien
Self-Assessment
Informationsmaterial der Universitäten
(nach Hornke, 2007)
eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt
Skalenanalysen Kognitive LeistungenInformatik
Skala Cronbach’s α Item-anzahl
Erklärte Varianz auf dem 1. Faktor
Logik 0,35 4 36,8%
Mathematik 0,52 6 30,6%
Algorithmisches Denken 0,41 5 31,4%
Textverständnis Deutsch 0,43 2 63,8%
Textverständnis Englisch 0,13 3 37,0%
Figurale Matrizenaufgaben 0,73 11 33,1%
eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt
Skalenanalysen Kognitive LeistungenInformatik
Skala Cronbach’s α Item-anzahl
Erklärte Varianz auf dem 1. Faktor
Kontrollüberzeugung 0,63 6 37,2%
Entscheidungsfähigkeit 0,74 4 57,2%
Belastbarkeit (Ängstlichkeit) 0,76 7 44,7%
Zuversicht 0,82 9 48,5%
Risikobereitschaft (Offenheit für Neues) 0,67 7 34,5%
Zielgerichtetheit 0,75 10 32,5%
Erfolgsorientierung (Stressbewältigung) 0,81 9 41,8%
Flow 0,80 8 42,2%
Leistungsdenken 0,84 10 42,5%
Lernbereitschaft 0,64 4 49,5%
Anspruchsniveau 0,87 7 58,2%
Lerntechniken 0,54 4 43,2%
Arbeitshaltung 0,71 9 53,6%
Interessenfragen 0,85 20 30,4%
eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt
N= 144<>146
Skalenanalysen Stichprobe I und IIKognitive Leistungen
1 Faktorenanalysen für dichotome Items wurden mit dem Programm mixFactor 1.3.75 von Häusler & Kubinger (Universität Wien) durchgeführt.
Skala Cronbachs α Itemanzahl Erklärte Varianz auf dem 1. Faktor1
Algebra .53 5 52,3 % Bruchrechnen .62 6 61,7 % Prozentrechnen .66 4 73,6 % Schlussfolgerndes Denken – figural
.82 12 66,3 %
Schlussfolgerndes Denken – verbal .66 11 39,0 % Stochastik .53 5 44,8 % Textverständnis - Deutsch .56 8 39,1 % Textverständnis – Englisch .54 5 66,4 %
eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt
N= 144<>146
Skalenanalysen Stichprobe I und II
Studierverhalten und Studienmotivation
Skala Cronbachs α Itemanzahl Erklärte Varianz auf dem 1. Faktor1
Ängstlichkeit .82 9 42,7 % Anspruchsniveau .87 7 57,7 % Arbeitshaltung .82 8 45,2 % Flow .77 8 39,2 % Kontrollüberzeugung .55 4 43,3 % Leistungsanspruch .83 10 41,5 % Lernbereitschaft .51 5 35,0 % Offenheit für Neues .76 6 45,9 % Entscheidungsfähigkeit .79 6 50,0% Stressbewältigung .83 9 43,2 % Zielgerichtetheit .79 9 39,2 % Zuversicht .86 10 47,0 %
eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt
Prognose von Studienleistung- Beziehung Kognitive Leistung zu Leistung im Fach „Psychologische Statistik II“
Stichprobe N~46
.47**Gesamtscore (Summenwert)
.10Schlussfolgerndes Denken - figural
.43**Schlussfolgerndes Denken - verbal
.15Algebra
.25Bruchrechnung
.32*Prozentrechnung
.32*Stochastik
.18Textverständnis Englisch
.20Textverständnis Deutsch
Prog. Validität
Spearman r
Skala
.47**Gesamtscore (Summenwert)
.10Schlussfolgerndes Denken - figural
.43**Schlussfolgerndes Denken - verbal
.15Algebra
.25Bruchrechnung
.32*Prozentrechnung
.32*Stochastik
.18Textverständnis Englisch
.20Textverständnis Deutsch
Prog. Validität
Spearman r
Skala
eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt
Stichprobe N~45
Prognose von Studienleistung- Beziehung Studierverhalten und Studienmotivation zu Leistung im Fach “Psychologische Statistik II”
Skala Prog. ValiditätSpearman r
Ängstlichkeit -.23
Anspruchsniveau .18
Arbeitshaltung -.03
Flow .20
Kontrollüberzeugung .21
Leistungsanspruch -.06
Lernbereitschaft -.09
Offenheit für Neues .04
Entscheidungsfähigkeit -.15
Stressbewältigung .28
Zielgerichtetheit .19
Zuversicht .24
eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt
Vorhersagemodell für das Kriterium Studienerfolg (Leistung im Fach „Psychologische Statistik I“) von Stichprobe II (N=57).
Prognose von Studienleistung
4 Einflußvariablen: R R2
Kognitive Leistung (Summenwert)EntscheidungsfähigkeitFlowStressbewältigung .52 .27