1
Reinhold Nickolaus
Kompetenzmessung in der Beruflichen Bildung
Vortrag im Rahmen der Fachtagung für Personal in der Beruflichen Bildung der IGM am 7.6.13
2
Aufbau
1. Vorbemerkungen
2. Kompetenzen und ihre Messung
3. Beispiele für neue Testformen
4. Ansprüche an Kompetenzmessungen und Probleme ihrer Einlösung
5. In ASCOT bearbeitete Fragen, zugleich eine Zusammenfassung
6. Ausblick: Erprobung neuer Aufgabenformate in Prüfungskontexten?
3
1. Vorbemerkungen
• Konzentration auf gewerblich-technischen Bereich
• Ziel: Einblicke in neue Testformen und wissenschaftliche Erkenntnisse zur Kompetenzmessung geben
• Unterschiedliche Ziele der Kompetenzmessung und damit verbundene Implikationen
• Individualdiagnostik
• Vergleiche auf institutioneller Ebene
• Internationale Vergleichsstudien (Problem der Vergleichbarkeit)
• Besondere Anforderungen in Prüfungskontexten
4
2. Kompetenzen und ihre Messung
Definition: Mit Kompetenzen bezeichnen wir erwerbbare Fähigkeiten/Fertigkeiten, die zur Leistungserbringung in spezifischen, auch problemhaltigen Anforderungen befähigen (sowie die Bereitschaft, diese Fähigkeiten/Fertigkeiten einzubringen)
Was verbirgt sich hinter diesen Fähigkeiten und Fertigkeiten und wie können wir diese erfassen?
Was haben diese Fähigkeiten und Fertigkeiten mit fachspezifischem und handlungsbezogenem explizitem und implzitem Wissen zu tun?
Wie ist die Bereitschaft/Motivation die eigenen Fähigkeiten in den Leistungserstellungsprozess einzubringen mit den Fähigkeiten und Fertigkeiten verknüpft?
5
Handlungsbezogenes Wissenssystem (HBS)
Repräsentationen expliziter Handlungsregeln
Repräsentationen impliziter Handlungsstrukturen
Motivation Metakognitives System
Evaluation/ Überwachung
Handlung/ Leistung
Umwelt
Nicht handlungsbezogenes Wissenssystem (NHBS)
Repräsentation expliziten statischen Wissens
Repräsentation impliziten statischen Wissens
explizit
implizit
Ziele
CLARION – Modell (Abele 2013)
6
Ansprüche an valide Kompetenzmessungen: Konstrukt-, inhalts- und kriterienbezogene Validität
Konstruktvalidität – Validitätsprobleme auf Konstruktebene
• Ist bzw. unter welchen Bedingungen ist das Gesamtkonstrukt beruflicher Handlungskompetenz (Fach-, Sozial- und Personalkompetenz) valide abbildbar?
• Wie kann gewährleistet werden, dass die Subdimensionen valide erfasst werden können?
a) bei Beschränkung auf Fähigkeiten/Fertigkeiten/Dispositionen
b) bei Einbezug von Bereitschaften
Inhaltsvalidität - Welche Inhalte bzw. Anforderungstypen sind zu berücksichtigen?
Kriterienbezogene Validität – Maßstab reale Arbeitsproben
7
Strukturmodelle berufsfachlicher Kompetenz im gewerblich - technischen Bereich
Grundlegende Fragen: Welche Kompetenzstruktur kann begründet unterstellt werden?
(1) I Wissen/ VerständnisII Anwendung des Wissens in problemhaltigen Situationen
III manuelle Fertigkeiten
(2) Methodenkompetenz ist bisher nicht als eigenständige Kompetenzdimension empirisch ausweisbar
(3) Es lassen sich z.T. Subdimensionen des Fachwissens und seiner Anwendung bestätigen.
(4) Es lassen sich im Verlauf der Ausbildung Ausdifferenzierungs- und Verschmelzungsprozesse der Subdimensionen beobachten
8
Beispiele empirisch bestätigter Kompetenzstrukturmodelle
9
TraditionelleInstallationstechnik
ElektrotechnischeGrundlagen
1 2 3 4 5 6 7 8 1 2 3 4 5 6
N = 337, Χ² = 160, df = 129, Χ²/df = 1.24, p = .03, CFI = .96, TLI = .97, RMSEA = .03
Fachwissen
0.37
Steuerungs-/moderne Installationstechnik (Bussysteme etc.)
1 2 3 4 5 6 7 8 9 10 11 12 13 14
0.650.89
EAP/PV = .54 EAP/PV = .74 EAP/PV = .78
Reliabilität
Strukturmodellierungen für Elektroniker a) Fachwissen
10
N = 382, Χ² = 217, df = 163, Χ²/df = 1.30, p = .01, CFI = .94, TLI = .96, RMSEA = .03
TraditionelleInstallationstechnik
ElektrotechnischeGrundlagen
Steuerungs-/moderne Installationstechnik
(Bussysteme etc.)
FachspezifischeProblemlösefähigkeit
0.33 0.57
0.24
0.37
0.64
0.64
Überschrift?Korrelationen zwischen den Subdimensionen der Fachkompetenz bei Elektronkern für Energie- und Gebäudetechnik
11
N = 382, Χ² = 226, df = 182, Χ²/df = 1.30, p = .01, CFI = .95, TLI = .96, RMSEA = .03
TraditionelleInstallationstechnik
ElektrotechnischeGrundlagen
Fachwissen
Steuerungs-/Moderne Installationstechnik
(Bussysteme etc.)
FachspezifischeProblemlösefähigkeit
0.86
0.39 0.700.81
Zusammenhang zwischen dem Fachwissen und der fachspezifischen Problemlösefähigkeit
12
Niveaumodell des Fachwissens (Elektroniker Energie- und Gebäudetechnik)
- 0,90
+ 2,00
Niveau 1
+ 1,44
MW = -1,19; SD = 0,97
60,5%
33,3%
6,2%
37,7%
34,8%
26,1%
- 4,00
+ 0,16
Niveau 3
Niveau 4
Niveau 2
MW = -,65; SD = 1,08
TeilzeitVollzeit TeilzeitVollzeit
1,4%
- 0,90
+ 2,00
Niveau 1
+ 1,44
MW = -1,19; SD = 0,97
60,5%
33,3%
6,2%
37,7%
34,8%
26,1%
- 4,00
+ 0,16
Niveau 3
Niveau 4
Niveau 2
MW = -,65; SD = 1,08
TeilzeitVollzeit TeilzeitVollzeit
1,4%
13
NIVEAU 1Rudimentäre
elektrotechnischeGrundkenntnisse
NIVEAU 2Basale
elektrotechnischeGrundkenntnisse
Analyse mit anschließendem regelbasierten Erarbeiten von Lösungen gelingt auch in weniger vertrauten Kontexten
Mehrere und mathematisch aufwändige Lösungsschritte
Lösungshinweise im Tabellenbuch implizit
Analyse mit anschließendem regelbasierten Erarbeiten von Lösungen gelingt in vertrauten Strukturen
Mehrere, jedoch mathematisch weniger aufwändige Lösungsschritte
Lösungsschritte im Tabellenbuch fast vollständig und explizit
Elektroniker: Kompetenzniveaus
NIVEAU 3Bewältigung
vertrauterAnforderungen
NIVEAU 4Bewältigung
auch wenig vertrauterAnforderungen
Aufgaben, die eine Benennung / Beschreibung erfordern, werden bewältigt
Wissensanwendung gelingt bei wenigen Schritten und bezogen auf Einzelheiten
Lösungshinweise im Tabellenbuch fast vollständig und explizit
Aufgaben die Benennung / Beschreibung erfordern werden nicht mit hinreichender Sicherheit bewältigt
Auch Wissensanwendungen gelingen selbst bei Einzelheiten nicht sicher
Auch explizite Lösungshinweise können aus dem Tabellenbuch nicht vollständig entnommen werden
14
Niveaumodellierungen
Schwierigkeitsbestimmende Merkmale (Schumann & Eberle im Druck; Gschwendtner, Geißel & Nickolaus 2011, Nickolaus 2011)
• Bloomsche Taxonomie
• Inhaltliche Komplexität
• Modellierungsleistungen
• Vertrautheit/ curriculare Gewichtung
15
Fachspezifische Problemlösefähigkeit: Zentrale Fragen
1. Wie kann man fachspezifische Problemlösefähigkeit valide messen?
2. Welches fachspezifische Problemlöseniveau erreichen Auszubildende am Ausbildungsende?
3. Welchen Anforderungen werden die Auszubildenden dabei gerecht?
16
Computersimulation zur Erfassung der fachspezifischen PLF
Computersimulation zur Erfassung der Diagnosekompetenz bei Kfz-Mechatronikern
17
Befunde einer Validierungsstudie
Zusammenhänge zwischen Realität (Fehleranalyse am realen Kfz und mit realen Expertensystemen) und Simulation:
Realitäts- und Simulationsitems korrelieren zu r~.94!!
Das bedeutet, dass die Messung in der Simulation zu nahezu identischen Ergebnissen führt, wie am realen Kfz!!!
18
1
2
3
Mess-einheit
Personen-fähigkeit
Item-schwierigkeit
4
1
0
-1
-2
hoch
Kompetenz-niveau
niedrig
2
3
n1 = 212
n2 = 208
n3 = 84
n0 = 100
1
Ergebnisse: Niveaumodell fachspezifisches Problemlösen(KFZ- Ende der Ausbildung)
19
Ergebnisse: Schwierigkeitsbestimmende Merkmale (Fehleranalyse)
• Komplexität (Anzahl zwingend nötiger eigenständiger Bearbeitungsschritte)
• Art des Prüfmittels (Multimeter/Sichtprüfung vs. Stromesszange/Oszilloskop)
• Informationsbeschaffung (keine vs. lineare, vs. kombinierte)
• Diagnoseart (routinisierte vs. regelbasierte vs. nicht geführte)
• Fehlerart (defekte Komponente vs. Kabelbruch)
• Modellierungsleistung (Aufgabeninformationen ausreichend vs. nicht ausreichend)
20
Sind Reparaturfertigkeiten über Simulationen abschätzbar?
1. Wie hängen das handlungsbezogene Wissen und die Reparaturfertigkeiten zusammen? Gibt es auch einen solch starken Zusammenhang wie zwischen dem Fachwissen und der Fehleranalysefähigkeit?
2. Welches Leistungsniveau erreichen Auszubildende am Ausbildungsende?
3. Welchen Anforderungen werden die Auszubildenden dabei gerecht?
4. Wie wird das handlungsbezogene Wissen erhoben?
Simulation
21
Computersimulation zur Erfassung des handlungsbezogenen
Wissens bei Reparaturaufgaben
Computersimulation zur Erfassung der des handlungsbezogenen Wissens
bei Kfz-Mechatronikern
22
Validierung der Testversionen für Reparatur und Instandhaltung
Abgleich mit realen Arbeitsleistungen in den Unternehmen Beurteilung der Arbeitsleistungen bezogen auf die in den Videos präsentierten
Aufgaben Beurteilungskriterien
Grad der EigenständigkeitAusführungsgüteInterne, externe BeanstandungenAusführungszeit
23
5. Ansprüche an Kompetenzmessungen und Probleme ihrer Einlösung
Validität Reliabilität Trennschärfe Objektivität Praktikabiltität
Anzahl der notwendigen Aufgaben
Notwendige Testzeiten
Vergleichbarkeit der Aufgaben
24
5. Ausblick
Entwicklungsstand simulationsbasierten Testens
In welchen Bereichen sind simulationsbasierte Testformen besonders geeignet?
Herausforderungen bei der Abschätzung manueller Fertigkeiten
Zur Notwendigkeit, die Kompetenzabschätzungen zunächst auf Ausschnitte der beruflichen Handlungskompetenz zu beschränken
Probleme, in den gängigen Prüfungsformen den Ansprüchen einer validen Abschätzung beruflicher Kompetenzen zu genügen
Erprobung der neuen Testformen in Prüfungskontexten
25
Vielen Dank für Ihre Aufmerksamkeit!
26
Anhang
27
Prüfungsergebnisse in den neu geordneten Metallberufen
(IHK Stuttgart, Sommer 2008)
28
Prüfungsergebnisse in den neu geordneten Metallberufen
(IHK Stuttgart, Sommer 2008)
29
2. Das ASCOT Programm
Übergreifende ZieleProjekte/ einbezogen Berufe:• Elektroniker für Automatisierungstechnik• Kfz-Mechatroniker• Pflege• Medizinische Fachangestellte• Industriekaufleute• Übergreifend: Basiskompetenzen und
Ausbildungsbedingungen
30
In ASCOT bearbeitete Fragestellungen
Validität: Welche Teilkompetenzen müssen unterstellt und getestet werden? Welche Aufgabenformate sind zur Testung geeignet? Erweisen sich die Simulationen als valide?
Reliabilität: Ist mit den entwickelten Tests eine reliable Messung möglich und wieviel Aufgaben sind dafür notwendig?
Praktikabiltität: Ist mit den entwickelten Tests eine reliable Messung in einem akzeptablen Zeitraum möglich?
Adaptives Testen als Option?
31
Ausblick: Erprobung entwickelter Testelemente in Prüfungskontexten?
Fehleranalysen
Videovignetten
Fachwissenstests
• Geschlossene Aufgabenformate• Adaptives Testen• Offene Aufgabenformate
32
Niveau 1: Routiniertes und computergestütztes Lösen einfacher Kfz-Probleme
Personen dieser Niveaustufe können die Informationen des Arbeitsauftrags erfassen und für die Diagnosearbeit nutzen. Zudem sind sie in der Lage, vertraute Fehlzustände zu diagnostizieren (Routinediagnose) und bei Aufgaben geringer Komplexität eine computergestützte Diagnose erfolgreich durchzuführen. Es wird also der standardmäßige Umgang mit dem Expertensystem (lineares Vorgehen, typischerweise bestehend aus: Fehlerspeicher auslesen, Eigendiagnose, computergestütztes Aufsuchen von Fahrzeugkomponenten, regelbasierte Diagnose) und mit dem Multimeter (für Spannungs- und Widerstandsmessungen) beherrscht. Die von den Personen vorgeschlagenen Reparaturmaßnahmen beziehen sich in der Regel auf den Tausch einfacher Fahrzeugkomponenten.
Kompetenzniveaumodelle
33
Kompetenzniveaumodelle
Niveau 2: Computergestütztes und nicht geführtes Lösen mittelkomplexer Kfz-Probleme
Personen dieser Niveaustufe weisen zusätzlich zu den Fähigkeiten von Niveaustufe 1 die Fähigkeit auf, Fehlzustände mittlerer Komplexität entweder anhand einer computergestützten Diagnose oder einer nicht geführten Diagnose zu identifizieren. Außerdem sind sie in der Lage, Stromlaufpläne und auf Niveaustufe 1 nicht benötigte Funktionen des Expertensystems (z. B. Aufrufen von Stromlaufplänen) für die Diagnosearbeiten zu nutzen. Personen des Kompetenzniveaus 2 können eigenständig einfachere Diagnosestrategien entwickeln und einfachere technische Systeme mental modellieren. Die von den Personen vorgeschlagenen Reparaturmaßnahmen beziehen sich auch auf die Beseitigung von Kontakt- und Verbindungsprobleme (z.B. Ersetzen defekter Kabel).
34
Kompetenzniveaumodelle
Niveau 3: Eigenständiges Lösen komplexer Kfz-Probleme
Im Gegensatz zur Niveaustufe 1 und 2 können Personen des Niveaus 3 Aufgaben hoher Komplexität anhand einer nicht geführten Diagnose erfolgreich bearbeiten. Gegenüber Niveau 2 beherrschen sie außerdem den Umgang mit weniger häufig verwendeten elektronischen Messgeräten (Oszilloskop und Stromesszange). Zudem sind sie in der Lage, komplexere technische Systeme eigenständig kognitiv zu modellieren. Auf dieser Niveaustufe beziehen sich die vorgeschlagenen Reparaturmaßnahmen sowohl auf das Ersetzen defekter Kabel als auch auf den Tausch komplexer Fahrzeugkomponenten.