das assessment-center-verfahren zur ... - profil-ac.de · 2 1.2 beschreibung des verfahrens...

KOMPETENZANALYSE PROFIL AC AN SCHULEN Das Assessment-Center-Verfahren zur Ermittlung der individuellen überfachlichen Kompetenzen von Jugendlichen

Evaluationsbericht 2010

KOMPETENZANALYSE PROFIL AC AN SCHULEN

Das Assessment-Center-Verfahren zur Ermittlung der individuellen überfachli-chen Kompetenzen von Jugendlichen

Evaluationsbericht 2010

Dezember 2010

Im Auftrag des Ministeriums für Kultus, Jugend und Sport Baden-Württemberg

erstellt durch:

MTO Psychologische Forschung und Beratung GmbH Tübingen

Brigitte Häcker, Karsten Hammer, Dr. Jürgen Ripper

Gesamtprojektleitung: Regierungsdirektor Felix Ebert

Projektbüro: Susanne Kugler (Projektleitung), Nikola Steinbach, Yvonne Dorsch, Michael Hauptvogel

Bildnachweis: Deckblatt © Yuri Arcurs / Fotolia.com; Privat

Danksagung

Die MTO Psychologische Forschung und Beratung GmbH dankt dem Ministerium für Kultus, Jugend und Sport Baden-Württemberg für die hervorragende Zusammenarbeit im gesamten Projektzeitraum des Projekts KOMPETENZANALYSE PROFIL AC AN SCHULEN. Unser Dank gilt vor allem Herrn Regierungsdirektor Felix Ebert, dem Gesamtleiter des Pro-jekts sowie den Mitarbeiterinnen und Mitarbeitern des Projektbüros Frau Susanne Kugler (Projektbüroleitung), Frau Nikola Steinbach (Ansprechpartnerin für den Bereich Werkreal-schule und Hauptschule) sowie Frau Yvonne Dorsch und Herrn Michael Hauptvogel (An-sprechpartner für den Bereich Sonderschule). In besonderem Maße möchten wir uns auch bei unserem Projektpartner, dem CJD Jugend-dorf Offenburg, für die intensive und vertrauensvolle Zusammenarbeit bedanken. Insbeson-dere gilt unser Dank Herrn Jochen Nordau (Jugenddorfleiter CJD Jugenddorf Offenburg) sowie Herrn Samuel Breisacher (CJD-Projektleitung).

Inhaltsverzeichnis

1 EINLEITUNG ............................................................................................... 1

1.1 AUFBAU DES BERICHTS ........................................................................................ 1

1.2 BESCHREIBUNG DES VERFAHRENS KOMPETENZANALYSE PROFIL AC AN SCHULEN .. 2

1.3 INFORMATIONEN ZUM PROJEKT ............................................................................. 3

1.4 INFORMATIONEN ZUR WISSENSCHAFTLICHEN BEGLEITUNG ...................................... 4

2 PROZESSBEGLEITENDE EVALUATION ................................................. 6

2.1 KONZEPTION DES EVALUATIONSAUFTRAGS ............................................................ 6

2.2 METHODIK DES EVALUATIONSAUFTRAGS ............................................................... 6

2.3 DATENBASIS DER ABSCHLUSSANALYSE ................................................................. 7

2.4 ZUSAMMENFASSUNG DER HAUPTERGEBNISSE DER ABSCHLUSS-ANALYSE ............... 8

2.5 ERGEBNISSE ZU DEN EINZELNEN THEMENBEREICHEN DER ABSCHLUSSANALYSE .....10

2.5.1 AKZEPTANZ .........................................................................................................10

2.5.2 KOMPETENZFELDER UND MERKMALE ....................................................................16

2.5.3 AUFGABEN ..........................................................................................................20

2.5.4 INSTRUMENTE .....................................................................................................26

2.5.5 HANDBUCH .........................................................................................................30

2.5.6 SOFTWARE .........................................................................................................31

2.5.7 SCHULUNG .........................................................................................................35

2.5.8 SONSTIGES .........................................................................................................35

3 WISSENSCHAFTLICHE GÜTEPRÜFUNG .............................................. 37

3.1 THEORETISCHER HINTERGRUND ..........................................................................37

3.2 DATENBASIS DER WISSENSCHAFTLICHEN GÜTEPRÜFUNG (ZYKLUS 4) .....................37

3.3 ZUSAMMENFASSUNG DER HAUPTERGEBNISSE DER WISSENSCHAFTLICHEN

GÜTEPRÜFUNG ...................................................................................................39

3.4 ERGEBNISSE DER WISSENSCHAFTLICHEN GÜTEPRÜFUNG ......................................40

3.4.1 MERKMALE .........................................................................................................40

3.4.2 VERTEILUNG DER BEURTEILUNGSWERTE ..............................................................41

3.4.3 VERTEILUNG DER SELBSTEINSCHÄTZUNGSWERTE .................................................42

3.4.4 ÜBEREINSTIMMUNG DER BEURTEILER ...................................................................44

3.5 BEWERTUNG DER GÜTEKRITERIEN .......................................................................47

4 GESAMTBEWERTUNG ............................................................................ 49

ABBILDUNGSVERZEICHNIS ........................................................................ 50

DAS VERFAHREN KOMPETENZANALYSE PROFIL AC ............................ 53

PROJEKTPARTNER ...................................................................................... 55

1

1 Einleitung

1.1 Aufbau des Berichts

Der vorliegende Evaluationsbericht beinhaltet neben Informationen zum Projekt und zur wis-senschaftlichen Begleitung die Ergebnisse der prozessbegleitenden Evaluation sowie die Ergebnisse der wissenschaftlichen Güteprüfung zur KOMPETENZANALYSE PROFIL AC

AN SCHULEN. Der Bericht schließt mit einer Gesamtbewertung ab.

Die Ergebnisse der prozessbegleitenden Evaluation sind in folgende Themenbereiche bzw. Kapitel unterteilt:

Akzeptanz

Kompetenzfelder und Merkmale

Aufgaben

Instrumente

Handbuch

Software

Schulung

Sonstiges

Zu Beginn jedes Kapitels werden die einzelnen Ergebnisse innerhalb der Themenbereiche anhand von Diagrammen dargestellt und im Text beschrieben sowie teilweise durch freie Aussagen der Befragten ergänzt. Bei der Mehrzahl der Diagramme erfolgt die Darstellung der Ergebnisse unterteilt nach Schulart und über den Verlauf der drei Erhebungszyklen des Projektzeitraums hinweg. Werden Häufigkeiten mit Prozentwerten aufgeführt, bezieht sich die Angabe 100% jeweils auf diejenigen Personen, die die betreffende Frage auch beantwor-tet haben.

Qualitative Ergebnisse werden häufig in Aufzählungen dargestellt. Hierbei ist zu beachten, dass dabei nur die häufigsten Aussagen aufgeführt sind.

Im Anschluss an die Ergebnisdarstellung werden zu jedem Themenbereich zumeist konkrete Aussagen einzelner Personen aufgeführt, die den Tenor zu einem Themenbereich aus Sicht der Befragten widerspiegeln. Jedes Kapitel wird abgeschlossen durch eine kurze Interpreta-tion der Ergebnisse.

Die Ergebnisse der wissenschaftlichen Güteprüfung sind in folgende Themenbereiche bzw. Kapitel unterteilt:

Merkmale

Verteilung der Beurteilungswerte

Verteilung der Selbsteinschätzungswerte

Übereinstimmung der Beurteiler 1

1 Mit „Beurteiler“ sind stets beide Geschlechter gemeint.

2

1.2 Beschreibung des Verfahrens KOMPETENZANALYSE PROFIL AC AN

SCHULEN

Die KOMPETENZANALYSE PROFIL AC AN SCHULEN ist ein Assessment-Center-Verfahren zur Ermittlung der individuellen überfachlichen Kompetenzen von Schülerinnen und Schülern ab der 7. Klasse. Mit dem Verfahren wird ein individuelles Kompetenzprofil mit persönlichen Stärken und Entwicklungspotenzialen erstellt. Die Ergebnisse der Kompetenzanalyse dienen als Grundlage für eine individuelle, auf die Bedürfnisse der einzelnen Schülerin bzw. des einzelnen Schülers ausgerichtete Förderung.

Ablauf des Verfahrens

Die KOMPETENZANALYSE PROFIL AC AN SCHULEN ist ein Verfahren mit einer internetbasierten Software, die die Planung, die Durchführung und die individuelle Profilerstellung unterstützt. Je zwei Lehrkräfte führen mehrere Beobachtungsaufgaben mit Kleingruppen à jeweils acht Schülerinnen und Schülern durch und beurteilen anschließend deren Kompetenzen. Die Be-urteilung erfolgt jeweils auf einer 5-stufigen Skala. Die Schülerinnen und Schüler schätzen ihre Kompetenzen zudem selbst ein.

Das Ergebnis des Verfahrens ist ein individuelles Kompetenzprofil der Schülerinnen und Schüler, das die Grundlage eines individuellen Rückmeldegesprächs bildet. Die Durchfüh-rung dauert mit einer Gruppe von acht Schülerinnen und Schülern inklusive Rückmeldung zwei Tage. Durch die Teilnahme an den Beobachtungsaufgaben, durch die Fremd- und die Selbsteinschätzung sowie durch das Rückmeldegespräch erkennen die Schülerinnen und Schüler ihre eigenen Fähigkeiten, Interessen und Neigungen.

Abbildung 1: Ablauf der Kompetenzanalyse

Komponenten des Verfahrens

Beobachtungsaufgaben: Das Verfahren enthält neben einer Aufgabe mit Arbeitsergebnis eine Zusammenstellung von 28 Beobachtungsaufgaben für Werkrealschulen und Haupt-schulen sowie eine Zusammenstellung von 32 Beobachtungsaufgaben für Sonderschu-len (Kommunikationsaufgaben, Planungsaufgaben, Produktaufgaben, Präsentationsauf-gaben, Kulturtechnik und Computerbedienung). Aus dieser Zusammenstellung werden Aufgaben für die konkrete Durchführung ausgewählt.

Materialien und Instrumente: Bei der Durchführung des Verfahrens werden Arbeitsmate-rialien und Instruktionen zu den Beobachtungsaufgaben, Beobachtungsbögen, Beurtei-lungsbögen, Selbsteinschätzungsbögen sowie Beobachterkonferenzbögen verwendet.

Handbuch für die Durchführenden: Die Anwendung des Verfahrens wird in einem Hand-buch mit zahlreichen Schaubildern erläutert.

Software zur Durchführung: Das Verfahren beinhaltet eine internetbasierte Software. Die Daten der Teilnehmenden lassen sich damit nach Datenschutzrichtlinien verwalten. Alle Materialien können ausgedruckt werden. Mit der Software können Beobachtungsaufga-ben systematisch zusammengestellt werden. Die individuellen Kompetenzprofile werden automatisch erstellt.

Schulungen: Die Lehrkräfte werden in dreitägigen Schulungen zur Planung, Durchfüh-rung und Auswertung des Verfahrens qualifiziert.

3

Konzeption mit Kompetenzen und Merkmalen: Die theoretische Konzeption beinhaltet soziale, methodische, personale, kulturtechnische sowie berufsspezifische Kompeten-zen. Diese sind in Abbildung 2 dargestellt.

Abbildung 2: Merkmalskonzeption

1.3 Informationen zum Projekt

Das Verfahren KOMPETENZANALYSE PROFIL AC AN SCHULEN wurde innerhalb eines Projekts im Zeitraum von 2008 bis 2010 durch das CJD Jugenddorf Offenburg und die MTO Psycho-logische Forschung und Beratung GmbH Tübingen in enger Abstimmung mit dem Auftrag-geber, dem Ministerium für Kultus, Jugend und Sport Baden-Württemberg, entwickelt.

Das Gesamtprojekt KOMPETENZANALYSE PROFIL AC AN SCHULEN wird durch Mittel des Euro-päischen Sozialfonds im Rahmen der zentralen Förderung des Ministeriums für Arbeit und Sozialordnung, Familien und Senioren Baden-Württemberg sowie durch Mittel der Regional-direktion Baden-Württemberg der Bundesagentur für Arbeit gefördert.

Das Ziel des Projekts war, neben der eigentlichen Entwicklung des Verfahrens, die flächen-deckende Einführung des Verfahrens in den 7. Klassen der baden-württembergischen Werk-realschulen, Hauptschulen und Sonderschulen bis zum Beginn des Schuljahres 2010/2011.

Die KOMPETENZANALYSE PROFIL AC AN SCHULEN basiert auf der Grundlage des Kompetenz-feststellungsverfahrens PROFIL AC, das seit 2005 im Berufseinstiegsjahr (BEJ) in Baden-Württemberg eingesetzt wird. Ebenso wurden Erfahrungen und Erkenntnisse aus dem ba-den-württembergischen Modellprojekt „Evaluation von Schlüsselqualifikationen“ (ESQ) der Jahre 2000 bis 2002 bei der Entwicklung berücksichtigt.

Während des Entwicklungszeitraums fanden umfangreiche Schulungen für Lehrkräfte an allen Haupt-, Werkreal- und Sonderschulen in Baden-Württemberg statt.

4

1.4 Informationen zur wissenschaftlichen Begleitung

Die MTO GmbH Tübingen führte über den Projektzeitraum von 2008 bis 2010 die prozess-begleitende Evaluation durch. D.h. sie evaluierte den Verlauf des Projektes sowie die Qua-lität und die Handhabung des Verfahrens KOMPETENZANALYSE PROFIL AC AN SCHULEN. Au-ßerdem führte sie die wissenschaftliche Güteprüfung des Verfahrens durch. Auf Grundla-ge der Ergebnisse aus prozessbegleitender Evaluation und wissenschaftlicher Güteprüfung wurde das Verfahren im Projektzeitraum im Rahmen mehrerer Projektzyklen kontinuierlich optimiert.

Im Rahmen des Projekts wurde zunächst das bisher bestehende Verfahren PROFIL AC eva-luiert (Zyklus 1, Statusanalyse). Die Entwicklung des neuen Verfahrens KOMPETENZANALYSE

PROFIL AC AN SCHULEN erfolgte dann in drei weiteren Projektzyklen. Dabei gestaltete sich der zweite Zyklus (erste Prozessanalyse) folgendermaßen:

Im Anschluss an die Entwicklung der ersten Version des neuen Verfahrens und die ersten Anwenderschulungen wurde das Verfahren an baden-württembergischen Werkrealschulen / Hauptschulen und Sonderschulen eingesetzt. Ausgehend von der darauf folgenden ersten prozessbegleitenden Evaluation / wissenschaftlichen Güteprüfung wurde das Verfahren mo-difiziert. Ein weiterer, analog aufgebauter Projektzyklus, folgte (Zyklus 3, zweite Prozessana-lyse). Ein vierter Zyklus (Abschlussanalyse) diente der abschließenden Bewertung der fertig-gestellten KOMPETENZANALYSE PROFIL AC AN SCHULEN.

Abbildung 3: Wissenschaftliche Erhebungs- und Modifikationskonzeption mit vier Zyklen

Die prozessbegleitende Evaluation und die wissenschaftliche Güteprüfung erfolgten in jedem der vier Zyklen jeweils mehrschrittig:

Zunächst wurden in enger Abstimmung mit dem Ministerium für Kultus, Jugend und Sport Baden-Württemberg die Erhebungsinstrumente erstellt bzw. aktualisiert. Anschließend fand die Datenerhebung statt: Schulleitungen, Lehrkräfte und Verfahrensexpertinnen und -experten sowie Schülerinnen und Schüler wurden anhand von Fragebögen bzw. strukturier-ten Interviews zu ihren Erfahrungen mit dem Verfahren befragt. Außerdem wurde die Durch-führung der Kompetenzanalyse an den Schulen durch Wissenschaftler direkt beobachtet und die Software nutzerergonomisch getestet. Für die wissenschaftliche Güteprüfung wurden alle Beurteilungs- und Selbsteinschätzungsdaten der teilnehmenden Schülerinnen und Schüler anonymisiert erfasst.

5

In jedem Zyklus folgte die Auswertung der erhobenen Daten in Form von quantitativen und qualitativen Analysen. Im Zuge der wissenschaftlichen Güteprüfung wurden mehrere Güte-werte ermittelt. Die Ergebnisse wurden jeweils in Form eines wissenschaftlichen Ergebnis-berichts rückgemeldet. Dieser diente (mit Ausnahme von Zyklus 4) jeweils als Grundlage für die Erstellung von Lastenheften zur Modifikation des Verfahrens und der Software.

Abbildung 4: Wissenschaftliche Erhebungs- und Modifikationskonzeption

– exemplarisch dargestellt: Zyklus 2 (erste Prozessanalyse)

Über den Projektzeitraum hinweg wurde dabei auf eine große Datenbasis zurückgegriffen: In die wissenschaftlichen Analysen gingen die Fragebogendaten von mehr als 3.400 Werkreal-schul-/Hauptschullehrkräften, von über 1.100 Sonderschullehrkräften, von knapp 6.000 Werkreal-/Hauptschüler/innen und von über 2.000 Sonderschüler/innen sowie die Beurtei-lungs- und Selbsteinschätzungsdaten der Kompetenzanalyse von mehr als 35.000 Werkreal-und Hauptschüler/innen und von über 6.000 Sonderschüler/innen ein. Es handelte sich um unabhängige Personenstichproben, d.h. in den verschiedenen Projektzyklen wurden die Da-ten unterschiedlicher Personen erhoben.

Ein wesentliches Ziel der wissenschaftlichen Begleitung bestand darin, die Anwenderinnen und Anwender des Verfahrens in die Verfahrensentwicklung einzubeziehen, eine einfache Handhabung des Verfahrens sowie die Entwicklung eines qualitativ hochwertigen Verfahrens zu gewährleisten. Die erreichte Standardisierung sollte nachvollziehbare und faire Beurtei-lungen der Schülerinnen und Schüler bewirken.

Zum Ende des vierten Zyklus liegen die abschließenden Ergebnisse der prozessbegleiten-den Evaluation sowie der wissenschaftlichen Güteprüfung nun vor. Sie werden im vorliegen-den Ergebnisbericht dargestellt.

6

2 Prozessbegleitende Evaluation

2.1 Konzeption des Evaluationsauftrags

Ausgehend vom Kompetenzfeststellungsverfahrens PROFIL AC, das seit 2005 im Berufsein-stiegsjahr (BEJ) eingesetzt wird, wurde das Verfahren KOMPETENZANALYSE PROFIL AC AN

SCHULEN im Zuge eines mehrzyklischen Vorgehens entwickelt.

Im Rahmen der Zyklen 2 und 3 (erste und zweite Prozessanalyse) dienten die Ergebnisse der prozessbegleitenden Evaluation jeweils als Grundlage für die Modifikation der KOMPE-

TENZANALYSE PROFIL AC AN SCHULEN. Die Ergebnisse lieferten konkrete Hinweise zur Opti-mierung der einzelnen Verfahrenskomponenten:

Die Kompetenz- und Merkmalskonzeption wurde dahingehend modifiziert, dass alle ent-haltenen Merkmale möglichst gut beobachtbar sind.

Das Aufgabenangebot für Werkrealschulen / Hauptschulen und Sonderschulen wurde verändert, indem einzelne Aufgaben in Bezug auf ihren Schwierigkeitsgrad optimiert wur-den, ungeeignete Aufgaben wegfielen und neue Aufgaben hinzukamen.

Die Beobachtungs- und Beurteilungsinstrumente wurden dahingehend optimiert, dass Papier eingespart wurde und dass den Lehrkräften sowie den Schülerinnen und Schülern der Umgang mit den Instrumenten möglichst leicht fällt.

Die Software zum Verfahren KOMPETENZANALYSE PROFIL AC AN SCHULEN wurde in Hin-blick auf nutzerergonomische Aspekte optimiert. Es wurde darauf abgezielt, die Software so anwenderfreundlich wie möglich zu gestalten.

Die Abschlussanalyse (Zyklus 4) diente der abschließenden Bewertung der fertiggestellten KOMPETENZANALYSE PROFIL AC AN SCHULEN. Danach erfolgte keine weitere Modifikation des Verfahrens.

2.2 Methodik des Evaluationsauftrags

Bei der prozessbegleitenden Evaluation gab es drei Erhebungszeiträume: Zyklus 2: Frühling / Sommer 2008, Zyklus 3: Frühling / Sommer 2009 und Zyklus 4: Frühling / Sommer 2010.

Die prozessbegleitende Evaluation hatte folgende inhaltliche Schwerpunkte: Die Akzeptanz des Verfahrens, die Kompetenzfelder und Merkmale, die Aufgaben, die Beobachtungs- und Beurteilungsinstrumente, das Handbuch, die Software und die Schulung.

Die Datenerhebung erfolgte anhand unterschiedlicher Methoden:

Lehrkräfte sowie Schülerinnen und Schüler wurden anhand von Fragebögen schriftlich zu ihren Erfahrungen mit der KOMPETENZANALYSE PROFIL AC AN SCHULEN befragt. Dabei sollten sie bestimmte Aspekte des Verfahrens durch Ankreuzen beurteilen. Im Rahmen von offenen Fragen konnten sie zudem zu bestimmten Aspekten frei Stellung nehmen und so beispielsweise konkrete Verbesserungsvorschläge einbringen.

Lehrkräfte, Verfahrensexpertinnen und -experten (Lehrkräfte und Vertreter der Schullei-tungen) sowie Schülerinnen und Schüler wurden anhand von strukturierten Interviews zu ihren aktuellen Erfahrungen mit dem Verfahren befragt. Anhand der Interviews konn-ten bestimmte Aspekte der KOMPETENZANALYSE PROFIL AC AN SCHULEN vertiefend analy-siert werden.

7

Außerdem wurde die Durchführung des Verfahrens durch Wissenschaftler direkt beo-bachtet. Dadurch wurden z.B. mögliche Schwierigkeiten bei der Aufgabendurchführung direkt erfasst.

Die Software zur KOMPETENZANALYSE PROFIL AC AN SCHULEN wurde zudem nutzerergo-nomisch getestet. Lehrkräfte wurden anhand von standardisierten Aufgabenstellungen bei der Anwendung der Software beobachtet. So konnten mögliche Schwierigkeiten beim Umgang mit der Software direkt aufgedeckt werden. Im Rahmen von Zyklus 4 fanden zu-dem Evaluationsgespräche mit den Verfahrensexpertinnen und -experten in Form von freien Rückmeldungen zur Software statt.

2.3 Datenbasis der Abschlussanalyse

Zur integrativen Analyse der KOMPETENZANALYSE PROFIL AC AN SCHULEN (Zyklus 4 / 2010: Abschlussanalyse) kam ein Multimethoden-Design mit quantitativen und qualitativen Erhebungsinstrumenten zum tragen.

In die Analyse flossen 765 ausgefüllte Lehrkräfte-Fragebögen sowie 2660 ausgefüllte Schüler/innen-Fragebögen ein, die sich wie unten aufgeführt auf die unterschiedlichen Schultypen verteilten. In den vorausgegangenen Erhebungszyklen war die Datenbasis 425 Lehrkräfte-Fragebögen und 2.803 Schüler/innen-Fragebögen (Zyklus 2 / 2008) bzw. 962 Lehrkräfte-Fragebögen und 2.760 Schüler/innen-Fragebögen (Zyklus 3 / 2009). Die Fragebögen wurden von Lehrkräften, die das Verfahren aktuell durchgeführt hatten, sowie von Schüler/innen, die am Verfahren aktuell teilgenommen hatten, ausgefüllt.

Lehrkräfte-Fragebögen:

579 Werkrealschule und Hauptschule

186 Sonderschule, davon:

154 Förderschule

22 Schule für Erziehungshilfe

8 Schule für Körperbehinderte

2 Schule für Sehbehinderte

Schüler/innen-Fragebögen:

1779 Werkrealschule und Hauptschule

881 Sonderschule, davon:

768 Förderschule

73 Schule für Erziehungshilfe

32 Schule für Körperbehinderte

8 Schule für Blinde

Außerdem wurden strukturierte Interviews mit 38 Lehrkräften (18 Werkrealschule und Hauptschule, 20 Sonderschule), mit 90 Schüler/innen (45 Werkrealschule und Hauptschule, 45 Sonderschule) sowie mit 20 Verfahrensexpertinnen und -experten (Lehrkräften und Vertretern der Schulleitungen: 10 Werkrealschule und Hauptschule, 10 Sonderschule) durchgeführt.

Die Durchführung des Verfahrens KOMPETENZANALYSE PROFIL AC AN SCHULEN wurde direkt an den Schulen beobachtet: Im Rahmen von 40 Beobachtungseinheiten an Schulen (20 Werkrealschule und Hauptschule, 20 Sonderschule) kamen strukturierte Beobachtungschecklisten für die Aufgaben und für die Beobachterkonferenzen des Verfahrens zum Einsatz.

8

Ergänzend wurden Evaluationsgespräche zur Software mit den Verfahrensexpertinnen und -experten für den Bereich Werkrealschule und Hauptschule und mit Verfahrensexpertinnen und -experten für den Bereich Sonderschule sowie mit dem Service Center der Schulverwaltung durchgeführt.

Die Datenerhebung fand von April bis Juli 2010 statt.

Mit den erhobenen Daten liegt eine sehr aussagekräftige Datengrundlage vor, die valide Aussagen zu den evaluierten Themenbereichen ermöglicht.

2.4 Zusammenfassung der Hauptergebnisse der Abschluss-analyse

Im Folgenden werden die Ergebnisse des vorliegenden Berichts zur KOMPETENZANALYSE

PROFIL AC AN SCHULEN zusammengefasst dargestellt. Detaillierte Ergebnisdarstellungen erfolgen in den entsprechenden Kapiteln.

Akzeptanz (Kap. 2.5.1)

Seite 10-15

Für eine derart grundsätzliche Neuerung, wie die KOMPETENZANALYSE PROFIL

AC AN SCHULEN, ist die Akzeptanz durch die Beteiligten sehr wichtig. Die Eva-luation brachte im Zusammenhang mit diesem Punkt folgende Ergebnisse. Die Lehrkräfte und die befragten Expertinnen und Experten halten die Kompetenz-analyse zur Ermittlung der individuellen Kompetenzen und auch als Ausgangs-punkt zur Förderung der individuellen Kompetenzen der Schüler/innen für ge-eignet. Insgesamt wird die Kompetenzanalyse von den Lehrkräften und von den Expertinnen und Experten als sinnvolles Verfahren erlebt. Der Zeitbedarf für die Kompetenzanalyse wird von den Lehrkräften jedoch zum Teil auch skeptisch betrachtet, da sie die zeitlichen Ressourcen als nur ten-denziell ausreichend wahrnehmen. Die Expertinnen und Experten halten den Zeitbedarf für die Kompetenzanalyse für sinnvoll. Die Schüler/innen beurteilen die Kompetenzanalyse insgesamt als sehr positiv. Positiv auffallend ist das Engagement, mit dem sie an der Kompetenzanalyse teilgenommen haben. Viele Schüler/innen betonen, dass die Beurteilung durch die Lehrkräfte für sie persönlich gewinnbringend sei.

Kompetenzfelder und Merkmale (Kap. 2.5.2)

Seite 16-19

Eine wesentliche Komponente des Verfahrens ist die zugrunde liegende Kom-petenz- und Merkmalskonzeption mit 17 Merkmalen. Die Beobachtung und die Beuteilung ihrer Schülerinnen und Schüler erweist sich für die Lehrkräfte als Aufgabe mittlerer Schwierigkeit. Die Definitionen der Kompetenzen und Merkmale im Merkmalskatalog empfin-den die Lehrkräfte als hilfreich; sie geben an, dass die Verhaltensbeispiele aus dem Merkmalskatalog das jeweilige Merkmal gut veranschaulichen.

Aufgaben (Kap. 2.5.3)

Seite 20-25

Die Durchführung standardisierter Beobachtungsaufgaben mit anschließender Beurteilung der Schüler/innen ist für die meisten Lehrkräfte ein ungewohntes Vorgehen. Die Aufgaben werden von den Lehrkräften insgesamt als geeignet für die Kompetenzanalyse eingestuft; keine der Aufgaben wird für ungeeignet gehal-ten.

9

In Bezug auf den Schwierigkeitsgrad werden die Aufgaben – mit Ausnahme der Aufgabenkategorie 2 im Sonderschulbereich – als angemessen bewertet.

Instrumente (Kap. 2.5.4)

Seite 26-30

Die Lehrkräfte halten den Beobachtungsbogen, den Beurteilungsbogen und den Beobachterkonferenzbogen für geeignete Instrumente. Die Instruktion zur Selbsteinschätzung halten sie für geeignet zur Unterstüt-zung der Schüler/innen bei der Selbsteinschätzung. Ebenso wird der Selbsteinschätzungsbogen von den Lehrkräften als geeignet eingestuft. Die Schüler/innen geben an, dass sie es gut fanden, sich selbst einschätzen zu dürfen und dass sie es für eher leicht halten, sich mit dem Selbsteinschät-zungsbogen einzuschätzen. Viele Schüler/innen äußern, dass die Aufgaben und die anschließende Selbsteinschätzung gute Möglichkeiten sind, sich selbst besser kennenzulernen. Die Darstellung der Ergebnisse im Kompetenzprofil wird von den Lehrkräften als gut bewertet. Die Lehrkräfte halten das Kompetenzprofil auch für eine gute Grundlage für die Rückmelde- / Fördergespräche und die Vorlage zu den För-dervereinbarungen für geeignet zur Dokumentation von Fördervereinbarungen. Auch ein ergänzender Einsatz der Beobachtungs- und Beurteilungsinstrumente außerhalb der Kompetenzanalyse (z.B. zur Beobachtung oder Beurteilung der Schüler/innen in Fächern / Fächerverbünden) hat in Einzelfällen stattgefunden. Die Erfahrungen mit diesem Einsatz sind insgesamt positiv.

Handbuch (Kap. 2.5.5)

Seite 30-31

Das entwickelte Handbuch dient den Lehrkräften als wichtige Hilfestellung zur Durchführung des Verfahrens. Es wird von den Lehrkräften als sehr anwender-freundlich und verständlich eingestuft. Sie halten es für eine gute Unterstützung bei der Durchführung der Kompetenzanalyse.

Software (Kap. 2.5.6)

Seite 31-34

Eine wesentliche Komponente des Verfahrens ist die Unterstützung durch die Software. Die Expertinnen und Experten halten die Software in hohem Maße für anwenderfreundlich. Von den Lehrkräften wird die Internetseite in Bezug auf ihren Aufbau, die Zusammenstellung der Aufgaben und die Ergebniseingabe über das Internet als in hohem Maße anwenderfreundlich eingestuft. Auch die Intranetseite wird in Bezug auf alle abgefragten Aspekte (Aufbau, Verwaltung der Datensätze der Schüler/innen, Verwaltung der AC Einheiten und Verwal-tung der Kompetenzprofile) als sehr anwenderfreundlich eingestuft.

Schulung (Kap. 2.5.7)

Seite 35

Das Verfahren wird ausschließlich von geschulten Lehrkräften durchgeführt. Die Evaluation zeigt, dass sich die Lehrkräfte durch die dreitägigen Schulungen gut auf die Durchführung der Kompetenzanalyse vorbereitet fühlten.

10

4,51

4,93

5,67

4,48

4,78

5,60

4,594,93

5,65

1

2

3

4

5

6

7

Werkrealschule /Hauptschule

Sonderschule Expertinnen /Experten

Mitte

lwert

e

Ermittlung der individuellen Kompetenzen

Zyklus 2008 Zyklus 2009 Zyklus 2010

2.5 Ergebnisse zu den einzelnen Themenbereichen der Ab-schlussanalyse

In den folgenden Kapiteln werden die Ergebnisse zu den einzelnen Themenbereichen der Abschlussanalyse anhand von Diagrammen visualisiert und im Text beschrieben. Es werden entweder nur die Ergebnisse der Abschlussanalyse (Zyklus 4 / 2010) dargestellt oder, wenn informativ, der Verlauf über die Evaluationsphasen hinweg (Zyklus 2: Frühjahr/Sommer 2008, Zyklus 3: Frühjahr/Sommer 2009 und Zyklus 4: Frühjahr/Sommer 2010).

Die befragten Personen hatten in den eingesetzten Fragebögen bzw. in den Interviews auf einer 7-stufigen Skala anzugeben, in welchem Ausmaß sie einer bestimmten Aussage zu-stimmen (von 1 = „trifft überhaupt nicht zu“ bis 7 = „trifft voll zu“). Im Folgenden sind die ent-sprechenden Ergebnisse dargestellt. Die betreffenden Aussagen sind jeweils oberhalb der Abbildungen genannt.

2.5.1 Akzeptanz

Abgefragte Aussage zu Abbildung 5 (befragt: Lehrkräfte und Expertinnen / Experten):

„Die KOMPETENZANALYSE PROFIL AC AN SCHULEN eignet sich zur Ermittlung der individuellen Kompetenzen.“

Abbildung 5: Mittelwerte der Angaben

der befragten Lehrkräfte und Expertin-nen / Experten zur Eignung der Kompe-tenzanalyse zur Ermittlung der individu-ellen Kompetenzen

(1 = trifft überhaupt nicht zu, 7 = trifft voll zu)

Die befragten Lehrkräfte halten die Kompetenzanalyse tendenziell für geeignet zur Ermitt-lung der individuellen Kompetenzen der Schülerinnen und Schüler, wobei die Angaben der Lehrkräfte der Sonderschulen leicht positiver ausfallen als die der Lehrkräfte der Werkreal-schulen / Hauptschulen. Die befragten Expertinnen und Experten halten die Kompetenzana-lyse für gut geeignet zur Ermittlung der individuellen Kompetenzen. Im Verlauf der Evaluati-onszyklen zeigen sich nur geringe Veränderungen in Bezug auf die Angaben der Befragten.

11

4,62 4,965,33

4,37

4,72

5,65

4,44

4,82

5,65

1

2

3

4

5

6

7



Mitte

lwert

e

Ausgangspunkt zur Förderung der individuellen Kompetenzen


5,86

5,42

6,06 5,875,92 5,81

6,47

1

2

3

4

5

6

7



Mitte

lwert

e

Motivation der Schüler/innen


Abgefragte Aussage zu Abbildung 6 gilt (befragt: Lehrkräfte und Expertinnen / Experten):

„Die Kompetenzanalyse eignet sich als Ausgangspunkt zur Förderung der individuellen Kompetenzen.“


der befragten Lehrkräfte und Expertin-nen / Experten zur Eignung der Kompe-tenzanalyse als Ausgangspunkt zur Förderung der individuellen Kompeten-zen


Die befragten Lehrkräfte halten die Kompetenzanalyse tendenziell für geeignet als Aus-gangspunkt zur Förderung der individuellen Kompetenzen. Auch bei dieser Frage sind die Angaben der Lehrkräfte der Sonderschulen etwas positiver als die der Lehrkräfte der Werk-realschulen / Hauptschulen. Die befragten Expertinnen und Experten halten die Kompetenz-analyse für gut geeignet als Ausgangspunkt zur Förderung der individuellen Kompetenzen. Im Verlauf der Evaluationszyklen zeigen sich lediglich geringe Veränderungen in Bezug auf die Angaben der Befragten.


„Die Schüler/innen haben motiviert an der Kompetenzanalyse teilgenommen.“


der befragten Lehrkräfte und Expertin-nen / Experten zur Motivation der Schü-ler/innen bei der Teilnahme an der Kompetenzanalyse


Die befragten Lehrkräfte und die Expertinnen und Experten geben an, dass die Schü-ler/innen sehr motiviert an der Kompetenzanalyse teilgenommen haben.

12

83,3%

16,7%

0%

20%

40%

60%

80%

100%

ja nein

Häufi

gkeiten

Erneute Teilnahme an einer Kompetenzanalyse

Zyklus 2010

5,445,10

5,235,55

5,085,305,54

5,055,35

5,72

1

2

3

4

5

6

7

A B C D

Mitte

lwert

e

Akzeptanz auf Seiten der Schüler/innen


Abgefragte Aussagen zu Abbildung 8 (befragt: Schüler/innen):

A: „Mir hat es gut gefallen, an der Kompetenzanalyse teilzunehmen.“

B: „Ich konnte die Aufgaben gut bearbeiten.“

C: „Ich konnte in den Aufgaben zeigen, was ich kann.“

D: „Die Kompetenzanalyse hilft mir dabei, meine Stärken und Schwächen herauszufinden.“


der befragten Schüler/innen zur Akzep-tanz der Kompetenzanalyse (Haupt- und Sonderschule)


Die befragten Schüler/innen beurteilen die Kompetenzanalyse durchgehend als positiv. Sie geben an, dass es ihnen gut gefallen hat, an der Kompetenzanalyse teilzunehmen. Sie erklä-ren auch, dass sie die Aufgaben gut bearbeiten und ihre Fähigkeiten gut zeigen konnten. Im Verlauf der Evaluationszyklen zeigen sich lediglich geringe Veränderungen in Bezug auf die entsprechenden Angaben. Weiter geben die Schüler/innen an, dass ihnen die Kompetenz-analyse dabei geholfen habe, die eigenen Stärken und Schwächen herauszufinden.

Frage zu Abbildung 9 (befragt: Schüler/innen):

„Würdest Du gerne noch einmal an einer Kompetenzanalyse teilnehmen? Bitte begründe Deine Antwort.“

Abbildung 9: Häufigkeiten der Anga-

ben der befragten Schüler/innen zur erneuten Teilnahme an einer Kompe-tenzanalyse in Prozent

Die meisten der befragten Schüler/innen geben an, gerne noch einmal an einer Kompetenz-analyse teilnehmen zu wollen. Sie begründen dies größtenteils damit, dass die Kompetenz-analyse Spaß gemacht und ihnen persönlich etwas gebracht habe.

13

4,184,36 4,32

1

2

3

4

5

6

7



Mitte

lwert

e

Zeitliche Ressourcen für die Durchführung

Zyklus 2010

2,98

3,573,26 3,25

3,73 4,02

5,30

1

2

3

4

5

6

7



Mitte

lwert

e

Zeitbedarf für die Kompetenzanalyse


Frage (befragt: Schüler/innen):

„Hast Du durch die Kompetenzanalyse etwas Neues über Dich erfahren?“

Häufigste Antworten:

Ich kann gut im Team arbeiten.

Ich kann mich verbessern.

Ich kann mehr, als ich mir zugetraut habe.

Ich kann sehr ordentlich arbeiten.

Ich kann gut präsentieren.


„Ich hatte ausreichend zeitliche Ressourcen für die Durchführung der Kompetenzanalyse.“


der befragten Lehrkräfte und Expertin-nen / Experten zu den zeitlichen Res-sourcen für die Durchführung der Kom-petenzanalyse


Die befragten Lehrkräfte sowie die Expertinnen und Experten halten die zeitlichen Ressour-cen für die Durchführung der Kompetenzanalyse nur für tendenziell ausreichend.


„Den Zeitbedarf für die Kompetenzanalyse halte ich für sinnvoll.“


der befragten Lehrkräfte und Expertin-nen / Experten zum Zeitbedarf für die Kompetenzanalyse


14

4,58

5,41

4,19

4,67

4,36

4,82

6,05

1

2

3

4

5

6

7



Mitte

lwert

e

Sinnhaftigkeit der Kompetenzanalyse


Der Zeitbedarf für die Kompetenzanalyse wird von den befragten Lehrkräften der Werkreal-schulen / Hauptschulen als nur mäßig sinnvoll bewertet. Die befragten Lehrkräfte der Son-derschulen halten den Zeitbedarf für mittelmäßig sinnvoll. Im Vergleich zu den vorangegan-genen Evaluationszyklen fallen die Bewertungen zwar tendenziell besser aus; insgesamt liegen die Werte aber weiterhin nicht sehr hoch. Insbesondere bei dieser Frage zum Zeitbe-darf gibt es sehr große Unterschiede in der Bewertung durch die einzelnen Lehrkräfte. Die befragten Expertinnen und Experten halten den Zeitbedarf für die Kompetenzanalyse für sinnvoll.


„Allgemein halte ich die Kompetenzanalyse für sinnvoll.“


der befragten Lehrkräfte und Expertin-nen / Experten zur Sinnhaftigkeit der Kompetenzanalyse


Insgesamt wird die Kompetenzanalyse von den befragten Lehrkräften der Tendenz nach als sinnvoll eingeschätzt. Die befragten Expertinnen und Experten halten die Kompetenzanalyse allgemein für sehr sinnvoll.

Einige typische Aussagen zur Akzeptanz

„Die Kompetenzanalyse muss durch den Eindruck im Unterricht ergänzt werden.“ (Expertin / Experte)

„Die Schüler waren alle mit Eifer dabei und waren auch stolz auf ihr Profil.“ (Lehr-kraft)

„Die Planung erfordert sehr viel Zeit.“ (Expertin / Experte)

„Man hat zu wenig Zeit für Fördergespräche, dazu genügt die Kontingenzstunde nicht.“ (Expertin / Experte)

„Sprengt den Rahmen der Organisation einer Schule.“ (Lehrkraft)

„Individuelles Arbeiten muss Pflicht werden.“ (Lehrkraft)

„Die Durchführung hat Spaß gemacht, mich bereichert. Der Zeit- und Materialauf-wand ist groß, aber lohnt sich.“ (Lehrkraft)

„Die Durchführungsphase war sehr zeitintensiv, die Ergebnisse dafür eine große Bereicherung für mich und meine Schüler. Die Kompetenzprofile sind für die Schüler ein sehr gutes Feedback.“ (Lehrkraft)

„Die Kompetenzanalyse war sehr gut, ich würde sie gleich nochmal machen." (Schüler/in)

15

„Ich danke euch, dass ich an der Kompetenzanalyse teilnehmen durfte.“ (Schü-ler/in)

„Die Kompetenzanalyse kann mir bei der Berufsfindung helfen.“ (Schüler/in)

„Mir hat das so gut getan, da konnte ich sehen was für eine Stärke ich habe und was ich noch verbessern kann.“ (Schüler/in)

„Da lernt man was für die Zukunft.“ (Schüler/in)

„Ich finde es gut, dass die Lehrer einen Schüler genauer beobachten und sie wirklich mal sehen was wir Schüler können.“ (Schüler/in)

„Ich fand die Kompetenzanalyse sehr hilfreich und ich habe viele Sachen dazu gelernt.“ (Schüler/in)

„Ich fand es gut, weil ich jetzt weiß, dass ich nicht so schlecht bin, wie ich immer gedacht habe.“ (Schüler/in)

„Leider immer noch nicht ganz akzeptiert, Kollegen versperren sich teilweise.“

(Expertin / Experte)

„Die Kompetenzanalyse ist eine Bereicherung fürs Schulleben.“ (Expertin / Exper-te)

„Die Planung erfordert sehr viel Zeit.“ (Expertin / Experte)

„Das Verfahren müsste abgespeckt schon in Klasse 5 beginnen. Dann wieder in Klasse 7, 8 und 9., da man sonst keine Überprüfung der Wirksamkeit hat.“ (Exper-tin / Experte)

„Teamarbeit konnte ich davor nicht so gut. Jetzt kann ich es.“ (Schüler/in)

„Wir können unsere Fähigkeiten sehen.“ (Schüler/in)

„Sehr schön, dass die Schüler die Möglichkeit haben, sich selbst und die Ande-ren in einem anderen Zusammenhang wahrzunehmen.“ (Expertin / Experte)

„Eingefahrene Sichtweisen werden „gesprengt.““ (Expertin / Experte)

„Die Kompetenzanalyse liefert oft verblüffende Ergebnisse, die man nicht erwar-tet hat.“ (Expertin / Experte)

„Insbesondere in kleinen Schulen kommt es zu einem Ressourcenproblem, wenn die Klassen vertreten werden müssen.“ (Lehrkraft)

Dateninterpretation zum Themenbereich Akzeptanz

Die Akzeptanz des Verfahrens ist bei den befragten Expertinnen und Experten sowie bei den Schülerinnen und Schülern gegeben. Bei den Lehrkräften fällt die Akzeptanz tendenziell positiv aus.

Der Zeitbedarf für die Kompetenzanalyse wird von den befragten Lehrkräften jedoch zum Teil auch skeptisch betrachtet, da sie die zeitlichen Ressourcen als nur tendenzi-ell ausreichend wahrnehmen.

Zum Nutzen des Verfahrens lässt sich sagen, dass es sich gemäß der Angaben der Befragten zur Kompetenzfeststellung der Schüler/innen und als Ausgangspunkt zur Förderung der individuellen Kompetenzen eignet.

16

4,044,374,32 4,424,30 4,43

1

2

3

4

5

6

7


Sonderschule

Mitte

lwert

e

Beobachtbarkeit der Merkmale


3,934,34

4,13 4,104,16 4,32

1

2

3

4

5

6

7


Sonderschule

Mitte

lwert

e

Beurteilung anhand der Merkmale


2.5.2 Kompetenzfelder und Merkmale

Abgefragte Aussage zu Abbildung 13 (befragt: Lehrkräfte):

„Die Merkmale sind insgesamt leicht zu beobachten.“


der befragten Lehrkräfte zur Beobachtbarkeit der Merkmale


Die befragten Lehrkräfte halten die Merkmale der Schüler/innen nur für tendenziell leicht be-obachtbar. Im Verlauf der Evaluationszyklen zeigen sich lediglich geringe Veränderungen in Bezug auf die entsprechenden Angaben.

Frage (befragt: Expertinnen und Experten):

„Wie schätzen Sie die Beobachtbarkeit der Merkmale ein?“


Insgesamt gut / sehr gut

Manche Merkmale sind schwer zu beobachten (z.B. Planungsfähigkeit), andere eher leicht (z.B. Teamfähigkeit).

Die Aufgaben sind unterschiedlich gut für die Beobachtung der Merkmale geeignet.

Durch die Weiterentwicklung des Verfahrens wurde die Beobachtbarkeit verbessert.


„Es ist leicht, die Schüler/innen anhand der Merkmale zu beurteilen.“

Abbildung 14: Mittelwerte der Anga-

ben der befragten Lehrkräfte zur Beur-teilung anhand der Merkmale


17

4,76 4,935,12 5,095,32 5,26

1

2

3

4

5

6

7


Sonderschule

Mitte

lwert

e

Definition der Merkmale


4,74 4,945,02 4,945,17 5,19

1

2

3

4

5

6

7


Sonderschule

Mitte

lwert

e

Verhaltensbeispiele


Die befragten Lehrkräfte halten die Beurteilung der Schüler/innen anhand der Merkmale nur tendenziell für leicht.


„Die Merkmale sind im Merkmalskatalog gut definiert.“


der befragten Lehrkräfte zur Definition der Merkmale im Merkmalskatalog


Die befragten Lehrkräfte bewerten die Definitionen der Merkmale im Merkmalskatalog als gut. Diese Bewertung der Lehrkräfte hat sich im Verlauf der drei Evaluationszyklen mit der Optimierung der Definitionen kontinuierlich verbessert.


„Die Verhaltensbeispiele aus dem Merkmalskatalog veranschaulichen das jeweilige Merkmal gut.“


der befragten Lehrkräfte zu den Verhal-tensbeispielen im Merkmalskatalog


Die Verhaltensbeispiele aus dem Merkmalskatalog sind nach Ansicht der befragten Lehrkräf-te gut geeignet zur Veranschaulichung der jeweiligen Merkmale. Im Verlauf der Evaluations-zyklen zeigt sich eine kontinuierliche Verbesserung dieser Einschätzung der Lehrkräfte.

18

85,0%

15,0%

0%

20%

40%

60%

80%

100%

ja nein

Häufi

gkeiten

Umfassendes Bild durch die Kompetenz- und

Merkmalskonzeption

Zyklus 2010

Abgefragte Aussage zu Abbildung 17 (befragt: Expertinnen / Experten):

„Anhand der Kompetenz- und Merkmalskonzeption erhält man ein umfassendes Bild der überfachlichen Kompetenzen der Schülerinnen und Schüler.“


ben der befragten Expertinnen / Exper-ten zum Erhalt eines umfassenden Bildes der überfachlichen Kompetenzen der Schülerinnen und Schüler anhand der Kompetenz- und Merkmalskonzep-tion, in Prozent

85% der befragten Expertinnen und Experten sind der Ansicht, dass man anhand der Kom-petenz- und Merkmalskonzeption ein umfassendes Bild der überfachlichen Kompetenzen der Schüler/innen erhält. Als weitere Kompetenzen / Merkmale, die ebenfalls beurteilt werden könnten, nennen die übrigen 15% der Expertinnen und Experten beispielsweise Zuverlässig-keit, Motivation und gestalterische Fähigkeiten.

Einige typische Aussagen zu den Kompetenzfeldern und Merkmalen

„Man hat die Möglichkeit, die Schüler anhand bestimmter Kriterien gezielt zu be-obachten.“ (Lehrkraft)

„Die Präsentationsfähigkeit ist aufgrund der kurzen Zeit nur sehr wenig be-obachtbar.“ (Expertin / Experte)

„Die Aufgaben ermöglichen die Merkmalsbeobachtung unterschiedlich gut. Man-che Merkmale lassen sich gut beobachten, manche kann man in so kurzer Zeit nicht beobachten.“ (Expertin / Experte)

„Fraglich, ob man durch die Kompetenzanalyse in der kurzen Zeit wirklich ein „echtes“ Bild erhält oder man das Bild noch durch andere Dinge (z. B. weitere Beobachtungen) ergänzen sollte.“ (Expertin / Experte)

„Präsentationsaufgaben sind gut zum Beobachten, Planungsaufgaben sind da-gegen eher abstrakt.“ (Expertin / Experte)

„Die Präsentationsaufgaben sind super zum Beobachten.“ (Expertin / Experte)

„Die Konfliktfähigkeit ist schwierig zu beobachten, da die Aufgaben zu wenig Konfliktpotential bieten.“ (Expertin / Experte)

19

Dateninterpretation zum Themenbereich Kompetenzfelder und Merkmalen

Die Beobachtung und die Beurteilung ihrer Schülerinnen und Schüler erweist sich für die Lehrkräfte nach eigenen Angaben als Aufgabe mittlerer Schwierigkeit. Einige Merkmale werden als leichter beobachtbar (z.B. Teamfähigkeit), andere als schwerer beobachtbar (z.B. Planungsfähigkeit) erlebt. Hierbei ist zu bedenken, dass die Be-obachtung von bis zu vier Schülerinnen und Schülern während einer Beobachtungs-aufgabe sowie die anschließende Beurteilung generell eine anspruchsvolle und für die Lehrkräfte neue Aufgabe ist.

Der Merkmalskatalog hat sich mit seinen Merkmalsdefinitionen und Verhaltensbeispie-len bewährt.

20

2.5.3 Aufgaben

In den Abbildungen 18 bis 21 ist dargestellt, wie häufig die einzelnen Aufgaben insgesamt durchgeführt wurden.

333

539

1.414

716

133

551

145

60

614

867795

133211

336

673

189

0

200

400

600

800

1000

1200

1400

1600

Hä

ufi

gke

ite

n

Häufigkeit Aufgabendurchführung - Werkrealschule / Hauptschule

Zyklus 2010

Abbildung 18: Absolute Häufigkeiten der Durchführung der einzelnen Aufgaben

(Werkrealschule / Hauptschule)

1.620

403

515

120

755

379

3228

90 29 55 53

357

0

200

400

600

800

1000

1200

1400

1600

Hä

ufi

gke

ite

n

Häufigkeit Aufgabendurchführung - Werkrealschule / Hauptschule

Zyklus 2010


(Werkrealschule / Hauptschule)

21

115

92

155 150

70

9 21

30

157

107

141

52

29

76 72

19

0

50

100

150

200

250

Hä

ufi

gke

ite

n

Häufigkeit Aufgabendurchführung - Sonderschule

Zyklus 2010


(Sonderschule)

249

94 107

69 71

7

2920

55 4432

51

175

121138

168

222

0

50

100

150

200

250

Hä

ufi

gke

ite

n

Häufigkeit Aufgabendurchführung - Sonderschule

Zyklus 2010


(Sonderschule)

Die Aufgaben wurden von den Lehrkräften mit sehr unterschiedlicher Häufigkeit für die Durchführung ausgewählt.

In den Abbildungen 23 bis 26 sind die Ergebnisse zur Eignung der einzelnen Beo-bachtungsaufgaben des Verfahrens sowie zur Angemessenheit des Schwierigkeits-grads der betreffenden Aufgaben dargestellt.

22

Abgefragte Aussagen zu Abbildung 22 und 23 (befragt: Lehrkräfte der Werkrealschule / Hauptschule):

„Die folgenden Aufgaben halte ich für die Kompetenzanalyse für geeignet.“

„Den Schwierigkeitsgrad der folgenden Aufgaben halte ich für meine Schüler/innen für an-gemessen.“

5,5

9

5,2

4

5,9

7

5,4

7

4,6

5

5,7

5

6,1

6

4,0

0

5,1

7

5,0

2

5,3

6

5,0

3

4,9

2

5,2

2

5,1

4

4,9

4

5,9

5

5,4

9

6,1

9

5,6

3

5,5

0

5,1

7

5,8

7

4,2

8

5,1

1

4,8

6

5,1

7

5,0

6

4,8

1

4,8

6

5,0

2

4,8

4

1

2

3

4

5

6

7

Mitte

lwe

rte

Aufgaben - Werkrealschule / Hauptschule

für Kompetenzanalyse geeignet Schwierigkeitsgrad angemessen

Abbildung 22: Mittelwerte der Angaben der befragten Lehrkräfte (Werkrealschule /

Hauptschule) zur Eignung der Aufgaben für die Kompetenzanalyse und zum Schwie-rigkeitsgrad der Aufgaben (Zyklus 2010; 1 = trifft überhaupt nicht zu, 7 = trifft voll zu)

6,3

3

6,4

0

5,8

6

5,7

0

5,5

6

5,3

2

5,3

7

5,1

7

5,2

5

5,8

5

6,2

8

6,2

4

5,6

3

4,8

5

5,1

4

4,2

6 4,7

1

4,0

0 4,3

3 4,9

1

1

2

3

4

5

6

7

Mitte

lwe

rte

Aufgaben - Werkrealschule / Hauptschule


Abbildung 23: Mittelwerte der Angaben der befragten Lehrkräfte (Werkrealschule /

Hauptschule) zur Eignung der Aufgaben für die Kompetenzanalyse und zum Schwie-rigkeitsgrad der Aufgaben (Zyklus 2010; 1 = trifft überhaupt nicht zu, 7 = trifft voll zu)

(Hinweis: Die Aufgaben, zu denen weniger als zehn Antworten vorliegen,

sind im Diagramm nicht aufgeführt.)

23

Die befragten Lehrkräfte aus dem Werkreal- und Hauptschulbereich stufen die Aufgaben „Dominosteine“, „L-Box“, und „Der Ball ist rund“ als besonders geeignet ein. Als am wenigs-ten geeignet beurteilen sie die Aufgabe „Diskussionsrunde“. Keine der Aufgaben wird als ungeeignet eingestuft.

Die befragten Lehrkräfte aus dem Werkreal- und Hauptschulbereich stufen den Schwierig-keitsgrad der Aufgaben „Streichholzturm“, „L-Box“ und „Der Ball ist rund“ als besonders an-gemessen ein. Als am wenigsten angemessen beurteilen sie den Schwierigkeitsgrad der Aufgaben „Budapest“, „Geduldsspiel“ und „London“. Für keine der Aufgaben wird der Schwierigkeitsgrad als unangemessen eingestuft.

Abgefragte Aussagen zu Abbildung 24 und 25 (befragt: Lehrkräfte der Sonderschule):

„Die folgenden Aufgaben halte ich für die Kompetenzanalyse für geeignet.“

„Den Schwierigkeitsgrad der folgenden Aufgaben halte ich für meine Schüler/innen für an-gemessen.“

6,3

7

5,2

7

5,9

9

5,5

9

5,6

8 6,0

0

5,3

6

5,2

4

4,6

1

4,7

3 5,0

0

4,6

5

4,5

5

5,7

0

3,9

1

6,4

5

5,0

0

6,1

5

5,3

7

5,7

8 5,9

4

4,9

2

4,3

7

3,6

9 3,9

3

3,7

5

3,5

2

3,7

6

5,2

8

2,3

6

1

2

3

4

5

6

7

Mitte

lwe

rte

Aufgaben - Sonderschule


Abbildung 24: Mittelwerte der Angaben der befragten Lehrkräfte (Sonderschule) zur

Eignung der Aufgaben für die Kompetenzanalyse und zum Schwierigkeitsgrad der Aufgaben (Zyklus 2010; 1 = trifft überhaupt nicht zu, 7 = trifft voll zu)



24

6,3

9

5,6

8

6,3

1

5,5

3

5,5

4 6,2

5

6,5

0

5,5

0

5,3

9

5,1

4 5,7

7

6,0

3

6,0

0

5,9

8

6,1

4

6,0

3

6,0

4

5,5

1 6,0

4

5,1

0

4,6

0

5,5

8 6,1

7

5,6

1

4,8

0

4,6

4 5,1

1 5,6

3

5,7

3

5,5

0

5,5

7

5,5

0

1

2

3

4

5

6

7M

itte

lwe

rte

Aufgaben - Sonderschule


Abbildung 25: Mittelwerte der Angaben der befragten Lehrkräfte (Sonderschule) zur

Eignung der Aufgaben für die Kompetenzanalyse und zum Schwierigkeitsgrad der Aufgaben (Zyklus 2010; 1 = trifft überhaupt nicht zu, 7 = trifft voll zu)



Die befragten Lehrkräfte aus dem Sonderschulbereich stufen die Aufgaben „Turmbau“, „L-Box“, „Pausenbrötchen Zubereitung“, „Schneidebrett“ und „Lesezeichen“ als besonders ge-eignet ein. Als am wenigsten geeignet beurteilen sie die Aufgabe „Waldpfad“. Keine der Auf-gaben wird als ungeeignet eingestuft.

Die befragten Lehrkräfte aus dem Sonderschulbereich stufen den Schwierigkeitsgrad der Aufgaben „Turmbau“, „Streichholzturm“ und „Lesezeichen“ als besonders angemessen ein. Den Schwierigkeitsgrad der Aufgaben „Familie Maierhof“, „Viel zu tun“, „Schulfest“ und „Tier-park“ halten sie für eher nicht angemessen und den Schwierigkeitsgrad der Aufgabe „Waldpfad“ für nicht angemessen.

Einige typische Aussagen zu den Aufgaben

„Gruppenarbeiten sind allgemein geeignet, da bei diesen die Zusammenarbeit gut beobachtet werden kann.“ (Expertin / Experte)

„Die Präsentationsaufgaben machen den Schülern Spaß.“ (Expertin / Experte)

„Es ist gut, dass die Aufgaben nichts mit normalem Unterricht zu tun haben.“ (Expertin / Experte)

„Die Kombination aus Einzel- und Gruppenarbeit ist gut.“ (Expertin / Experte)

„Praktische Aufgaben sind gut, da hier viel beobachtet werden kann.“ (Expertin / Experte)

„Die Aufgaben sind motivierend. Die Schüler machen sie gerne.“ (Expertin / Exper-te)

„Aufgaben mit praktischen Tätigkeiten und Gruppenaufgaben sind besonders geeignet, da diese Fähigkeiten so nicht im Unterricht zu beobachten sind.“ (Ex-pertin / Experte)

25

„Die Aufgaben sind gut strukturiert.“ (Expertin / Experte)

„Aufgaben, die dreigeteilt sind in Einzel-, Gruppenarbeit und einen Präsentations-teil sind nicht so geeignet.“ (Lehrkraft)

„Einzelaufgaben sind bei einer größeren Gruppe schwierig, da es viel zu schrei-ben gibt.“ (Lehrkraft)

„Die Einzelarbeit bei den Planungsaufgaben ist schwer zu beobachten.“ (Lehr-kraft)

„Die Aufgaben sind in den Schwierigkeitsgraden nicht gleich.“ (Lehrkraft)

„Insgesamt schöne Mischung aus Einzel- , Gruppen- und praktischer Arbeit.“ (Lehrkraft)

„Ausreichende Auswahl an Aufgaben aus der man AC erstellen kann.“ (Lehrkraft)

„Gruppenarbeiten sind lustig.“ (Schüler/in)

„Andere Aufgaben als sonst im Unterricht.“ (Schüler/in)

„Besser als Unterricht. Aufgaben machen Spaß.“ (Schüler/in)

„Interessant. Habe viel Neues gelernt.“ (Schüler/in)

„Gruppenarbeit ist wichtig, aber aus Einzelarbeit lernt man auch sehr viel.“ (Schü-ler/in)

„Bei manchen Aufgaben ist es blöd, dass man keine Hilfe bekommt.“ (Schüler/in)

„Nach ein paar Jahren sollten neue Aufgaben erstellt werden, weil die jetzigen dann sicher schon alle bekannt sind.“ (Expertin / Experte)

„Tolle Aufgaben und tolles Material. Das werde ich in meinen Unterricht einflie-ßen lassen.“ (Lehrkraft)

„Es ist gut, dass es einen Pool an Aufgaben gibt und man leicht ein AC zusam-men stellen kann.“ (Expertin / Experte)

Dateninterpretation zum Themenbereich Aufgaben

Die Beobachtungsaufgaben werden von den befragten Lehrkräften insgesamt als ge-eignet für die Kompetenzanalyse eingestuft; wobei es hierbei Unterschiede zwischen den Aufgaben gibt.

In Bezug auf den Schwierigkeitsgrad werden die Aufgaben als unterschiedlich ange-messen bewertet. Mit Ausnahme der Aufgaben der Aufgabenkategorie 2 im Sonder-schulbereich sind die Aufgaben jedoch nicht zu schwierig.

Insgesamt können die Aufgaben in der vorliegenden Form beibehalten werden. Ledig-lich die Aufgaben aus der Aufgabenkategorie 2 sollten für den Sonderschulbereich erneut modifiziert werden, sodass ein angemessener Schwierigkeitsgrad erreicht wird.

Insgesamt ist es für ein differenziertes Verfahren adäquat, dass die Aufgaben unter-schiedlich schwierig gestaltet sind. Dies ermöglicht den Lehrkräften eine für die jewei-ligen Rahmenbedingungen passgenaue Aufgabenauswahl.

26

4,71 5,03 5,105,03 5,17 5,334,84 5,13

5,25

1

2

3

4

5

6

7

A B C

Mitte

lwert

e

Beobachtungs-, Beurteilungs- und

Beobachterkonferenzbogen - Werkrealschule /

Hauptschule


5,185,35

5,64

4,95 5,055,31

5,08 5,155,48

1

2

3

4

5

6

7

A B C

Mitte

lwert

e

Beobachtungs-, Beurteilungs- und

Beobachterkonferenzbogen - Sonderschule


2.5.4 Instrumente

Abgefragte Aussagen zu Abbildung 26 und 27 (befragt: Lehrkräfte):

A: „Der Beobachtungsbogen eignet sich gut zur Erfassung des Verhaltens der Schüler/ innen.“

B: „Der Beurteilungsbogen eignet sich gut zur Beurteilung der Schüler/innen.“

C: „Der Beobachterkonferenzbogen eignet sich gut zur Unterstützung bei der gemeinsamen Beurteilung.“


der befragten Lehrkräfte (Werkrealschu-le / Hauptschule) zum Beobachtungs-bogen (A), zum Beurteilungsbogen (B), zum Beobachterkonferenzbogen (C)



der befragten Lehrkräfte (Sonderschule) zum Beobachtungsbogen (A), zum Beurteilungsbogen (B), zum Beobach-terkonferenzbogen (C)


Die befragten Lehrkräfte aus dem Werkreal- / Hauptschul- und aus dem Sonderschulbereich halten die Instrumente des Verfahrens – den Beobachtungsbogen, den Beurteilungsbogen, den Beobachterkonferenzbogen – für deren jeweiligen Einsatzzweck für geeignet. Die Be-wertungen der Lehrkräfte aus dem Werkreal- und Hauptschulbereich liegen für den Beo-bachtungsbogen tendenziell am niedrigsten, fallen aber noch positiv aus. Im Verlauf der Eva-luationszyklen haben sich die Bewertungen auf einem relativ hohen Maß eingependelt.

27

5,10

4,44

5,264,83

1

2

3

4

5

6

7


Sonderschule

Mitte

lwert

e

Instruktion Selbsteinschätzung

Zyklus 2009 Zyklus 2010

4,39

3,31

5,14 4,625,20

4,63

1

2

3

4

5

6

7


Sonderschule

Mitte

lwert

e

Selbsteinschätzungsbogen



A: „Die Instruktion Selbsteinschätzung eignet sich gut zur Unterstützung der Schüler/innen bei der Selbsteinschätzung.“


der befragten Lehrkräfte zur Instruktion Selbsteinschätzung


Die befragten Lehrkräfte der Werkrealschulen / Hauptschulen und der Sonderschulen halten die Instruktion zur Selbsteinschätzung für gut geeignet bzw. tendenziell gut geeignet zur Un-terstützung der Schüler/innen bei ihrer Selbsteinschätzung. Im Vergleich zum Evaluations-zyklus 2009 wird die zwischenzeitlich optimierte Instruktion von den Lehrkräften beider Schularten besser bewertet.


„Der Selbsteinschätzungsbogen eignet sich gut für die Selbstbeurteilung der Schüler/innen.“


der befragten Lehrkräfte zum Selbstein-schätzungsbogen


Die befragten Lehrkräfte der Sonderschulen halten den Selbsteinschätzungsbogen für ten-denziell geeignet, die Lehrkräfte der Werkreal- und Hauptschulen für gut geeignet für die Selbsteinschätzung der Schülerinnen und Schüler. Im Vergleich zum Evaluationszyklus 2008 wird der Selbsteinschätzungsbogen aufgrund der erfolgten Optimierung – insbesondere von den Lehrkräften der Sonderschulen – deutlich positiver bewertet.

28

5,66

4,86

1

2

3

4

5

6

7

A B

Mitte

lwert

e

Selbsteinschätzung

Zyklus 2010

4,62

5,285,64

5,304,97

5,685,25

4,97

1

2

3

4

5

6

7

A B C

Mitte

lwert

e

Kompetenzprofil und Fördervereinbarung -

Werkrealschule / Hauptschule


Abgefragte Aussagen zu Abbildung 30 (befragt: Schüler/innen):

A: „Ich finde es gut, dass ich mich selbst einschätzen durfte.“

B: „Es fiel mir leicht, mich mit dem Selbsteinschätzungsbogen einzuschätzen.“


der befragten Schüler/innen zur Selbst-einschätzung (Haupt- und Sonderschu-le)


Die befragten Schüler/innen geben an, dass sie es gut fanden, sich selbst einschätzen zu dürfen und dass sie es tendenziell für leicht halten, sich mit dem Selbsteinschätzungsbogen einzuschätzen.


A: „Die Darstellung der Ergebnisse im Kompetenzprofil ist gut.“

B: „Das Kompetenzprofil eignet sich gut als Grundlage für die Fördergespräche.“

C: „Die Vorlage zu den Fördervereinbarungen eignet sich gut zur Dokumentation der Förder- vereinbarungen.“


der befragten Lehrkräfte (Werkrealschu-le / Hauptschule) zum Kompetenzprofil (A und B) und zur Vorlage zu den För-dervereinbarungen (C)


29

4,915,205,36 5,22 5,02

5,59 5,38 5,25

1

2

3

4

5

6

7

A B C

Mitte

lwert

eKompetenzprofil und Fördervereinbarung -

Sonderschule


7,7% 8,0%

92,3% 92,0%

0%

20%

40%

60%

80%

100%

Werkrealschle /Hauptschule

Sonderschule

Häufi

gkeiten

Ergänzender Einsatz der Bögen

mindestens 1 ergänzender Einsatz kein ergänzender Einsatz


der befragten Lehrkräfte (Sonderschule) zum Kompetenzprofil (A und B) und zur Vorlage zu den Fördervereinbarungen (C)


Die befragten Lehrkräfte aus beiden Schularten bewerten die Darstellung der Ergebnisse im Kompetenzprofil als gut und halten das Kompetenzprofil für eine gute Grundlage für die För-dergespräche. Weiter halten sie die Vorlage zu den Fördervereinbarungen für geeignet zur Dokumentation der Fördervereinbarungen. In Bezug auf die Bewertung der Darstellung der Ergebnisse im Kompetenzprofil zeigt sich über die Evaluationszyklen hinweg ein deutlicher Trend in die positive Richtung, der aus der optimierten Gestaltung des Kompetenzprofilbo-gens resultiert.

Das Verfahren bietet die Möglichkeit, die Beobachtungs- und Beurteilungsinstrumente auch außerhalb der Kompetenzanalyse einzusetzen. In Abbildung 33 ist dargestellt, wie viele Lehrkräfte diese Möglichkeit genutzt haben.


ben der befragten Lehrkräfte zum Ein-satz der Instrumente zusätzlich zur Kompetenzanalyse, in Prozent

Ein ergänzender Einsatz der Instrumente des Verfahrens durch die Lehrkräfte (z.B. zur Be-obachtung oder Beurteilung der Schüler/innen in Fächern/Fächerverbünden) hat nach Anga-ben der befragten Lehrkräfte lediglich in Einzelfällen stattgefunden.

Die ersten Erfahrungen, die mit dem ergänzenden Einsatz der Bögen gemacht wurden, sind größtenteils positiv. Dies zeigt sich in den Antworten der Lehrkräfte, die diese Möglichkeit nutzten. Diese geben beispielsweise an, die Bögen seien strukturiert und leicht handzuha-ben. Der Einsatz des Beobachtungsbogens verhindere zudem das Verlorengehen von Be-obachtungen und der Beurteilungsbogen erhöhe die Transparenz für die Schüler/innen. Es werden jedoch auch Schwierigkeiten berichtet. Beispielsweise sei die Übertragung der Be-obachtungen aus dem normalen Schulalltag in Beurteilungen nicht ganz einfach.

30

5,54

5,74

5,44

5,69 5,86 5,855,67 5,84 5,85

1

2

3

4

5

6

7

A B C

Mitte

lwert

e

Handbuch - Werkrealschule / Hauptschule


Einige typische Aussagen zu den Instrumenten

„Die neuen Bögen sind wesentlich besser als die alten.“ (Expertin / Experte)

„Es ist schwierig die Beobachtungen neutral zu halten und bewertungsfrei zu formulieren.“ (Lehrkraft)

„Bei Zuordnung geht Neutralität relativ verloren. Erfahrungsbereich fließt in Beur-teilung zum Teil mit ein.“ (Lehrkraft)

„Selbsteinschätzung der Schüler und Einschätzung der Lehrer liegen weit ausei-nander.“ (Lehrkraft)

„Die Selbsteinschätzung sollte sehr zeitnah geschehen.“ (Lehrkraft)

„Die Selbsteinschätzung lief gut. Die Klassenlehrer haben vorher mit den Schü-lern die Kompetenzen durchgesprochen.“ (Lehrkraft)

Dateninterpretation zum Themenbereich Instrumente

Die Instrumente des Verfahrens (Beobachtungsbogen, Beurteilungsbogen, Beobach-terkonferenzbogen und Selbsteinschätzungsbogen) haben sich insgesamt bewährt. Sie sind für ihren jeweiligen Zweck gut geeignet. Mit dem Kompetenzprofil liegt zudem eine gute Grundlage für die Fördergespräche vor.

2.5.5 Handbuch


A: „Die Darstellung der Inhalte des Handbuchs ist anwenderfreundlich.“

B: „Die Inhalte des Handbuchs sind verständlich.“

C: „Das Handbuch unterstützt mich bei der Durchführung der Kompetenzanalyse.“


der befragten Lehrkräfte (Werkrealschu-le / Hauptschule) zum Handbuch


31

5,79 6,075,825,64 5,77 5,665,89 6,01 5,88

1

2

3

4

5

6

7

A B C

Mitte

lwert

eHandbuch - Sonderschule


90,2%

73,5%

9,8%

26,5%

0%

20%

40%

60%

80%

100%

Internet Intranet

Häufi

gkeiten

Nutzung der Software

ja nein


der befragten Lehrkräfte (Sonderschule) zum Handbuch


Das Handbuch wird von den befragten Lehrkräften beider Schularten als in hohem Maße anwenderfreundlich und verständlich eingestuft. Sie halten es für eine gute Unterstützung bei der Durchführung der Kompetenzanalyse. Im Verlauf der Evaluationszyklen zeigen sich le-diglich geringe Veränderungen in Bezug auf die entsprechenden Angaben.

Dateninterpretation zum Handbuch

Das Handbuch wird insgesamt sehr positiv bewertet und stellt eine gute Unterstüt-zung für die Lehrkräfte bei der Durchführung der Kompetenzanalyse dar.

2.5.6 Software

Fragen zu Abbildung 36 (befragt: Lehrkräfte):

A: „Haben Sie das Internet selbst genutzt?“

B: „Haben Sie das Intranet selbst genutzt?“


ben der befragten Lehrkräfte zur Nut-zung der Software in Prozent (Werkre-alschule / Haupt- und Sonderschule)

Gut 90% der befragten Lehrkräfte haben das Internet und knapp drei Viertel der Lehrkräfte haben das Intranet selbst genutzt.

32

5,65

1

2

3

4

5

6

7

Expertinnen / Experten

Mitte

lwert

Anwenderfreundlichkeit der Software

Zyklus 2010

5,365,50

5,135,47 5,58 5,475,55

5,665,52

1

2

3

4

5

6

7

A B C

Mitte

lwert

e

Internet - Werkrealschule / Hauptschule


Abgefragte Aussage zu Abbildung 37 (befragt: Expertinnen und Experten):

„Die Software der Kompetenzanalyse ist anwenderfreundlich.“ „Bitte begründen Sie Ihre Meinung.“


der befragten Expertinnen / Experten zur Anwenderfreundlichkeit der Soft-ware


Die befragten Expertinnen / Experten halten die Software in hohem Maße für anwender-freundlich. Bei den freien Antworten zu diesem Thema machen sie folgende Angaben (häu-figste Antworten):

Die Software ist unkompliziert / leicht verständlich.

Es gab keine technischen Probleme.

Die Trennung Intranet/Internet ist für die Anwender schwierig; Eine Realisierung ohne den KISS-Rechner des Landes wäre gut.

Es ist immer etwas Einarbeitungszeit nötig, da man die Software nur ein Mal im Jahr nutzt.

Das Service Center des Kultusministeriums hat gut geholfen.

Die Aufgabenpakete des Verfahrens sind in der Software gut abrufbar. Abgefragte Aussagen zu Abbildung 38 und 39 (befragt: Lehrkräfte):

A: „Der Aufbau der Internetseite ist anwenderfreundlich.“

B: „Die Zusammenstellung der Aufgaben über das Internet ist anwenderfreundlich.“

C: „Die Ergebnisdarstellung über das Internet ist anwenderfreundlich.“


der befragten Lehrkräfte (Werkrealschu-le / Hauptschule) zur Anwenderfreund-lichkeit des Internets


33

5,37 5,405,15

5,50 5,47 5,42

5,80 5,97

5,61

1

2

3

4

5

6

7

A B C

Mitte

lwert

eInternet - Sonderschule


4,984,58 4,63 4,68

5,11 4,85 4,75 4,985,25

4,99 5,045,20

1

2

3

4

5

6

7

A B C D

Mitte

lwert

e

Intranet - Werkrealschule / Hauptschule



der befragten Lehrkräfte (Sonderschule) zur Anwenderfreundlichkeit des Inter-nets


Die Internetseite wird von den befragten Lehrkräften beider Schularten in Bezug auf alle ab-gefragten Aspekte als in hohem Maße anwenderfreundlich eingestuft. Im Verlauf der drei Evaluationszyklen zeigt sich für beide Schularten ein stetiger Anstieg in die positive Rich-tung.


A: „Der Aufbau der Intranetseite ist anwenderfreundlich.“

B: „Die Verwaltung der Schüler-Datensätze über das Intranet ist anwenderfreundlich.“

C: „Die Verwaltung der AC-Einheiten über das Intranet ist anwenderfreundlich.“

D: „Die Verwaltung der Kompetenzprofile über das Intranet ist anwenderfreundlich.“


der befragten Lehrkräfte (Werkrealschu-le / Hauptschule) zur Anwenderfreund-lichkeit des Intranets


34

5,11 5,02 4,98 4,775,124,92

4,99 5,145,55 5,35 5,34 5,34

1

2

3

4

5

6

7

A B C D

Mitte

lwert

eIntranet - Sonderschule



der befragten Lehrkräfte (Sonderschule) zur Anwenderfreundlichkeit des Intra-nets


Die Intranetseite wird von den befragten Lehrkräften beider Schularten in Bezug auf alle ab-gefragten Aspekte als anwenderfreundlich eingestuft. Im Verlauf der drei Evaluationszyklen zeigt sich für beide Schularten fast durchgängig ein stetiger Anstieg der Mittelwerte.

Einige typische Aussagen zur Software

„Der Umgang mit der Software ist mir sehr leicht gefallen.“ (Lehrkraft)

„Die Software ist selbsterklärend.“ (Expertin / Experte)

„Die Software ist gut; allerdings ist der Kiss-Rechner unpraktisch.“ (Expertin / Ex-perte)

„Die Trennung von Internet und Intranet ist schwierig.“ (Expertin / Experte)

Dateninterpretation zur Software

Die Software wird von den Befragten in Bezug auf alle Komponenten - Aufbau der In-ternet- und der Intranetseite, Zusammenstellung der Aufgaben, Verwaltung der Daten-sätze, Ergebnisdarstellung, etc. - als sehr anwenderfreundlich eingestuft. Allerdings wird die landesbezogene Trennung der Inhalte zwischen Internet und Intranet als hin-derlich erlebt.

35

5,40

5,895,66

5,49

5,73 6,06

1

2

3

4

5

6

7


Sonderschule

Mitte

lwert

e

Schulung


2.5.7 Schulung


„Ich wurde in der Schulung ausreichend für die Durchführung der Kompetenzanalyse vorbe-reitet.“


der befragten Lehrkräfte zur Schulung


Die befragten Lehrkräfte beider Schularten fühlten sich durch die Schulung gut auf die Durchführung der Kompetenzanalyse vorbereitet. Vor allem im abschließenden Evaluations-zeitraum (Zyklus 2010) fällt die Bewertung der Schulungen in hohem Maße positiv aus.

Dateninterpretation zum Themenbereich Schulung

Die Lehrkräfte waren mit den Schulungen im Projektverlauf sehr zufrieden und fühlten sich gut auf die Durchführung der Kompetenzanalyse vorbereitet.

2.5.8 Sonstiges

Frage (befragt: Lehrkräfte, Expertinnen / Experten und Schüler/innen):

„Was gefällt Ihnen / Dir besonders gut am Verfahren Kompetenzanalyse?“


Lehrkräfte:

Das Verfahren bietet Gelegenheit, sich Zeit für die Schüler/innen zu nehmen.

Die Befassung mit den Kompetenzfeldern und Merkmalen ist gut.

Die Kompetenzanalyse ist bereichernd / neuer Blickwinkel auf die Schüler/innen.

Abwechslungsreich / interessant

Die Teilnahme macht den Schüler/innen Spaß.

Klare Struktur des Verfahrens

36

Expertinnen / Experten:

Möglichkeit, die Schüler/innen in anderem Licht sehen

Wertschätzung der Schüler/innen (werden ernst genommen)

Schüler/innen haben Freude / sind motiviert.

Die Kompetenzanalyse bietet eine standardisierte Beurteilung überfachlicher Kompe-tenzen.

Bereicherung fürs Schulleben

7. Klasse ist ein guter Zeitpunkt.

Gute Aufgaben

Tandemarbeit / Austausch mit Kollegen ist gut.

Gute Grundlage für die Individuelle Förderung

Schüler/innen:

Man lernt seine Stärken und Schwächen kennen.

Bastelaufgaben

Gruppenarbeit

Tolle Aufgaben

Es ist eine Abwechslung zum Unterricht.

Frage (befragt: Lehrkräfte, Expertinnen / Experten und Schüler/innen): „Was gefällt Ihnen / Dir weniger gut am Verfahren Kompetenzanalyse?“


Lehrkräfte:

Hoher Aufwand (Vorbereitung, Papier, Material, Organisation)

Die Kompetenzanalyse ist eine Momentaufnahme und tagesformabhängig.

Wunsch nach mehr Materialien und nach Schulung zur individuellen Förderung

Wunsch nach Durchführung durch Externe

Expertinnen / Experten:

Hoher Aufwand (Vorbereitung, Papier, Material, Organisation)

Es gibt nicht ausreichend Klarheit bezüglich der Individuellen Förderung (Ablauf).

Kollegen versperren sich teilweise (zum Teil fehlende Akzeptanz).

Schüler/innen:

Manche Aufgaben sind zu schwierig (z.B. Planungsaufgabe, Drahtbiegeaufgabe).

37

3 Wissenschaftliche Güteprüfung

3.1 Theoretischer Hintergrund

Die Qualität diagnostischer Verfahren kann anhand wissenschaftlicher Kriterien, den soge-nannten Testgütekriterien, beurteilt werden. Hierbei wird zwischen Objektivität, Reliabilität und Validität unterschieden. Diese werden im Folgenden erläutert.

Objektivität

Das Gütekriterium Objektivität bezieht sich auf die Unabhängigkeit der Ergebnisse eines Verfahrens von der untersuchenden Person sowie von der Durchführungssituation. Die un-tersuchende Person sowie die Situation sollen nach diesem Kriterium einen möglichst gerin-gen Einfluss auf die Durchführung eines Verfahrens sowie auf die Auswertung und Interpre-tation der Verfahrensergebnisse haben. Dies soll durch die Standardisierung des Verfah-rensablaufs und der Verfahrensinstrumente erreicht werden.

Reliabilität

Die Reliabilität gibt an, wie stark Ergebniswerte durch Störeinflüsse und Fehler belastet sind. Sie beschreibt also die Zuverlässigkeit von Verfahrensergebnissen. Die Reliabilität lässt sich durch unterschiedliche Methoden abschätzen, beispielsweise durch das Ausmaß der Über-einstimmung der Beurteilungen unterschiedlicher Beobachter 2.

Validität

Die Validität beschreibt die Fähigkeit eines Verfahrens, diejenigen Merkmale zu erfassen, die erfasst werden sollen. Sie gibt also die Güte der Zielrichtung eines Verfahrens wieder.

Um Aussagen zu den Gütekriterien der KOMPETENZANALYSE PROFIL AC AN SCHULEN treffen zu können, wurden im Rahmen der wissenschaftlichen Güteprüfung (Zyklus 4 / 2010) für alle Schüler/innen zu jedem Merkmal folgende Daten erfasst: Die Beurteilung durch Lehrkraft 1, die Beurteilung durch Lehrkraft 2 und die Selbsteinschätzung durch die Schülerin / den Schüler. Diese Daten wurden anschließend anhand statistischer Methoden analysiert. Zu bestimmten Aspekten der Güte des Verfahrens wurden zudem Lehrkräfte und Expertinnen / Experten befragt. Die Ergebnisse der wissenschaftlichen Güteprüfung werden in den folgen-den Unterkapiteln dargestellt.

3.2 Datenbasis der wissenschaftlichen Güteprüfung (Zyklus 4)

Die wissenschaftliche Güteprüfung verlief über drei Phasen: Zyklus 2: Frühling / Sommer 2008, Zyklus 3: Frühling / Sommer 2009 und Zyklus 4: Frühling / Sommer 2010. Das Ziel der Zyklen 2 und 3 war es, das Verfahren gemäß wissenschaftlicher Kriterien zu optimieren. Der Abschlusszyklus (Zyklus 4 / 2010) diente der abschließenden wissenschaftlichen Bewertung der fertiggestellten KOMPETENZANALYSE PROFIL AC AN SCHULEN.

Im Rahmen der abschließenden wissenschaftlichen Güteprüfung (Zyklus 4) wurden für alle Schüler/innen zu jedem Merkmal nachfolgende Daten erfasst und analysiert: Die Beurteilung durch Lehrkraft 1, die Beurteilung durch Lehrkraft 2 und die Selbsteinschätzung durch die Schülerin / den Schüler.

2 Mit „Beobachter“ sind stets beide Geschlechter gemeint.

38

In die abschließende wissenschaftliche Güteprüfung des Verfahrens (Zyklus 4) flossen Da-ten zu Kompetenzprofilen von 29.362 Schüler/innen aus 1.273 Schulen (1.017 / Werkreal-schulen / Hauptschulen und 256 Sonderschulen) ein.

Dabei gab es folgende Aufteilung:

26.641 Werkrealschüler/innen und Hauptschüler/innen und 2.721 Sonderschüler/innen

12.852 Mädchen und 16.510 Jungen

Die Schüler/innen waren zwischen 12 und 17 Jahre alt, im Durchschnitt 13,6 Jahre.

39

3.3 Zusammenfassung der Hauptergebnisse der wissenschaftli-chen Güteprüfung

Merkmale (Kap. 3.4.1)

Seite 40-41

Die Lehrkräfte halten die Merkmale „Arbeitstempo“ und „Arbeitsgenauigkeit“ für am leichtesten beobachtbar. Die Merkmale „Kritikfähigkeit“ und „Problemlöse-fähigkeit“ werden als am wenigsten leicht beobachtbar eingestuft. Die Exper-tinnen und Experten sind der Ansicht, dass die Kompetenzanalyse es gut er-möglicht, die tatsächliche Merkmalsausprägung der Schüler/innen zu erfassen. Dieses Expertenurteil spricht für die Validität des Verfahrens.

Verteilung der Beurteilungswerte (Kap. 3.4.2)

Seite 41-42

Die Häufigkeitsverteilung der Beurteilungswerte ist sowohl für den Werkreal und Hauptschul- als auch für den Sonderschulbereich eingipflig und gleicht einer Normalverteilung. Alle fünf Skalenstufen wurden genutzt und es treten keine Boden- oder Deckeneffekte auf. Diese Ergebnisse sprechen für eine re-gelgerechte Anwendung der 5-stufigen Beurteilungsskala. Diese Skala mit den dazugehörigen Skalenbeschreibungen hat sich bewährt.

Verteilung der Selbsteinschätzungswerte (Kap. 3.4.3)

Seite 42-44

Auch für die Selbsteinschätzung hat sich die fünfstufige Skala als geeignet er-wiesen. Alle fünf Skalenstufen wurden genutzt. Die Verteilung der Selbstein-schätzungswerte ist eingipflig. Sie ist allerdings auf der Skala nach rechts ver-schoben. Das heißt, die Schüler/innen zeigen eine Tendenz zu positiven Wer-ten. Diese Tendenz fällt für beide Geschlechter gleich aus. Dieser Trend ist aber nicht so stark ausgeprägt, dass dies eine Einschränkung der Gültigkeit der Werte darstellen würde.

Übereinstimmung der Beurteiler (Kap. 3.4.4)

Seite 44-46

Sowohl für den Werkreal- und Hauptschul- als auch für den Sonderschulbe-reich liegt bei etwa der Hälfte der Beurteilungen eine vollständige Überein-stimmung der beiden Beurteiler vor, in ca. 40% weichen die Urteile um einen Skalenpunkt voneinander ab, nur in ca. 11% liegt die Abweichung darüber. Insgesamt lässt sich sagen, dass es sich um gute Übereinstimmungswerte der Beurteiler handelt. Diese Übereinstimmungswerte spiegeln eine relativ hohe Objektivität bzw. Reliabilität des Verfahrens wieder. Für ein derart komplexes Beobachtungsverfahren, bei dem die Beurteiler aus Gründen der schulischen Rahmenbedingungen die Schülerinnen und Schüler nicht jeweils in genau den-selben Situationen beobachten, sind die Übereinstimmungswerte ausgespro-chen gut.

40

3.4 Ergebnisse der wissenschaftlichen Güteprüfung

3.4.1 Merkmale

Die folgenden Ergebnisse zu den Merkmalen resultieren aus der prozessbegleitenden Eva-luation (Zyklus 4). Da sie sich jedoch auf die Güte des Verfahrens beziehen, werden sie hier – bei den Ergebnissen der wissenschaftlichen Güteprüfung – dargestellt.

Abgefragte Inhalte zu Abbildung 43 (befragt: Lehrkräfte):

„Bitte wählen Sie aus den Merkmalen diejenigen 8 Merkmale aus, die Ihrer Meinung nach am leichtesten zu beobachten sind.“

79,2% 78,6% 76,0% 75,3%

73,5% 71,4%66,9% 66,4%

54,3%

37,5%

30,8%27,8%

23,4%15,4%

0%

20%

40%

60%

80%

100%

Hä

ufi

gke

ite

n

Beobachtbarkeit der Merkmale

Zyklus 2010

Abbildung 43: Häufigkeiten der Angaben der befragten Lehrkräfte zur

Beobachtbarkeit der Merkmale, in Prozent (Werkrealschule / Hauptschule und Son-derschule)

Die befragten Lehrkräfte halten die Merkmale „Arbeitstempo“ und „Arbeitsgenauigkeit“ für am leichtesten beobachtbar. Die Merkmale „Kritikfähigkeit“ und „Problemlösefähigkeit“ werden als am wenigsten leicht beobachtbar eingestuft.

41

5,00

1

2

3

4

5

6

7

Expertinnen / Experten

Mitte

lwert

Erfassung der tatsächlichen Merkmalsausprägung

Zyklus 2010

4,0%

20,4%

40,4%

28,4%

6,8%

0%

10%

20%

30%

40%

50%

1 2 3 4 5

Häufi

gkeiten

Verteilung der Beurteilungswerte - Werkrealschule /

Hauptschule

Zyklus 2010

Abgefragte Aussage zu Abbildung 44 (befragt: Expertinnen / Experten):

„Die Kompetenzanalyse ermöglicht es, die tatsächliche Merkmalsausprägung der Schü-ler/innen zu erfassen.“

Abbildung 44: Mittelwert der Angaben

der befragten Expertinnen / Experten zur Erfassung der tatsächlichen Merk-malsausprägung durch die Kompetenz-analyse


Die befragten Expertinnen und Experten sind der Ansicht, dass die Kompetenzanalyse es insgesamt gut ermöglicht, die tatsächliche Merkmalsausprägung der Schüler/innen zu erfas-sen. Nach Angaben der Expertinnen und Experten gelingt dies jedoch nicht für alle Merkma-le in gleichem Maße.

Dateninterpretation zum Themenbereich Merkmale

Die Merkmale des Verfahrens sind unterschiedlich gut zu beobachten. Insgesamt las-sen sich nach Expertenmeinung jedoch mit dem Verfahren die tatsächlichen Ausprä-gungen der Merkmale bei den Schüler/innen erfassen. Dies spricht für die Validität des Verfahrens.

3.4.2 Verteilung der Beurteilungswerte

In den Abbildungen 45 und 46 ist dargestellt, wie häufig die Lehrkräfte im Rahmen der Be-obachterkonferenz zur Beurteilung der Schüler/innen die einzelnen Skalenstufen (von 1 = „der / die Schüler/in zeigt das Merkmal in sehr geringer Ausprägung“ bis 5 = „der / die Schü-ler/in zeigt das Merkmal in sehr hoher Ausprägung“) verwendet haben.

Abbildung 45: Häufigkeiten der Beur-

teilungswerte über alle Merkmale hin-weg, in Prozent (Werkrealschule / Hauptschule)

Beschreibung der Skala: Der / die

Schüler/in zeigt das Merkmal … 1 = in sehr geringer Ausprägung, 2 = in geringer Ausprägung, 3 = in mittle-rer Ausprägung, 4 = in hoher Ausprä-gung, 5 = in sehr hoher Ausprägung

42

7,3%

24,0%

36,9%

25,4%

6,4%

0%

10%

20%

30%

40%

50%

1 2 3 4 5

Häufi

gkeiten

Verteilung der Beurteilungswerte - Sonderschule

Zyklus 2010

1,6%

9,9%

35,8% 37,0%

15,7%

0%

10%

20%

30%

40%

50%

1 2 3 4 5

Pro

zente

Verteilung der Selbsteinschätzungswerte -


Zyklus 2010

Abbildung 46: Häufigkeiten der Beur-

teilungswerte über alle Merkmale hin-weg, in Prozent (Sonderschule)


Schüler/in zeigt das Merkmal … 1 = in sehr geringer Ausprägung, 2 = in geringer Ausprägung, 3 = in mittlerer Ausprägung, 4 = in hoher Ausprägung, 5 = in sehr hoher Ausprägung

Die fünfstufige Skala hat sich als geeignet erwiesen. Die Häufigkeitsverteilung der Beurtei-lungswerte ist sowohl für den Werkrealschul- und Hauptschulbereich als auch für den Son-derschulbereich eingipflig und gleicht einer Normalverteilung. Alle fünf Skalenstufen wurden genutzt und es treten keine Boden- oder Deckeneffekte auf. Der durchschnittliche Beurtei-lungswert liegt im Werkreal- und Hauptschulbereich bei 3,14 und im Sonderschulbereich bei 3,00.

3.4.3 Verteilung der Selbsteinschätzungswerte

Die Abbildungen 47 und 48 zeigen die Häufigkeitsverteilung der Selbsteinschätzungen der Schüler/innen (auf den einzelnen Skalenstufen von 1 = „der / die Schüler/in zeigt das Merk-mal in sehr geringer Ausprägung“ bis 5 = „der / die Schüler/in zeigt das Merkmal in sehr ho-her Ausprägung“).

Abbildung 47: Häufigkeiten der Selbst-

einschätzungswerte über alle Merkmale hinweg, in Prozent (Werkrealschule / Hauptschule)



43

3,0%

10,8%

32,8% 31,8%

21,5%

0%

10%

20%

30%

40%

50%

1 2 3 4 5

Pro

zente


Sonderschule

Zyklus 2010

1,8%

10,5%

36,6% 35,7%

15,3%

0%

10%

20%

30%

40%

50%

1 2 3 4 5

Häufi

gkeiten


Mädchen

Zyklus 2010

1,7%

9,9%

35,3% 36,9%

16,3%

0%

10%

20%

30%

40%

50%

1 2 3 4 5

Häufi

gkeiten

Verteilung der Selbsteinschätzungswerte - Jungen

Zyklus 2010


einschätzungswerte über alle Merkmale hinweg, in Prozent (Sonderschule)



Auch für die Selbsteinschätzung hat sich die fünfstufige Skala als geeignet erwiesen. Alle fünf Skalenstufen wurden genutzt. Die Häufigkeitsverteilung der Selbsteinschätzungswerte ist eingipflig. Sie ist allerdings auf der Skala nach rechts verschoben. Das heißt, die Schü-ler/innen zeigen eine Tendenz zu positiven Werten. Der durchschnittliche Selbsteinschät-zungswert liegt im Bereich Werkrealschule / Hauptschule bei 3,55 und im Bereich Sonder-schule bei 3,58. Dieser Trend ist aber nicht so stark ausgeprägt, dass dies eine Einschrän-kung der Gültigkeit der Werte darstellen würde.

In den Abbildungen 49 und 50 sind die Häufigkeitsverteilungen der Selbsteinschätzungen der Schüler/innen getrennt nach Geschlecht dargestellt.


einschätzungswerte über alle Merkmale hinweg, in Prozent (Mädchen)




einschätzungswerte über alle Merkmale hinweg, in Prozent (Jungen)



44

51,1%

38,2%

9,3%

1,3% 0,2%0%

20%

40%

60%

80%

100%

0 1 2 3 4

Häufi

gkeiten

Übereinstimmung der Beurteiler - Werkrealschule /

Hauptschule

Zyklus 2010

Auch unter Berücksichtigung des Geschlechts der Schülerinnen und Schüler hat sich die fünfstufige Skala als geeignet erwiesen. Alle fünf Skalenstufen wurden genutzt. Die Häufig-keitsverteilungen der Selbsteinschätzungswerte sind bei beiden Geschlechtern eingipflig und unterscheiden sich nicht bedeutsam voneinander. Bei beiden Geschlechtern zeigt sich die gleichartige Tendenz zu positiven Werten. Der durchschnittliche Selbsteinschätzungswert liegt für die Mädchen bei 3,52 und für die Jungen bei 3,57.

Dateninterpretation zum Themenbereich Verteilung der Beurteilungs- und der Selbsteinschätzungswerte

Die Häufigkeitsverteilungen sowohl der Beurteilungen als auch der Selbsteinschät-zungen bestätigen eine regelgerechte Anwendung der 5-stufigen Beurteilungsskala. Es liegen keine sogenannten Decken- oder Bodeneffekte vor. Da dies nicht der Fall ist, hat sich die Skala mit den dazugehörigen Skalenbeschreibungen bewährt.

Denkbar ist allerdings – um der Tendenz der Schüler/innen zu positiven Werten zu begegnen – , dass diese von ihren Lehrkräften vor der Teilnahme am Verfahren über diese Tendenz aufgeklärt werden. Erfahrungsgemäß hat dies schon einen korrigieren-den Effekt.

3.4.4 Übereinstimmung der Beurteiler

In den Abbildungen 51 und 52 ist die Übereinstimmung der Lehrkräfte in Bezug auf die Beur-teilung der einzelnen Merkmale ihrer Schüler/innen dargestellt.

Abbildung 51: Häufigkeiten der abso-

luten Abweichungen der beiden Beurtei-ler über alle Merkmale hinweg, in Pro-zent (Werkrealschule / Hauptschule)

45

50,0%

39,3%

9,2%

1,4% 0,2%0%

20%

40%

60%

80%

100%

0 1 2 3 4

Häufi

gkeiten

Übereinstimmung der Beurteiler - Sonderschule

Zyklus 2010

Abbildung 52: Häufigkeiten der abso-

luten Abweichungen der beiden Beurtei-ler über alle Merkmale hinweg, in Pro-zent (Sonderschule)

Sowohl für den Werkreal- und Hauptschul- als auch für den Sonderschulbereich liegt in etwa der Hälfte der Beurteilungen eine vollständige Übereinstimmung der beiden Beurteiler vor, in ca. 40% weichen die Urteile um einen Skalenpunkt voneinander ab, nur in ca. 11% liegt die Abweichung darüber. Die durchschnittliche absolute Abweichung der beiden Beurteiler liegt im Werkreal- und Hauptschulbereich bei 0,61 Skalenpunkten und im Sonderschulbereich bei 0,63 Skalenpunkten. Insgesamt lässt sich sagen, dass es sich für ein Assessment-Center-Verfahren um gute Übereinstimmungswerte der Beurteiler handelt.

In den Abbildungen 53 und 54 ist die Übereinstimmung der Lehrkräfte in Bezug auf die Beur-teilung der einzelnen Merkmale ihrer Schüler/innen anhand des Intra-Klassen-Koeffizienten (ICC) dargestellt. Der ICC ist ein statistisches Maß zur Darstellung der Übereinstimmung zweier Beurteiler. Je höher der ICC ausfällt, desto größer ist die Übereinstimmung.

0,61 0,59 0,59

0,50 0,520,55 0,55 0,59 0,53

0,62

0,51 0,52 0,52 0,51

0,760,71

0,0

0,2

0,4

0,6

0,8

1,0

ICC

Intra-Klassen-Korrelationskoeffizient - Werkrealschule / Hauptschule

Zyklus 2010

Abbildung 53: Intra-Klassen-Korrelationskoeffizient (von 0,0 bis 1,0) der beiden

Beurteiler über alle Merkmale hinweg (Werkrealschule / Hauptschule)

46

0,630,59 0,59

0,54 0,57

0,65

0,54 0,59 0,56 0,59 0,54 0,55 0,55 0,56 0,54 0,62

0,0

0,2

0,4

0,6

0,8

1,0IC

C

Intra-Klassen-Korrelationskoeffizient - Sonderschule

Zyklus 2010

Abbildung 54: Intra-Klassen-Korrelationskoeffizient (von 0,0 bis 1,0) der beiden

Beurteiler über alle Merkmale hinweg (Sonderschule)

Die Höhe des Intra-Klassen-Korrelationskoeffizienten (ICC) liegt im Werkreal- und Haupt-schulbereich zwischen 0,50 (Planungsfähigkeit) und 0,76 (Umgang mit Schriftsprache). Im Sonderschulbereich liegen die Werte zwischen 0,54 (Planungsfähigkeit, Feinmotorische Fä-higkeit, Umgang mit Schriftsprache) und 0,65 (Präsentationsfähigkeit). Auch diese Werte zeigen auf, dass für ein Assessment-Center-Verfahren insgesamt gute Übereinstimmungs-werte der Beurteiler vorliegen.

Dateninterpretation zum Themenbereich Übereinstimung der Beurteiler

Die Durchführung der Kompetenzanalyse hat sich im Schulalltag an einer Reihe von Gegebenheiten zu orientieren. Beispielsweise ist es aus ablauftechnischen Gründen in der Schule nur möglich, dass die beiden Lehrkräfte, die einen bestimmten Schüler bzw. eine bestimmte Schülerin beurteilen, diese/n bei unterschiedlichen Aufgaben beobachten. Vor diesem Hintergrund lassen sich die Übereinstimmungswerte der Lehrkräfte bei der Beurteilung der einzelnen Merkmale der Schülerinnen und Schüler als hoch bezeichnen.

47

3.5 Bewertung der Gütekriterien

Im Folgenden werden die wissenschaftlichen Hauptgütekriterien, die für ein diagnostisches Verfahren wie die KOMPETENZANALYSE PROFIL AC AN SCHULEN relevant sind – Objektivität, Reliabilität und Validität -, beleuchtet.

Objektivität

Die ermittelte Beurteilerübereinstimmung weist für ein Assessment-Center-Verfahren einen guten Wert auf. Dieses Ergebnis ist ein Beleg dafür, dass die KOMPETENZANALYSE PROFIL AC

AN SCHULEN eine hohe Objektivität besitzt.

Erzielt wird die hohe Objektivität durch die Standardisierung des Verfahrens. Aufgrund fol-gender Vorgaben zur Verfahrensdurchführung sind die Ergebnisse der Kompetenzanalyse in gutem Maße unabhängig von der untersuchenden Person sowie von der Durchführungssitu-ation:

Festgelegte Kompetenz- und Merkmalskonzeption: Der zugrunde liegende Merkmalska-talog mit seinen Merkmalsdefinitionen und Verhaltensbeispielen bewirkt ein einheitliches Verständnis der Merkmale auf Seiten der Lehrkräfte.

Standardisierter Ablauf und standardisierte Aufgabenmaterialien: Es sind Aufgaben nach vorgegebenen Kategorien auszuwählen. Die Aufgaben sind gemäß eines festgelegten Ablaufs durchzuführen.

Standardisierte Instrumente: Die eingesetzten Instrumente Beobachtungsbogen, Beurtei-lungsbogen, Selbsteinschätzungsbogen und Beobachterkonferenzbogen sind standardi-siert.

Geringe Beobachterbelastung: Ein Beobachter darf während der Aufgabendurchführung maximal vier Schüler/innen beobachten.

Trennung von Beobachtung und Beurteilung: Die Beurteilung der Schüler/innen erfolgt erst, nachdem die betreffenden Aufgaben abgeschlossen sind.

Situationsvielfalt: Jedes Merkmal der Schüler/innen muss in mindestens zwei Aufgaben beobachtet werden.

Beobachtervielfalt / Mehraugenprinzip: Jedes Merkmal muss von zwei Beobachtern beur-teilt werden, wobei nach jeder Aufgabe ein Beobachterwechsel stattfindet.

Standardisierter Beurteilungsmaßstab: Die Beurteilung erfolgt anhand einer 5-stufigen, für alle Merkmale identischen Skala.

Beurteilerabstimmung: Der endgültige Wert für die Fremdeinschätzung, der im Kompe-tenzprofil ausgegeben wird, ist von den beiden Beobachtern im Rahmen einer Beobach-terkonferenz festzulegen.

48

Reliabilität

Die Beurteilerübereinstimmung wird auch als (Inter-Rater-)Reliabilität bezeichnet. Sie spie-gelt die Zuverlässigkeit eines diagnostischen Verfahrens wieder. Auch die Reliabilität der KOMPETENZANALYSE PROFIL AC AN SCHULEN kann für ein Assessment-Center-Verfahren als gut bezeichnet werden.

Die ermittelten Ergebnisse zeigen auf, dass die Ergebnisse der Kompetenzanalyse nur in relativ geringem Maße durch Störeinflüsse und Fehler belastet sind.

Die KOMPETENZANALYSE PROFIL AC AN SCHULEN ist aus Gründen der schulischen Rahmen-bedingungen so ausgelegt, dass die zwei beobachtenden Lehrkräfte die Schüler/innen nicht bei genau denselben Aufgaben erleben. Im Rahmen der vorliegenden wissenschaftlichen Güteprüfung wurde demnach die „reelle Reliabilität“ erfasst, d.h. die Reliabilität, die das Ver-fahren unter den gegebenen Bedingungen erzielt.

Eine strengere Handhabung des Mehraugenprinzips durch eine Beobachtung der Beobach-ter in denselben Situationen würde vermutlich zu noch höheren Reliabilitätswerten führen. Denn die beiden Beobachter würden sich diesem Fall bei der Beurteilung auf genau diesel-ben Eindrücke beziehen. Dies ist jedoch aufgrund der Rahmenbedingungen an den Schulen nicht praktikabel.

Validität

Die Validität eines Verfahrens gibt an, inwieweit mit dem Verfahren die beabsichtigten Merkmale erfasst werden können. Die Voraussetzungen für eine hohe Validität der KOMPE-

TENZANALYSE PROFIL AC AN SCHULEN – nämlich eine hohe Objektivität und eine hohe Reliabi-lität – sind gegeben.

Die Ermittlung der Validität ist zumeist nicht in direkter Form möglich. Innerhalb der vorlie-genden Güteprüfung wurde sie über die Urteile von Verfahrensexpertinnen und -experten ermittelt. Als Ergebnis zeigte sich, dass die Expertinnen und Experten angeben, dass die tatsächlichen Merkmalsausprägungen der Schülerinnen und Schüler anhand der Kompe-tenzanalyse gut erfasst werden können. Insofern ist die Validität der Kompetenzanalyse als gut zu bezeichnen. D.h. das Verfahren erfasst, was es zu messen beabsichtigt: die Ausprä-gung der einzelnen Merkmale der Schülerinnen und Schüler.

49

4 Gesamtbewertung

Das Verfahren KOMPETENZANALYSE PROFIL AC AN SCHULEN wurde innerhalb eines Projekts zwischen 2008 und 2010 in einem mehrzyklischen Vorgehen entwickelt. Ab dem Schuljahr 2010/2011 wird es flächendeckend in den 7. Klassen aller baden-württembergischen Werkreal-, Haupt- und Sonderschulen durchgeführt.

Die MTO GmbH Tübingen führte über den Projektzeitraum die prozessbegleitende Evalua-tion sowie die wissenschaftliche Güteprüfung des Verfahrens durch. Auf Grundlage der Ergebnisse aus prozessbegleitender Evaluation und wissenschaftlicher Güteprüfung wurde das Verfahren im Projektzeitraum im Rahmen der Projektzyklen kontinuierlich optimiert.

Die Ergebnisse der abschließenden Evaluation und der abschließenden Güteprüfung liegen nun vor (Zyklus 4 / 2010). Sie zeigen auf, dass die KOMPETENZANALYSE PROFIL AC AN SCHU-

LEN bei den befragten Personengruppen (Lehrkräfte, Verfahrensexpertinnen / -experten und Schüler/innen) eine mittlere bis hohe Akzeptanz hat. Das Verfahren eignet sich zur Kompe-tenzfeststellung von Schülerinnen und Schülern. Da die zeitlichen Ressourcen als nur ten-denziell ausreichend wahrgenommen werden, wird der Zeitbedarf für die Kompetenzanalyse von den Lehrkräften zum Teil auch skeptisch gesehen.

Die Kompetenz- und Merkmalskonzeption hat sich bewährt. Die Merkmale der Schülerin-nen und Schüler sind zumeist gut beobachtbar. Die Beobachtungsaufgaben sind – sowohl in Bezug auf ihre Eignung für die Kompetenzanalyse als auch in Bezug auf ihren Schwierig-keitsgrad – adäquat. Einige Aufgaben aus einer bestimmten Aufgabenkategorie erscheinen aber für den Sonderschulbereich als zu schwierig, weswegen hierfür eine Modifikation dieser Aufgaben erfolgen sollte.

Die Beobachtungs- und Beurteilungsinstrumente haben sich bewährt. Das Handbuch zum Verfahren wird sehr positiv bewertet und stellt eine gute Unterstützung für die Lehrkräfte bei der Durchführung der Kompetenzanalyse dar. Die Software, auf der das Verfahren ba-siert, wird von den Befragten als sehr anwenderfreundlich eingestuft; jedoch wird die landes-bezogene Trennung von Internet und Intranet als hinderlich erlebt. Durch die Schulungen fühlten sich die befragten Lehrkräfte gut auf die Durchführung der Kompetenzanalyse vorbe-reitet.

Die Ergebnisse der wissenschaftlichen Güteprüfung sind sehr zufriedenstellend. Die Vertei-lung der Beurteilungswerte zeigt auf, dass sich die fünfstufige Skala bewährt hat und regel-gerecht angewendet wird. Für ein Assessment-Center-Verfahren mit Beobachtungsaufgaben weist die KOMPETENZANALYSE PROFIL AC AN SCHULEN zudem eine hohe Beurteilerübereinstimmung auf, wodurch die hohe Objektivität der Anwendung sowie die Reliabilität des Verfahrens belegt werden. Auch die Validität des Verfahrens fällt für ein Assessment-Center-Verfahren gut aus.

Zusammenfassend lässt sich feststellen, dass es sich bei der KOMPETENZANALYSE PROFIL

AC AN SCHULEN um ein objektives und praktikables Verfahren handelt, das sich gut zur Er-fassung der individuellen überfachlichen Kompetenzen der Schülerinnen und Schüler eignet.

50

Abbildungsverzeichnis

Abbildung 1: Ablauf der Kompetenzanalyse ................................................................................. 2

Abbildung 2: Merkmalskonzeption ................................................................................................ 3

Abbildung 3: Wissenschaftliche Erhebungs- und Modifikationskonzeption mit vier Zyklen .......... 4

Abbildung 4: Wissenschaftliche Erhebungs- und Modifikationskonzeption – exemplarisch dargestellt: Zyklus 2 (erste Prozessanalyse) ................................................................................ 5

Abbildung 5: Mittelwerte der Angaben der befragten Lehrkräfte und Expertinnen / Experten zur Eignung der Kompetenzanalyse zur Ermittlung der individuellen Kompetenzen ....................... 10

Abbildung 6: Mittelwerte der Angaben der befragten Lehrkräfte und Expertinnen / Experten zur Eignung der Kompetenzanalyse als Ausgangspunkt zur Förderung der individuellen Kompetenzen .............................................................................................................................. 11

Abbildung 7: Mittelwerte der Angaben der befragten Lehrkräfte und Expertinnen / Experten zur Motivation der Schüler/innen bei der Teilnahme an der Kompetenzanalyse .............................. 11

Abbildung 8: Mittelwerte der Angaben der befragten Schüler/innen zur Akzeptanz der Kompetenzanalyse (Haupt- und Sonderschule) ......................................................................... 12

Abbildung 9: Häufigkeiten der Angaben der befragten Schüler/innen zur erneuten Teilnahme an einer Kompetenzanalyse in Prozent............................................................................................ 12

Abbildung 10: Mittelwerte der Angaben der befragten Lehrkräfte und Expertinnen / Experten zu den zeitlichen Ressourcen für die Durchführung der Kompetenzanalyse .................................. 13

Abbildung 11: Mittelwerte der Angaben der befragten Lehrkräfte und Expertinnen / Experten zum Zeitbedarf für die Kompetenzanalyse .................................................................................. 13

Abbildung 12: Mittelwerte der Angaben der befragten Lehrkräfte und Expertinnen / Experten zur Sinnhaftigkeit der Kompetenzanalyse ......................................................................................... 14

Abbildung 13: Mittelwerte der Angaben der befragten Lehrkräfte zur Beobachtbarkeit der Merkmale ..................................................................................................................................... 16

Abbildung 14: Mittelwerte der Angaben der befragten Lehrkräfte zur Beurteilung anhand der Merkmale ..................................................................................................................................... 16

Abbildung 15: Mittelwerte der Angaben der befragten Lehrkräfte zur Definition der Merkmale im Merkmalskatalog ......................................................................................................................... 17

Abbildung 16: Mittelwerte der Angaben der befragten Lehrkräfte zu den Verhaltensbeispielen im Merkmalskatalog ......................................................................................................................... 17

Abbildung 17: Häufigkeiten der Angaben der befragten Expertinnen / Experten zum Erhalt eines umfassenden Bildes der überfachlichen Kompetenzen der Schülerinnen und Schüler anhand der Kompetenz- und Merkmalskonzeption, in Prozent ............................................................... 18

Abbildung 18: Absolute Häufigkeiten der Durchführung der einzelnen Aufgaben (Werkrealschule / Hauptschule) .................................................................................................. 20

Abbildung 19: Absolute Häufigkeiten der Durchführung der einzelnen Aufgaben (Werkrealschule / Hauptschule) .................................................................................................. 20

Abbildung 20: Absolute Häufigkeiten der Durchführung der einzelnen Aufgaben (Sonderschule) ..................................................................................................................................................... 21

Abbildung 21: Absolute Häufigkeiten der Durchführung der einzelnen Aufgaben (Sonderschule) ..................................................................................................................................................... 21

51

Abbildung 22: Mittelwerte der Angaben der befragten Lehrkräfte (Werkrealschule / Hauptschule) zur Eignung der Aufgaben für die Kompetenzanalyse und zum Schwierigkeitsgrad der Aufgaben (Zyklus 2010; 1 = trifft überhaupt nicht zu, 7 = trifft voll zu) ........................................ 22

Abbildung 23: Mittelwerte der Angaben der befragten Lehrkräfte (Werkrealschule / Hauptschule) zur Eignung der Aufgaben für die Kompetenzanalyse und zum Schwierigkeitsgrad der Aufgaben (Zyklus 2010; 1 = trifft überhaupt nicht zu, 7 = trifft voll zu) ........................................ 22

Abbildung 24: Mittelwerte der Angaben der befragten Lehrkräfte (Sonderschule) zur Eignung der Aufgaben für die Kompetenzanalyse und zum Schwierigkeitsgrad der Aufgaben (Zyklus 2010; 1 = trifft überhaupt nicht zu, 7 = trifft voll zu) ..................................................................... 23

Abbildung 25: Mittelwerte der Angaben der befragten Lehrkräfte (Sonderschule) zur Eignung der Aufgaben für die Kompetenzanalyse und zum Schwierigkeitsgrad der Aufgaben (Zyklus 2010; 1 = trifft überhaupt nicht zu, 7 = trifft voll zu) ..................................................................... 24

Abbildung 26: Mittelwerte der Angaben der befragten Lehrkräfte (Werkrealschule / Hauptschule) zum Beobachtungsbogen (A), zum Beurteilungsbogen (B), zum Beobachterkonferenzbogen (C) ..................................................................................................................................................... 26

Abbildung 27: Mittelwerte der Angaben der befragten Lehrkräfte (Sonderschule) zum Beobachtungsbogen (A), zum Beurteilungsbogen (B), zum Beobachterkonferenzbogen (C) ... 26

Abbildung 28: Mittelwerte der Angaben der befragten Lehrkräfte zur Instruktion Selbsteinschätzung ..................................................................................................................... 27

Abbildung 29: Mittelwerte der Angaben der befragten Lehrkräfte zum Selbsteinschätzungsbogen ......................................................................................................... 27

Abbildung 30: Mittelwerte der Angaben der befragten Schüler/innen zur Selbsteinschätzung (Haupt- und Sonderschule) ......................................................................................................... 28

Abbildung 31: Mittelwerte der Angaben der befragten Lehrkräfte (Werkrealschule / Hauptschule) zum Kompetenzprofil (A und B) und zur Vorlage zu den Fördervereinbarungen (C) ................. 28

Abbildung 32: Mittelwerte der Angaben der befragten Lehrkräfte (Sonderschule) zum Kompetenzprofil (A und B) und zur Vorlage zu den Fördervereinbarungen (C) ......................... 29

Abbildung 33: Häufigkeiten der Angaben der befragten Lehrkräfte zum Einsatz der Instrumente zusätzlich zur Kompetenzanalyse, in Prozent ............................................................................. 29

Abbildung 34: Mittelwerte der Angaben der befragten Lehrkräfte (Werkrealschule / Hauptschule) zum Handbuch ............................................................................................................................ 30

Abbildung 35: Mittelwerte der Angaben der befragten Lehrkräfte (Sonderschule) zum Handbuch ..................................................................................................................................................... 31

Abbildung 36: Häufigkeiten der Angaben der befragten Lehrkräfte zur Nutzung der Software in Prozent (Werkrealschule / Haupt- und Sonderschule) ................................................................ 31

Abbildung 37: Mittelwerte der Angaben der befragten Expertinnen / Experten zur Anwenderfreundlichkeit der Software ......................................................................................... 32

Abbildung 38: Mittelwerte der Angaben der befragten Lehrkräfte (Werkrealschule / Hauptschule) zur Anwenderfreundlichkeit des Internets ................................................................................... 32

Abbildung 39: Mittelwerte der Angaben der befragten Lehrkräfte (Sonderschule) zur Anwenderfreundlichkeit des Internets ......................................................................................... 33

Abbildung 40: Mittelwerte der Angaben der befragten Lehrkräfte (Werkrealschule / Hauptschule) zur Anwenderfreundlichkeit des Intranets ................................................................................... 33

Abbildung 41: Mittelwerte der Angaben der befragten Lehrkräfte (Sonderschule) zur Anwenderfreundlichkeit des Intranets ......................................................................................... 34

Abbildung 42: Mittelwerte der Angaben der befragten Lehrkräfte zur Schulung ........................ 35

Abbildung 43: Häufigkeiten der Angaben der befragten Lehrkräfte zur Beobachtbarkeit der Merkmale, in Prozent (Werkrealschule / Hauptschule und Sonderschule) ................................. 40

52

Abbildung 44: Mittelwert der Angaben der befragten Expertinnen / Experten zur Erfassung der tatsächlichen Merkmalsausprägung durch die Kompetenzanalyse ............................................ 41

Abbildung 45: Häufigkeiten der Beurteilungswerte über alle Merkmale hinweg, in Prozent (Werkrealschule / Hauptschule) .................................................................................................. 41

Abbildung 46: Häufigkeiten der Beurteilungswerte über alle Merkmale hinweg, in Prozent (Sonderschule) ............................................................................................................................ 42

Abbildung 47: Häufigkeiten der Selbsteinschätzungswerte über alle Merkmale hinweg, in Prozent (Werkrealschule / Hauptschule) ..................................................................................... 42

Abbildung 48: Häufigkeiten der Selbsteinschätzungswerte über alle Merkmale hinweg, in Prozent (Sonderschule) ............................................................................................................... 43

Abbildung 49: Häufigkeiten der Selbsteinschätzungswerte über alle Merkmale hinweg, in Prozent (Mädchen) ...................................................................................................................... 43

Abbildung 50: Häufigkeiten der Selbsteinschätzungswerte über alle Merkmale hinweg, in Prozent (Jungen) ......................................................................................................................... 43

Abbildung 51: Häufigkeiten der absoluten Abweichungen der beiden Beurteiler über alle Merkmale hinweg, in Prozent (Werkrealschule / Hauptschule) .................................................. 44

Abbildung 52: Häufigkeiten der absoluten Abweichungen der beiden Beurteiler über alle Merkmale hinweg, in Prozent (Sonderschule) ............................................................................ 45

Abbildung 53: Intra-Klassen-Korrelationskoeffizient (von 0,0 bis 1,0) der beiden Beurteiler über alle Merkmale hinweg (Werkrealschule / Hauptschule) .............................................................. 45

Abbildung 54: Intra-Klassen-Korrelationskoeffizient (von 0,0 bis 1,0) der beiden Beurteiler über alle Merkmale hinweg (Sonderschule) ........................................................................................ 46

53

Das Verfahren KOMPETENZANALYSE PROFIL AC

Die Diagnostiksysteme zu KOMPETENZANALYSE PROFIL AC sind Assessment-Center-Verfahren zur Ermittlung der überfachlichen und der fachlichen Kompetenzen von Ju-gendlichen ab der 7. Klasse sowie von Erwachsenen. Es liegen zwei Hauptversionen des Verfahrens vor: Die KOMPETENZANALYSE PROFIL AC AN SCHULEN sowie – als wei-terentwickeltes und um mehrere Komponenten erweitertes Verfahren – die KOMPE-

TENZANALYSE PROFIL AC. Im Folgenden wird dieses erweiterte Verfahren beschrieben.

Ablauf des Verfahrens

Die Anwenderinnen und Anwender stellen sich je nach Bedarf, Rahmenbedingungen und Teilnehmergruppe aus verschiedenen Beobachtungsaufgaben, onlinebasierten Tests und Fragebögen ein Assessment-Center (AC) zusammen. Daraufhin werden die ausgewählten Aufgaben, Tests und Fragebögen durchgeführt. Zusätzlich schätzen die Teilnehmenden ihre Kompetenzen selbst ein. So entsteht ist ein individuelles Kompe-tenzprofil, das als Basis für ein Rückmeldegespräch mit Förderempfehlungen und Empfehlungen zu Berufsorientierungsmaßnahmen dient. Das Verfahren ist von ge-schultem Personal durchzuführen.

Komponenten des Verfahrens

Die Komponenten des Verfahrens sind Arbeitsmaterialien und Beurteilungsinstrumente,

ein Leitfaden sowie Qualifizierungen für die Durchführenden. Die gesamte Planung,

Durchführung, Auswertung und Profildarstellung des Verfahrens erfolgt auf Basis einer internetbasierten Software. Folgende Kompetenzen können erfasst werden:

Sozialkompetenz

Personale Kompetenz

Methodenkompetenz

Fachliche Basiskompetenz

Kognitive Basiskompetenz

Schulische Basiskompetenz

Berufsfeldbezogene Kompetenz

Berufsinteressen

54

Das Verfahren bietet drei unterschiedliche Versionen, die sich hinsichtlich des zeitli-chen Umfangs und der Erhebungsmethoden unterscheiden: Die zweitägige Vollversion mit Beobachtungsaufgaben, Tests und Fragebögen, die vierstündige Kurzversion mit

Tests und Fragebögen und die Modulversion, bei der die Beobachtungsaufgaben, Tests

und Fragebögen einzeln ausgewählt und individuell kombiniert werden können.

Wissenschaftliche Entwicklung und Qualitätskriterien des Verfahrens

Das Verfahren wurde von Diplom-Psychologen und Diplom-Pädagogen entwickelt und umfassend evaluiert. In die Entwicklung flossen u.a. die evaluativen Erfahrungen aus dem Projekt KOMPETENZANALYSE PROFIL AC AN SCHULEN ein. Das Verfahren wird be-züglich seiner Gütewerte kontinuierlich überprüft sowie um zielgruppenspezifische Zu-satzmodule erweitert.

Die Qualitätsstandards des Bundesinstituts für Berufliche Bildung (BiBB) zur Durchfüh-rung von Potenzialanalysen im Rahmen des Berufsorientierungsprogramms (BOP) des Bundesministeriums für Bildung und Forschung (BMBF) werden vollständig erfüllt. Das Verfahren orientiert sich eng an den Kriterien des „Kriterienkatalogs zur Ausbildungs-reife“ der Bundesagentur für Arbeit.

Informationen zur KOMPETENZANALYSE PROFIL AC

MTO Psychologische Forschung und Beratung GmbH Dipl.-Psych. Michaela Kramer Schweickhardtstraße 5 72072 Tübingen Tel.: +49 - (0)7071 - 9101-5 [email protected] www.mto.de

CJD Jugenddorf Offenburg Dipl.-Päd. Annekatrin Stöhr Zähringerstraße 42-59 77652 Offenburg Tel.: +49 - (0)781 - 7908-243 [email protected] www.profilac.de

Kurzdarstellungen des Verfahrens

www.kompetenzanalyse.de

www.profilac.de

55

Projektpartner

Das Christliche Jugenddorfwerk Deutschlands e.V. – CJD

Das CJD ist eines der größten Bildungsunternehmen in Deutschland. Es bietet jährlich 150.000 jungen und erwachsenen Menschen Orientierung und Zukunftschancen. Sie werden von 9.000 Mitarbeitenden an über 150 Standorten gefördert, begleitet und aus-gebildet. Grundlage ist das christliche Menschenbild mit der Vision „Keiner darf verlo-ren gehen!“.

Seit seiner Gründung vor 60 Jahren sucht das CJD nach immer neuen Wegen, Men-schen bei ihrem Lebensweg zu unterstützen und vor allem jungen Menschen beim Übergang von der Schule in den Beruf Chancen zu eröffnen. Die Angebote des CJD umfassen u.a.:

Schulische Bildung und Förderung: Von Grundschulen über Gymnasien hin zu Be-rufs- und Fachschulen mit unterschiedlichen Profilen (z. B. Hochbegabtenförde-rung, Leistungssport)

Beruflichen Bildung: Berufsorientierung, Berufsvorbereitung und Berufsausbildung

Kinder- und Jugendhilfe: Wohnen, Betreuung und Beratung

Migration/Integration: Jugendmigrationsdienste, Sprachförderung, Bildungsbera-tung und -begleitung

Im CJD Jugenddorf Offenburg wurde Profil AC konzipiert und wird hier seit mittlerweile zehn Jahren kontinuierlich weiterentwickelt. Grundlage der Arbeit dieser zertifizierten Facheinrichtung der beruflichen Bildung sind die Satzung, Leitziele und Grundsätze des Christlichen Jugenddorfwerkes Deutschlands gemeinnütziger e.V. (CJD).

Das CJD Jugenddorf Offenburg wurde 1983 als Berufsbildungswerk gegründet. Mit dieser überregionalen Einrichtung wird jungen Menschen mit Behinderungen eine be-rufliche Erstausbildung ermöglicht. Ziel ist die Teilhabe am Arbeitsleben sowie die ge-sellschaftliche Integration. Das CJD Jugenddorf Offenburg umfasst moderne Ausbil-dungswerkstätten, eine staatlich anerkannte Sonderberufsschule und Wohnen mit fachlicher Begleitung. Ein vielfältiges Freizeitangebot rundet diese besondere Form einer dualen Berufsausbildung ab. Ansprechpartner: Christliches Jugenddorfwerk Deutschlands e.V. Samuel Breisacher Stabsleitung Berufliche Bildung – Berufliche Rehabilitation – Arbeitsmarktpolitik Teckstraße 23 73061 Ebersbach Tel.: +49 - (0)7163 - 930192 [email protected] www.die-chancengeber.de

56

MTO Psychologische Forschung und Beratung GmbH Tübingen

Die MTO Psychologische Forschung und Beratung GmbH Tübingen ist ein wissen-schaftliches Forschungs- und Beratungsunternehmen. Seit 1994 berät die MTO GmbH Großunternehmen, mittelständische Unternehmen sowie öffentliche Institutionen und Stiftungen in Deutschland und Europa. Bis heute wurden mehr als 600 Beratungspro-jekte erfolgreich realisiert. Die 100 Mitarbeiterinnen und Mitarbeiter kommen aus unter-schiedlichen Disziplinen wie Psychologie, Pädagogik, Informatik, Physik und Wirt-schaftswissenschaft und arbeiten in den drei Geschäftsfeldern "Mensch-Maschine-Interaktion", "Diagnostik-Organisation-Entwicklung" und "Organisationsentwicklung und Bildungsmanagement".

Im Bereich „Organisationsentwicklung und Bildungsmanagement“ stellen die schuli-sche und die betriebliche Bildung den Hauptschwerpunkt dar. Dabei stehen insbeson-dere die Themenbereiche Schulentwicklung, Berufsorientierung, Kompetenzfeststel-lung sowie Qualitätsmanagement im Vordergrund. Innerhalb dieser Themenbereiche führt die MTO GmbH die wissenschaftliche Begleitung und Evaluation zahlreicher Bil-dungsprojekte durch und qualifiziert Lehrkräfte und Schulleitungen. Ansprechpartner: Dipl.-Psych. Karsten Hammer Bereichsleiter Organisationsentwicklung und Bildungsmanagement Schweickhardtstraße 5 72072 Tübingen Tel.: +49 - (0)7071 - 9101-5 [email protected] www.mto.de

Ministerium für Kultus, Jugend und Sport Baden-Württemberg

Zur Begleitung und Beratung aller am Projekt Beteiligten ist im Kultusministerium ein Projektbüro – vertreten durch vier Personen – eingerichtet: Ansprechpartnerin: Frau Susanne Kugler Leiterin Projektbüro KOMPETENZANALYSE PROFIL AC AN SCHULEN Königstraße 44 70173 Stuttgart Tel.: +49 - (0)711 - 279-2758 [email protected] www.kompetenzanalyse-bw.de

57

Die KOMPETENZANALYSE PROFIL AC AN SCHULEN ist ein Assessment-Center-Verfahren zur Ermittlung der individuellen überfachlichen Kompetenzen von Schülerinnen und Schülern ab der 7. Klasse. Mit dem Verfahren wird ein individuelles Kompetenzprofil mit persönlichen Stärken und Entwicklungspotenzialen erstellt. Die Ergebnisse der Kompetenzanalyse dienen als Grundlage für eine individuelle, auf die Bedürfnisse der einzelnen Schülerin bzw. des einzelnen Schülers ausgerichtete Förderung.

Das Verfahren wurde innerhalb eines Projekts von 2007 bis 2010 durch das CJD Ju-genddorf Offenburg und die MTO Psychologische Forschung und Beratung GmbH Tü-bingen in enger Abstimmung mit dem Auftraggeber, dem Ministerium für Kultus, Ju-gend und Sport Baden-Württemberg, entwickelt.

Das Ziel des Projekts war, neben der eigentlichen Entwicklung des Verfahrens, die flächendeckende Einführung des Verfahrens in den 7. Klassen der baden-württembergischen Werkreal-, Haupt- und Sonderschulen bis zum Beginn des Schul-jahres 2010/2011.

Die MTO GmbH war mit der prozessbegleitende Evaluation und der wissenschaftlichen Güteprüfung beauftragt. Diese erfolgten innerhalb von vier Zyklen.

Der abschließende Evaluationsbericht 2010 gibt Antworten auf folgende Fragen:

Wie hoch ist die Akzeptanz des Verfahrens bei Lehrkräften und bei Schülerinnen

und Schülern?

Hat sich die Kompetenz- und Merkmalskonzeption bewährt?

Wie gut ist die Beobachtbarkeit der Kompetenzmerkmale?

Wie haben sich die im Rahmen des Verfahrens angebotenen Aufgaben bewährt?

Wie kommen die Lehrkräfte und die Schülerinnen und Schüler mit den Beobach-

tungs- und Beurteilungsinstrumenten und mit den Kompetenzprofilen zurecht?

Wie zufrieden sind die Lehrkräfte mit dem zugehörigen Handbuch, mit der Software

und mit den Schulungen?

Wie ist die wissenschaftliche Güte des Verfahrens einzustufen?

das assessment-center-verfahren zur ... - profil-ac.de · 2 1.2 beschreibung des verfahrens...

Documents