SoSe 200805.05.2008

Entwicklungstestung& Beobachtung

Aufgaben und Voraussetzungen

D.1 Theorien über Entwicklungs- und Lernprozesse und ihre

Beeinträchtigungen

Anliegen der Entwicklungsdiagnostik

Frage nach dem Entwicklungsstand Was ist?

Genese von Entwicklungsproblemen Wie ist es geworden?

Prognose Was wird?

Festlegung von Entwicklungszielen Was sollte werden?

Methoden und Mittel zur Zielerreichung

(Montada, 1985)

Praxis der Entwicklungsdiagnostik heute

Anspruch: Testverfahren sollten theoretisch fundiert sein, ökonomisch sein und den Qualitätsstandards psychologischer Testdiagnostik

entsprechen.

Realität: Testanwender monieren... schlechte Standardisierung veraltete Normen „neue Tests“ werden aus Aufgaben anderer Tests gebildet Fehlen von geeigneten Verfahren für die Frühdiagnostik

Praxis der Entwicklungsdiagnostik heute

Ökonomische Engpässe Kostendruck Einsparung von Fachkräften Entwicklungsdiagnostik im „Schnellverfahren“ Screenings = vollwertige Leistungsdiagnostik ??

Aber: Komplexe Entwicklungsstörungen erfordern vielschichtige

Diagnostik Tests führen zu Wahrscheinlichkeitsaussagen, nicht zu

Gewissheiten!! Verbesserung psychologischer Diagnostik = Verbesserung

der metrischen Qualitäten (Gütekriterien) von Testverfahren

Krause (2001)

Theoretische GrundlagenDer Entwicklungsbegriff

enger Entwicklungsbegriff: biologische Entwicklungsmodelle Entwicklung ist

sequentiell, irreversibel, unidirektional, universell, qualitativ-strukturell

weiter Entwicklungsbegriff: Entwicklungspsychologie der Lebensspanne

Entwicklung ist nicht linear mit universalen Sequenzen, Veränderungen verlaufen multidimensional

(„Veränderungsmuster“), ungerichtet oder „multidirektional“, nicht einfaktoriell erklärbar, sondern multikausal.

Theoretische Grundlagen

Zentrale theoretische Fragen an ein Testverfahren:

Auf welchem Niveau sind die diagnostischen Merkmale angesiedelt? direkt beobachtbares Verhalten vs. Konstrukte

Wie wird der Bezug zwischen Merkmalen und Testaufgaben theoretisch begründet? Inhaltsvalidität vs. konvergente und diskriminante Validität (=>

empirisch)

Welches sind die zugrundeliegenden Annahmen im Hinblick auf die Transformation von Entwicklungskonstrukten über die Zeit?

Theoretische Grundlagen

Problem allgemeiner Entwicklungstests: Es gibt keine allgemeingültige Theorie der allgemeinen

Entwicklung.

Lösung: Inhaltliche Präzisierung durch die Auswahl spezifischer

Merkmalsbereiche (Subtests) und deren Erfassung mittels spezifischer Testaufgaben.

Aber: Es gibt auch keine allgemein akzeptierte, umfassende Theorie der

Sprachentwicklung, der motorischen Entwicklung, der kognitiven Entwicklung etc. ...

Fazit

„Die theoretische Fundierung vieler entwicklungs-diagnostischer Verfahren ist äußerst unzureichend.“

Insbesondere im Hinblick aufa) den zugrunde gelegten Entwicklungsbegriffb) den angenommenen Entwicklungsverlauf der erfassten Merkmale.

Filipp & Doenges, 1983

Normative Grundlagen: Der Normalitätsbegriff

„normal“ = altersadäquat verfrühte/verspätete Verhaltensformen gelten als

abweichend aber: Es gibt beträchtliche Varianzen zwischen und

innerhalb der Altersgruppen!!

Annahme eines komplexeren Wirkgefüges: Standardisierungsstichproben müssen sehr groß gewählt

werden Entwicklungsnormen für einzelne Standardisierungs-

gruppen, die sich in entwicklungsrelevanten Umweltmerkmalen in entwicklungsrelevanten Eigenschaften unterscheiden.

Psychometrischer Ansatz Intelligenztests

Selektion, Diagnose, Evaluation

Gesamttestwert und verschiedene Subtestwerte (M = 100, SD = 15)

95% der Population erreicht einen Testwert zwischen 70 und 130 (+/- 2 SD) Rund 50% der deutschen Bevölkerung hat einen

IQ von 100.

Hochbegabung

Normative Grundlagen

Problem: Altersnormen wurden aufgrund querschnittlicher

Altersvergleiche gewonnen Altersdifferenzen = Entwicklungs- oder

Kohortenunterschiede? Lösungen:

kriterienorientierte Diagnostik Definition des „Kriteriums“ durch eine zugrundeliegende

hypothetische Entwicklungssequenz aber: Wie gesichert sind die Beziehungen zwischen

diagnostiziertem Entwicklungsniveau und gewähltem Kriterium?

individuelle Bezugsnorm „Fortschritt“, „Retardierung“, „Stillstand“ als Merkmale des

individuellen Entwicklungsprozesses

Normative Grundlagen

Ökologische Ausweitung der Entwicklungsdiagnostik Betrachtung und Bewertung der Entwicklungsumwelt

Aufhebung der Konfundierung von Merkmals- und Umweltstabilität

z.B. Veränderungen im sprachlichen Leistungsniveau => Variationen im emotionalen Klima der Familie

prognostischer Wert von Testergebnissen wird durch die Berücksichtigung von Umweltparametern erhöht

Voraussetzungen: Kenntnis der entwicklungsrelevanten Umweltfaktoren

Kenntnis der Veränderungen ihres Einflusses im Laufe der Entwicklung

Fazit

Dominanz der Altersnormierung von Entwicklungstests geringer Aufwand an konzeptueller Vorarbeit entwicklungstheoretisch eher voraussetzungsfrei

eher weniger exakte und gesicherte individualdiagnostische Aussagen, als numerische Kennwerte suggerieren... Entwicklungsalter Entwicklungsquotient etc.

umweltdiagnostische Verfahren stehen eher beziehungslos zu entwicklungsdiagnostischen Fragen Forderung nach einer Explizierung des Entwicklungsbegriffs!!

Grundlagen der Testkonstruktion: Gütekriterien

Objektivität

= Vergleichbarkeit als Voraussetzung für Unterscheidbarkeit

Untersuchungssituation

Untersuchungsmaterial

Aufgabenstellung

Bewertung und Interpretation der erhobenen Daten

Wie kann festgestellt werden, ob ein Test diesem Gütekriterium genügt?

Durchführungsobjektivität

Auswertungsobjektivität

Interpretationsobjektivität (r >= .90)

Grundlagen der Testkonstruktion: Gütekriterien

Reliabilität

= Zuverlässigkeit des ermittelten Testergebnisses Wachheit des Kindes Motivation etc. wirken als Störvariablen

maximal so hoch wie die Objektivität...

Wie kann festgestellt werden, ob ein Test diesem Gütekriterium genügt? Test-Retest-Reliabilität r = .80-.90 o.k.

Paralleltest-Reliabilität r >= .90 hoch

Split-Half-Reliabilität

Innere Konsistenz (Cronbach´s Alpha)

Grundlagen der Testkonstruktion: Gütekriterien

Validität

= Wie gut bewältigt der Test die Aufgabe, für die er konstruiert wurde?

Wie kann festgestellt werden, ob ein Test diesem Gütekriterium genügt? Inhaltsvalidität (Augenscheinvalidität, logische Validität)

Kritieriumsvalidität prognostische Validität r = .40-.60 o.k.

Übereinstimmungsvalidität r >= .60 hoch

Konstruktvalidität konvergente Validität

diskriminante Validität

Fazit

Ein Entwicklungstest kann nur so gut sein, wie seine entwicklungstheoretischen Grundlagen...

Es wäre illusionär, Tests zu fordern, die perfekte oder nahezu perfekte Entscheidungen gewährleisten.

Der Wert eines Testes bemisst sich letztlich an seinem Beitrag zur Optimierung von Entscheidungen.

Beobachtung

„Ich sehe was, was Du nicht siehst!“

Was ist Beobachtung?

Absicht Beobachtung setzt einen Zweck/ein Ziel voraus...

Selektion Bestimmte Aspekte werden genauer betrachtet, andere

vernachlässigt...

Auswertung Ausrichtung auf die Auswertbarkeit der Ergebnisse...

Zeichensystem Sprachliche Beschreibung

Was ist Beobachtung?

Alltägliche Beobachtung vs. einfache Wahrnehmung Absicht systematische Selektion

Wissenschaftliche Beobachtung vs. alltägliche Beobachtung Beabsichtigte Auswertung der erhobenen „Daten“ Kriterien der Replizierbarkeit und Objektivität

Beobachtung als Haltung

Der Beobachter lässt sich auf den Gegenstand seiner Beobachtung (in

diesem Fall das Kind bzw. sein Verhalten ein), hat keine konkreten Vermutungen oder Theorien, beteiligt sich nicht aktiv, mischt sich nicht in das

Geschehen ein, kontrolliert / manipuliert nicht.

Ziele: systematische Erfassung und Ordnung bestimmter

Ausschnitte des Geschehens Generieren von Vermutungen/Hypothesen

Beobachtung als Methode

Beobachtung ist ein Datenerhebungsinstrument, wie Gesprächsmethoden (z.B. Interviews), Fragebogen (z.B. zur Persönlichkeit), standardisierte Tests (z.B. Intelligenztests), apparative Verfahren (z.B. EEG oder Reaktionszeitmessung).

Ziel: Untersuchung von Hypothesen oder Vermutungen. Systematische Kontrolle von Störeinflüssen, Systematische Variation relevanter unabhängiger Variablen.

Beobachtung als Methode

Bedeutung für die praktische Tätigkeit Beobachtung des Spiel- und Interaktionsverhaltens

eines verhaltensgestörten Kindes, um sich einen Überblick zu verschaffen.

Es geht nicht darum, eine der beiden Haltungen zu kritisieren bzw. zu bevorzugen. Beide haben ihre Vorzüge... und Nachteile!

Menschliche BeobachtungGrundlage aller Forschung

Beobachtung liegt jeder Untersuchung zu Grunde.

Beobachter = „Messinstrument“ mit menschlichen Interessen, Eigenschaften und Vorgehensweisen.

Grundsätzliches Problem: Jedes Instrument muss vor seinem ersten Einsatz

überprüft worden sein. Es muss sichergestellt werden, dass es das misst,

was es messen soll.

Wie aber können wir das sicherstellen?

Klassifikationsmöglichkeiten

Verwendung von Hilfsmitteln (Videokamera / Tonbandgerät) Welche Vorteile/Nachteile hat das?

Labor- vs. Feldbeobachtung/naturalistische Beobachtung Offene vs. verdeckte Beobachtung Teilnehmende vs. nicht-teilnehmende Beobachtung

Grad der Reduktion isomorphe Beschreibung (= vollständige Replikation) reduktive Beschreibung (Zeichen-/Kategoriensysteme) reduktive Einschätzung (= totale Reduktion)

Das Problem der „Handlungsbegriffe“

Aus ein und derselben Bewegungsfolge kann ich i.d.R. mit gleicher Berechtigung auf mehrere verschiedene Handlungsebenen schließen.

z.B. „Willi grüßt Otto“ Sehen kann man nur die Muskelbewegung von Arm und

Gesicht; „grüßt“ enthält aber eine bestimmte Absichtsunterstellung.

War die Handbewegung wirklich ein Gruß, das Verscheuchen einer Fliege, ein willkürlicher Muskelreflex?

z.B. „Herr Schmitt mäht den Rasen“ In gewissem Sinne können wir mehrere Handlungen zugleich

ausführen....

Dilemma

Für die Beschreibung auf der Ebene der Handlungsbegriffe ist eine Interpretationsleistung des Beobachters gefordert!

Diese Interpretation lässt sich aber nicht unter Rekurs auf das, was er beobachtet hat, absichern!!

Dieser Problematik entgeht man nicht durch die Wahl eines Beobachtungssystems mit höherem Reduktionsniveau!

Gütekriterien: Reliabilität, Validität und Generalisierbarkeit

Reliabilität = Verlässlichkeit der Beobachtung

Reproduzierbarkeit von Beobachtungen unter theoretisch für das Auftreten des Beobachteten gleichen Bedingungen bei Unterschieden in theoretisch irrelevanten Bedingungen. irrelevant sind z.B. verschiedene Beobachter oder verschiedene

Beobachtungszeitpunkte relevant sind u.U. verschiedene Situationen bzw. Umstände

Beispiel: Das Verhalten derselben Kinder in derselben Klasse bei

demselben Lehrer in demselben Fach wird von zwei Beobachtern völlig unterschiedlich wahrgenommen

geringe Reliabilität mindestens einer dieser Beobachtungen...

Gütekriterien: Reliabilität, Validität, Generalisierbarkeit

Innere Konsistenz = Beobachterkonsistenz (r > . 90) Derselbe Beobachter beobachtet eine Videoaufzeichnung des

Verhaltens mehrfach (Aussagen über Beobachterkonsistenz, nicht aber seine Fehlerbelastetheit möglich).

Test-Retest-Reliabilität Ein und derselbe Beobachter beobachtet zu verschiedenen

Zeitpunkten das Verhalten.

Validierung Verschiedene Beobachter beobachten dasselbe Verhalten in

derselben Situation

Normorientierung Vergleich der Beobachtung durch einen Beobachter mit einem

objektiven Standard („Eich-Beobachter“).

Gütekriterien: Reliabilität, Validität und Generalisierbarkeit

Generalisierbarkeit = weitreichender Anspruch der Übertragbarkeit der Beobachtung auf eine Personengruppe

Sonderpädagogische Beobachtungen verfolgen gerade diese Absicht zumeist nicht, denn es geht ihnen um die Beschreibung der Besonderheiten einzelner Schüler!

Konkrete BeobachtungsfehlerEine Systematik

Wahrnehmung

Interpretation

Erinnerung

Wiedergabe

Beobachtungsprotokoll

Beobachtungsgegenstand

InteragierendeBedingungen:Beobachtungs- undUntersuchungs-Bedingungen

Reaktivität

Probleme des Beobachtungssystems

Störende Randbedingungen

Übermittlungs-probleme (1a)

(1b)

(1c)

(1d) (2a)

(2b)

(3)

Fazit

Jede Beobachtung ist nur so gut, wie der Beobachter.

Jede Beobachtung ist nur so gut, wie ihre (entwicklungs-) theoretischen Grundlagen...

Es wäre illusionär, von Beobachtungen zu fordern, perfekte oder nahezu perfekte Entscheidungen gewährleisten.

Der Wert jeder Beobachtung bemisst sich letztlich an ihrem Beitrag zur Optimierung von Entscheidungen.