voruntersuchungen - pretest - tu dresden · tu dresden, 02.12.2008 vorstudien - pretest folie 2...

Ringvorlesung„Einführung in die Methoden der empirischen Sozialforschung I“

Voruntersuchungen - Pretest

Dresden, 20. Januar 2009

Philosophische Fakultät Institut für Soziologie, Lehrstuhl für Methoden der empirischen Sozialforschung

TU Dresden, 02.12.2008 Vorstudien - Pretest Folie 2

"Even after years of experience, no expert can write a perfect questionnaire.“ (Sudman/Bradburn 1982)

Regeln für die Fragebogengestaltung können lediglich grobe Fehler vermeiden. Alle Regeln bleiben aber letztlich (noch) unvollständig.

"If you don't have the resources to pilot test your questionnaire, don't do the study." (Sudman/Bradburn 1982)


Beispiel 1

I: Wie lange haben Sie in den vergangenen sieben Tagen ferngesehen?

ZP: Oh je, vielleicht sechs Stunden.

I: Wie kommen Sie jetzt darauf?

ZP: Geraten, geschätzt – jeden Tag ne Stunde. Mehr jeden Tag: jeden Tag zwei Stunden.Sind 14 Stunden. Ja 14 Stunden.


Pretest-Ziele: (aus der Literatur, relativ konfus)

1) Verständlichkeit der Fragen prüfen

2) Aufgetretene Varianz ermitteln

3) Übersichtlichkeit des Fragebogens testen

4) Eventuelle Schwierigkeiten bei der Beantwortung von Fragen ermitteln

5) Theoretische Aussagekraft des Fragebogens prüfen

6) Feldbedingungen prüfen, keine Studentenbefragungen


Überblick Pretest-Verfahren

1) Pretest-Verfahren im Feld

§ Standard-Pretest

§ Behaviour Coding

§ Problem Coding

§ Random Probe

§ Intensiv-Interview

§ Qualitative Interviews

§ Analyse der Antwortverteilungen

§ Split-Ballot


2) Kognitive Verfahren (Labor)

§ Think-Aloud

§ Probings

§ Confidence Rating

§ Paraphrasing

§ Sorting-Verfahren

§ Response Latency

3) Weitere Verfahren

§ Focus Groups

§ Expertendiskussionen


1) Pretest-Verfahren im Feld

Standard Pretest (Beobachtungspretest)§ Kaum verbindliche Regeln§ Stichprobengröße zwischen 10 und 200, zumeist 20 bis 50 (Quota nach Geschlecht und

Alter oder Random)§ Interviewer: Besonders geschulte oder „normale“ Interviewer, Mitglieder der

Forschungsgruppe

§ Einmalige Befragung unter realistischen Bedingungen

§ Beobachtung von Auffälligkeiten§ Kein aktives Hinterfragen

Vorteile

§ Relativ billig, ohne zu großen Zeitaufwand

§ Befragungsdauer lässt sich gut ermitteln

Grenzen§ Idee: Schlechte Fragen fallen auf à stimmt aber nicht: Auch auf recht erstaunliche Fragen

wird geantwortet

§ Nichtwissen und Nichtverstehen wird nicht eingestanden

§ Wenig systematisch, „Auffälligkeiten" werden subjektiv gedeutet§ Relativ grob


Behaviour Coding

§ Strukturierte Verhaltensbeobachtung (Codierung des Verhaltens) von Interviewern und Interviewten

§ Tonbandmitschnitte


Beispiel:

Codesystem für das Behaviour Coding

Code BeschreibungInterviewere Exact ... liest exakts Slight change ... nimmt leichte Veränderungen vorm Major change ... nimmt starke Veränderungen vor

Befragter1 Interruption ... antwortet vorzeitig (unterbricht)2 Clarification ... will eine Wiederholung der Frage oder eine Erklärung der

Frage oder macht eine Bemerkung, die auf Verständnisprobleme hindeutet

3 Adequate answer ... antwortet adäquat4 Qualified answer ... antwortet adäquat und macht eine zusätzliche

Bemerkung, die auf Unsicherheit schließen lässt5 Inadequate answer … antwortet inadäquat6 Don’t know ... weiß nicht7 Refusal to answer ... verweigert die Antwort


Vorteil: Bringt reliablere Erkenntnisse

Nachteile:

§ Ursachen für Auffälligkeiten bleiben ungeklärt

§ gleiche Idee wie beim Standard Pretest

§ Aufwendig

§ Einfluss der Tonbandmitschnitte unklar


Problem Coding

§ Systematische Bewertung der Verhaltensweisen der Zielperson während des Interviews

§ Reduziertes Codesystem auf 0: adäquat und 1: nicht adäquat

§ Nur durch geschulte Interviewer möglich


Random Probe

§ für geschlossene Fragen

§ bei zufällig ausgewählten Items werden Zusatzfragen gestellt, z.B. 10 von 200

Beispiele

§ „Bitte nennen Sie ein Beispiel für das, was Sie meinen!“

§ „Ich verstehe Sie, und warum haben Sie das geantwortet?“

§ „Können Sie mir bitte etwas mehr dazu sagen?“


Intensiv-Interview

§ Ziel: Falsches Frageverständnis bei formal richtiger Antwort erkennen

§ Nach Ende des Interviews werden Verständnisfragen gestellt: Die zu untersuchende Frage

und die entsprechende Antwort werden nochmals verlesen. Zielperson soll die gegebene

Antwort begründen.


Qualitative Interviews

§ frühes Stadium der Fragenentwicklung, weniger benutzt bei Skalenentwicklung

§ Tiefeninterviews

§ nicht standardisiert: Interviewer stellt beliebig Nachfragen, hinterfragt die Antworten, erkundigt sich nach Alternativen usw.


Analyse von Antwortverteilungen

Suche nach:

§ Minimal oder nicht besetzten Kategorien

§ Extremen Häufigkeitsverteilungen

§ Wahl von Ausweichkategorien (Weiß nicht, verweigert usw.)

Voraussetzung: relativ hohe Fallzahl


Split-Ballot

§ Mehrere Varianten einer Frage werden eingesetzt

§ Vergleich der Häufigkeitsverteilungen

§ Relativ große Stichproben erforderlich

§ Kombination mit anderen Verfahren möglich

§ Beispiel: ALLBUS CAPI-PAPI 2000


2) Kognitive Verfahren

Ziel: Frageverständnis und Informationsbeschaffung aufdecken

Think-Aloud-Method

§ Zielperson wird zu lautem Denken aufgefordert, zugleich Tonbandaufzeichnungen

§ während oder nach der Beantwortung

§ bei retrospektiven Fragen (Wird vorwärts oder rückwärts gedacht?)

§ auch bei Meinungsfragen

§ Expertenbefragungen (Problemlösungsverhalten)

§ hohe Anforderungen an die Zielpersonen


Beispiel:

„Ich werde Ihnen jetzt gleich eine Frage stellen. Danach fordere ich Sie dazu auf, laut zu

denken. Sie sollen bitte alle Gedanken laut aussprechen, die Ihnen durch den Kopf gehen.

Bitte beginnen Sie damit, sobald Sie die Frage gehört haben und fahren Sie so lange fort,

bis Sie zu einer Antwort gelangt sind. Das müssen natürlich keine ganzen Sätze sein.

Sollten Sie einmal ins Stocken kommen, so werde ich Sie daran erinnern, weiter zu

sprechen.“

„Als Sie eben die Frage beantwortet haben, an was haben Sie da gedacht?Was ist Ihnen alles durch den Kopf gegangen, bis Sie die Antwort gegeben haben?“


Retrospective-Think-Aloud

Beispiel:Frage: Kommen wir nun zu der Demokratie in der Bundesrepublik Deutschland: Wie

zufrieden oder unzufrieden sind Sie – alles in allem – mit der Demokratie, so wie sie in der Bundesrepublik besteht?

§ Sehr zufrieden§ Ziemlich zufrieden

§ Etwas zufrieden

§ Etwas unzufrieden§ Ziemlich unzufrieden

§ Sehr unzufrieden

Antworten:‚sehr zufrieden‘ „Intuitiv geantwortet, denke an meine vielen Freiheiten, meine Rechte und

habe das mit anderen Ländern verglichen, und das schätze ich sehr“

‚ziemlich unzufrieden‘ „Erstens mein Gehaltszettel und die Vorstellung an meine zukünftige Rente, auch mit Ausländerzufluss in Deutschland, mit Arbeitslosigkeit bei Jugendlichen, fehlende Perspektive in vielen Bereichen“


Concurrent-Think-Aloud

Beispiel:Frage: Ein Mann schlägt sein 10-jähriges Kind, weil es ungehorsam war. Halten Sie das für

sehr schlimm, ziemlich schlimm, weniger schlimm oder für überhaupt nicht schlimm?

Antwort: „Das kommt darauf an, in was für einer Situation das ist. Ich meine, es kann Situationen geben, in denen ein Kind es extrem darauf anlegt und wo es auch mal gerechtfertigt ist, ein Kind zu schlagen. Es aber auch nicht richtig schlagen, sondern ihm mal eine Ohrfeige geben oder so. Aber es kommt halt darauf an, wenn der Mann seinen Frust gerade hat, dann ist es sehr schlimm. Eine Ohrfeige wäre nicht so schlimm. Also das kann man so nicht bewerten.“


Probing

= Zusatzfragen zu bestimmten Items

§ Follow-up-Probings (nach der Antwort)

§ Post-Interview-Probings (nach dem Interview)

§ Comprehension-Probings (Frageverständnis), Bedeutung von Begriffen, Erläuterung der

Antwort

§ Information-Retrieval-Probing (besonders für retrospektive Fragen)


Beispiel:

I: Wie lange haben Sie in den vergangenen sieben Tagen ferngesehen?ZP: Zehn Stunden.

I: Und wie sind Sie auf zehn Stunden gekommen?ZP: Na das ProgrammI: Ja, wie kommt es zu den zehn Stunden?ZP: Ja also ich hab ungefähr täglich zwei Stunden, ne also es muss 14 Stunden sein.

Zwei Stunden vielleicht auch etwas mehr. Täglich gucke ich ungefähr zwei und eine halbe Stunden insgesamt


Beispiel:

„Das Ziel der Nationalsozialisten war, durch den Krieg gegen die Sowjetunion den jüdischen Bolschewismus zu beseitigen.“

Probing (unmittelbar nach der Beantwortung):„Und warum haben Sie sich für diesen Skalenwert entschieden?“

ID Skalenwert Antwort auf die Nachfrage

2/01 4 Das weiß ich nicht. Ich kann mit der Aussage nichts anfangen.2/03 2 Ich weiß es nicht, aber ich glaube es nicht. Habe die 2 vergeben

aufgrund meines Bauchgefühls.2/05 4 Bin mir relativ unsicher, dachte ich nehme einen Mittelweg. Die 4

deshalb, weil ich es nicht weiß.2/06 1 Weil ich mir einfach nicht vorstellen kann, dass die Nationalsozialisten

ein anderes Ziel hatten, als in dem Fall Land zu gewinnen. Vermute es aber, habe keinen blassen Schimmer.

2/04 6 Ich vergebe ungern 1 und 7. Mit der 6 möchte ich relativieren und ich glaube, dass es das Ziel der Nationalsozialisten war.

2/02 5 Es war immer das Ziel der Nationalsozialisten gegen die Juden zuhandeln.


Beispiel:

„Hinter der offiziellen Kritik am Kommunismus haben viele Nazis und Mitläufer nach 1945 den alten nationalsozialistischen Antibolschewismus versteckt.“

Probing nach Abschluss des Interviews:„Was verstehen Sie unter nationalsozialistischem Antibolschewismus?“

ID Skalenwert Antwort auf die Nachfrage

3/01 5 Das sind Leute, die gegen den Bolschewismus waren, also gegen linke Ideale. Und nationalsozialistisch ist dann noch eine Stufe mehr,die extrem dagegen waren.

3/02 weiß nicht Das war offensichtlich. Nationalsozialismus ging total gegen den Kommunismus.

3/03 6 Das war im Dritten Reich alles, was mit Kommunismus verbunden war, dass man das alles abgelehnt hat.

3/04 3 Das weiß ich nicht so genau. Bolschewismus gleich Kommunismus. Die drei soll die Mitte sein, weil ich es nicht so genau weiß.

3/05 3 Oh je, da kann ich nicht viel dazu sagen, das weiß ich eigentlich gar nicht.


Paraphrasing

= nach der Antwort die Frage mit eigenen Worten wiederholen

Beispiel:

Fragetext:„Im Vergleich dazu, wie andere hier in Deutschland leben: glauben Sie, dass Sie Ihren gerechten Anteil erhalten, mehr als Ihren gerechten Anteil, etwas weniger oder sehr viel weniger?“

Antworten – Paraphrasing:

§ Glauben Sie, dass Sie in Ihrer jetzigen Tätigkeit, verglichen mit anderen in Deutschland lebenden, den gerechten Anteil bekommen, weniger gerecht, einigermaßen gerecht oder ganz ungerecht?

§ Dass ich sagen sollte, dass ich im Vergleich zu anderen Bevölkerungsteilen über Maßenvom Sozialstaat profitiere.

§ Ob ich eigentlich mit dem, was ich besitze, was ich habe, mit dem, was ich tun kann, zufrieden bin.


Sorting

Ziel: Informationen zum Begriffverständnis

§ Free Sort (Gruppierung nach eigenen Kriterien)

§ Dimensional Sort (Kriterien vorgegeben)


Response Latency

§ CATI

§ Messung der Antwortzeit

§ Lange Reaktionszeiten deuten auf Probleme hin


Confidence Rating

= Verlässlichkeit der eigenen Antwort schätzen:„Wie sicher waren Sie sich bei Ihrer Antwort: sehr sicher, eher sicher, eher unsicher, sehr unsicher?“


Vorteile kognitiver Verfahren

§ Relativ schnelle Durchführung

§ Geringe Kosten

§ Bei verschiedenen Stadien der Frageentwicklung einsetzbar

Nachteile kognitiver Verfahren

§ Aufgrund der geringen Fallzahl schwierig zu verallgemeinern

§ Keine Aussagen zum Fragebogen als Ganzes


3) Weitere Verfahren

Focus Groups

§ Frühphase: Hinweise auf Akzeptanz und Verständnis des Themas der Befragung bzw. auch

einzelner Begriffe und Fragen

§ für schriftliche Fragebögen: Ausfüllen, dann Wiederholung des Fragebogens und

Diskussion der Eindrücke

§ beachte Gruppensituation


Expertenbefragungen

§ viele Hinweise

§ kostengünstig

§ aber: wenig reliabel


Fazit:

Es reicht nicht aus, nur ein Verfahren einzusetzen, um alle möglichen Probleme bei der

Fragekonstruktion zu erkennen.

voruntersuchungen - pretest - tu dresden · tu dresden, 02.12.2008 vorstudien - pretest folie 2...

Documents