Validität der Arbeitszufriedenheits- Messinstrumente
Susanne Büsing &
Tobias Jagusch
Validität
„Unter Validität eines Messverfahrens versteht man seine Gültigkeit: es sollte tatsächlich das messen, was es vorgibt zu messen.“
Bezüglich der Def. AZ kein Konsens Deshalb immernoch: „There is no one best way to
measure it“ Hauptschwierigkeiten bei der Messung von AZ ist
die Tatsache, dass AZ ein hypothetisches Konstrukt ist, welches nur anhand von Indikatoren erfasst werden kann.
Kernproblem: Validität der Indikatoren Zufriedenheitsraten von 60-80% der Befragten
lassen Zweifel an der Validität der standardisierten Instrumente aufkommen
Gliederung
Die Gültigkeit der Daten allgemein: Das Artefakt-Argument Das Ambivalenz-Argument Das Manipulierbarkeits-Argument Das Spillover-Argument
Verzerrung der Daten nach oben? Das Selbstselektions-Argument Abwehrmechanismen und asymmetrisches Vergessen Gesenktes Anspruchsniveau Soziale Erwünschtheit
Bestreitung der Datengültigkeit von AZ-Ergebnissen
Das Artefakt-Argument
Gegen globale Fragen zur AZ gerichtet Die Befragungsergebnisse sind kaum sinnvoll
interpretierbare Produkte der Fragestellung:
Fehlende einheitliche Definition von AZ Fragestellung sei den Befragten fremd Diskrepanzen zwischen der AZ-Def. der Fragenden &
dem AZ-Verständnis der Befragten? Inwieweit weicht das AZ-Verständnis der Befragten
untereinander und gegenüber der forschungsleitenden Definition ab?
???Fragestellung/ Definition???
Fragestellung ist den Befragten fremd Würde eine zweite Messung erst echte
Ergebnisse liefern? ???Reaktivität???
Wie könnten Diskrepanzen zwischen der AZ-Def. Der Fragenden & dem AZ-Verständnis der Befragten überwunden werden?
Der AZ steht vor der Befragung nichts Reales gegenüber Artefekte
Befragte haben sich oft nicht klargemacht, worum es bei AZ geht.
Vielleicht finden weder die postulierten kognitiven Prozesse, noch die Empfindungsqualitäten statt
Extremgruppenvergleich (Gebert): G1 keine pos. Gefühle bei Gedanken an Arbeit G2 überdurchschnittlich viele pos. Gefühle bei Gedanken
an Arbeit kein signifikanter Unterschied in der global abgefragten
AZ
Gehen Empfindungen bei der Arbeit in das Zufriedenheitsurteil ein?
Wird die Einstellung AZ erst durch den Messvorgang erzeugt (als Artefakt)?
Keine empirischen Belege
Behauptung von Sandelands/ Larson: Hohe Reaktivität bei Laborexperimenten,
jedoch nicht bei Feldexperimenten
Es ist unklar, wie mit dem Problem der Reaktivität umgegangen werden soll
Das Ambivalenz-Argument
Scott: Allgemeine AZ + Teil AZ Zufriedenheit je nach dem, mit wem man sich
vergleicht Beachtet Aspekte wie Arbeitsinhalt &
Vorgesetzte Neuberger: Ambivalenz; derselbe Faktor
wird zugleich als befriedigend und als unbefriedigend erlebt Bsp: Fachlich sehr kompetenter, menschlich
unangenehmer Vorgesetzter Auf Teil AZs der Teil AZs bezogen
AZ wird reduziert auf die Einstellung zur Arbeit
Reduktion der Zufriedenheit mit der jeweiligen Arbeit auf eine Einstellung zur Arbeit (Volmerg) Einstellungsbegriff Widerspruchsfreiheit
AZ als pos. Einstellung zur Arbeit Eine äußerst angenehme Tätigkeit kann stärker
ins Gewicht fallen als ein besonders unangenehmer Vorgesetzter – oder umgekehrt bei neg. Einstellung
Bleiben bei den gängigen AZ-Skalen Ambivalenzen unberücksichtigt?
Jein, bisher gibt es keine Erhebungen zum Ausmaß der Ambivalenzen
Eindimensionale AZ-Skalen können keine Ambivalenzen erfassen Extremwerte lassen sich zuordnen, Ambivalenzen fallen unter
„Keine Angabe“
Die Befragten müssen alles gegeneinander abwägen um ein Gesamturteil zu bilden
Im ABB gibt es keine Kategorie „Unentschieden“ mehr. (zu oft von VPN verwendet)
*Gebert: Die AUZ als Unzufriedenheitsempfindung korreliert mit der Häufigkeit von zwiespältigen Einstellungen zur Arbeit mit 0.66
Wann spricht das Ambivalenz-Argument gegen die Validität?
Wenn die neutrale Kategorie fehlt
Wenn die Ambivalenz Situationsbedingt ist Indiz für die Zufälligkeit, geringe Retest-
Reliabilität Oder Änderung der Arbeitssituation bzw. der
individuellen Beurteilungsstandards
Frage: Ist AZ ein kurzfristiges oder langfristiges Konstrukt? Meist Anweisung, Antworten ohne Überlegung zu geben
Ambivalenz-Argument in der Forschung
Argument ist nach Gawellek nicht stichhaltig, es sei denn, dass sich nicht alles zum Gesamturteil zusammenfassen lässt
Wichtig zur Interpretation von Unentschiedenheitsantworten
Es sollte stärker beachtet werden Vielleicht hängt das Verhalten der Beschäftigten
auch davon ab, inwieweit sie ihre Arbeitssituation als ambivalent erleben.
Das Manipulierbarkeits-Argument
Manipulation von Befragten Skepsis gegenüber der Anonymität Befürchtung von Nachteilen seitens des Arbeitgebers bei
freier Meinungsäußerung Ggf. Verzerrung in die neg. Richtung (durch
Überbetonung) um auf Missstände aufmerksam zu machen
Manipulation durch die Art der Frage bzw. Antwort Direkte/ indirekte Fragen Pos. oder neg. Formulierung Antwortformat Skalentyp
Antworten sind von direkten & indirekten Fragen abhängig
Direkte Fragen führen i.d. Regel zu höheren AZ-Werten „If you were starting over in your working career,
would you lean toward taking the same type of job you have now?“
Sind direkte Fragen invalide? Können indirekte Fragen etwas anderes
messen als AZ? Z.B. Vorstellungskraft
Fragearten führen zu unterschiedlichen Ergebnissen
Pos., neg. oder extreme Frageformulierung
Fragen nach AUZ führen eher – aber nicht generell zu höheren AZ-Werten als positiv formulierte
Extremität der Frageformulierung „Ich bin mit meinem Kollegen sehr
zufrieden“ „Ich bin mit meinem Kollegen
außerordentlich zufrieden“
Vermutung, die Antworten seien vom Antwortformat abhängig
Exp: Die gleichen Fragen bezüglich desselben Themas wurden auf unterschiedlichen Skalen bewertet Bipolare Skala höhere AZ-Werte als bei den anderen
Skalen Messinstrumente müssen hinsichtlich ihrer Güte hinterfragt
werden, keine Gütekriterien angegeben (Huber)
Antworten können je nach Fragestellung & Antwortformat variieren. Dies muss im Blickpunkt bleiben, damit nicht Gefahr gelaufen wird, Manipulationen zu unterliegen
Das Spillover-Argument
Die extreme Unzufriedenheit des Arbeitgebers mit einem Aspekt seiner Arbeit kann einen starken Effekt auf seine Gefühle zu anderen Aspekten seiner Arbeit haben
Ausstrahlungseffekte: Validität der Teil Zufriedenheiten
Das Argument bekommt nur Gewicht, wenn die Vermutung besteht, dass die Teil-AZ-Korrelationen auf Ausstrahlungseffekten beruhen
keine emp. Belege
Sind die AZ-Ergebnisse nach oben verzerrt?
4 Argumente die für die Verzerrung der Daten nach oben sprechen
1. Selbstselektionsargument
2. Die Argumente: Abwehrmechanismen & Asymmetrisches Vergessen
3. Das Argument: Gesenktes Anspruchsniveau
4. Das Argument: Soziale Erwünschtheit
Selbstselektionargument
Nur die „Zufriedenen“ nehmen an der Befragung teil Hohe AZ-Werte resultieren aus der Freiwilligkeit der
Befragungs-Teilnahme Verdacht: Selbstselektion der „Zufriedenen“ führt zu
hohen Zufriedenheitswerten Rücklaufquoten meist deutlich unter 100%
Vermutung: Weniger schreib-/ redegewandte /-willige verweigern die Teilnahme an der Befragung
Hoher Anteil der mit der Arbeit Zufriedenen beruht auf einem verzerrten Bild der Realität
Schwierigkeit bei dem Selbstselektionargument
Um Einwände zu belegen ist der Nachweis nötig, dass die tatsächlich weniger schreib- bzw. redegewandten die Teilnahme verweigern,
dass sie schlechteren Arbeitsbedingungen unterliegen und deshalb mit ihrer Arbeit unzufrieden sind.
Problem: Es gibt keine weiterreichenden Daten über die Befragungsverweigerer
Weiter: Standardisierte Fragebögen (simples Ankreuzen) dürften auch für nicht schreib- und redegewandte verständlich sein
Abwehrmechanismen und asymmetrisches Vergessen
A) Befunde hoher AZ werden häufig auf psychische Abwehrmechanismen zurückgeführt .
*Kornhauser: Angestellte sehen oft wenig Chancen, sich aus
der aktuellen Arbeitssituation zu befreien. Das Eingeständnis, das ihr Job nicht
zufriedenstellend ist, ist zu schmerzvoll. Aus dem natürlichen Hang zum Selbstschutz
ergibt sich ein Bias positive Akzente der Arbeit überzubewerten
Abwehrmechanismen und Gesellschaftliche Normen
*Kern/Schumann: Betonung der Rolle gesellschaftlicher Normen: Gesellschaftliche Leistungsnormen führen dazu,
dass Erfolg häufig mit Erfolg in der Arbeit gleichgesetzt wird
Kritik an der Arbeit fällt zwangsläufig mit Kritik an der Person zusammen.
Gebot positiver Selbstinterpretation: Alles in Allem zufrieden zu sein, auch wenn viele
Einzelheiten als negativ bezeichnet werden
Abwehrmechanismen und Validität
Abwehrmechanismen sprechen immer dann gegen die Validität, wenn von einem AZ-Konzept ausgegangen wird, bei dem derart zustande gekommene Ergebnisse nicht mehr als echte AZ angesehen werden können.
Jedoch ist die Annahme mit einem undifferenzierten Diskrepanzkonzept vereinbar
Weiteres Indiz für Ungültigkeit der AZ-Befunde: Nachweis, dass die Abwehr-Prozesse durch die Erhebung selbst hervorgerufen werden oder aber nur in der Erhebungssituation auftreten.
Asymmetrisches Vergessen
*Neuberger versteht darunter: Verdrängungsprozesse
Hohe AZ, Ergebnis eines Stichprobenfehlers? Es gibt viele Erlebnisse, pos. & neg. Natur im
Arbeitsleben Durch psychogene Verdrängungen vieler
Alltagsärgernisse werden möglicherweise die falschen Schlüsse gezogen.
Zusammenfassende Wirkung könnte dazu führen, dass die AZ nicht mehr angemessen repräsentiert wird.
Asymmetrisches Vergessen
Unklar bleibt jedoch, worauf Asymmetrisches Vergessen hinauszielt:
1. Auf die Annahme:- pos. Ereignisse bleiben leichter im Gedächtnis
2. Oder aber durch die:- Entstehung einer Verzerrung durch den Zwang zur Abgabe eines Globalurteils
Gesenktes Anspruchsniveau
Rückführung hoher AZ-Werte auf ein reduziertes Anspruchsniveau, die Zeichen und Ausdruck von Resignation sein können
Wird weiter von einer unmodifizierten Diskrepanzkonzeption der AZ ausgegangen, zielen diese Vermutungen nicht auf die Invalidität der AZ-Ergebnisse
AZ ist auch abhängig vom jeweiligen Anspruchsniveau. Weniger ein Problem der Validität, als von dem AZ-Konstrukt, welches undifferenziert AN nicht explizit berücksichtigt
AN-Vermutung ist eher als Hinweis einer Unzulänglichkeit bei der Zugrundelegung einer differenz. AZ-Konzeption zu betrachten.
*Brüggemann: AZ wird in Abhängigkeit von deren Zustandekommen unterschieden.
Argument Soziale Erwünschtheit (SD = Social Desirability)
Einer der gängigsten Einwände gegen AZ-Befunde: Die Annahme auf Antwortverzerrung infolge sozialer
Erwünschtheit *Ganster: versteht unter sozialer Erwünschtheit: „... a
tendency for an individual to present him or herself in a way that makes the person look positive with regard to culturally derived norms and standards“
*Mummendry sieht das Konstrukt „soziale Erwünschtheit“ gewissermaßen als Allerweltskonstrukt, auf welches immer dann zurückgegriffen wird, wenn es an die Interpretation hypothesenkonformer Ergebnisse empirischer Untersuchungen geht.
SD ist für ihn nicht die Ausprägung von AZ, sondern Ausdruck von Täuschungsverhalten. Befragte verfälschen mehr oder weniger die als „wahr“ oder „echt“ aufgefassten Reaktionen durch im Sinne sozialer Normen korrigierte Reaktionen
2 mögliche Betrachtungswinkel für SD-Effekte
SD-Effekte können einerseits als response-set auf dem Hintergrund der zugrundeliegenden Frage untersucht werden und andererseits als response-style als im Sinne einer Persönlichkeitseigenschaft
pos SD-Verzerrung neg.
Entgegen Behauptungen hohe AZ-Werte auf die soziale Erwünschtheit von Zufriedenheit zurückzuführen steht die Erwägung eines Bias in die negative Richtung. Geht man davon aus, dass auch Kritiklosigkeit als sozial unangesehen ansehen (*Bartz)
*Glatzer: Hegt generell gar keine Erwartungen hinsichtlich positiver Zufriedenheitsäußerungen
Artikulation von Unzufriedenheit sozial weitestgehend akzeptiert
Empirische Ergebnisse hinsichtlich SD-verzerrter Antworten
Mittels SD-Kontrollskalen(* Crown/ Marlow, CM-Skala) wurde der Frage nachgegangen inwieweit ein Antwortverhalten bei AZ-Fragebogen durch SD-Tendenzen beeinflusst ist:
Vielfach signifikante in der Regel aber nur schwache Zusammenhänge zwischen den AZ und den SD-Daten:
*Ganster: Korrelationen der 5 JDI-Skalen mit der CM-Skala im Bereich von – 0.03 bis 0.08
Positive, aber schwache Zusammenhänge...
Cawsay ermittelte höhere Koeffizienten. 12 bzw. 14 % der Varianz des aus den 5 Einzelskalen gebildeten JDI Summenscores durch SD erklärt
ABB nur schwache Hinweise auf sozial erwünschte Antworten
Einzelne ABB-Skalen korrelieren ausnahmslos negativ mit der Skala „Offenheit“ des FPI‘s, Werte sind jedoch fast immer deutlich unter 0.4
3 Modelle in denen die Variable SD für kommende AZ-Forschung von Bedeutung sein könnte:
1.Spuriousness model: Korrellation 2er eigentl. zusammenhanglosen Variablen die anhand SD-Verzerrungen gemeinsame Varianzanteile aufweisen
2.Suppression model: Tatsächlicher Zusammenhang 2er Größen bleibt wegen SD-Einfluss unentdeckt
3.Moderator model: SD moderiert Zusammenhang zwischen unabhängiger und abhängiger Variable wenn Interaktion zwischen Größe SD und unabhängiger Variable vorliegt
Aber: Derzeit für AZ-Forschung keine fundierten Aussagen über durch SD hervorgerufene Effekte möglich
Zusammenfassung der SD-Ergebnisse
Es gibt positive Verzerrungen durch SD Jedoch: Schwache Zusammenhänge Der SD wird ein zu starkes Gewicht
beigemessen Unbeantwortet:
Welches AZ Messinstrument ist für SD am unanfälligsten?
SD-Effekte können schwer eliminiert werden Die SD-Skalen korrelieren nur schwach miteinander Verschiedene SD-Skalen würden unterschiedliche
Änderungen nahelegen
Fazit
Einwände gegen Validität werden meist ohne empirische Belege vorgebracht
Es sind derzeit keine klaren Validitätsaussagen darüber möglich, ob die Instrumente das messen, was sie messen sollen
Zurückzuführen ist dies auf die vage begriffliche Bestimmtheit des Konstrukts AZ
Dies hat zur Folge, dass man sich schwer tut, die verschiedenen AZ-Messinstrumente in eine Validitätsrangreihe zu bringen
So kann wohl keines als das valideste bezeichnet werden, es bleibt nur der Hinweis, dass die einzelnen Verfahren nicht das gleiche messen
Ein Ansatz zur Lösung des Validitätsproblems wäre eine Einigung über eine AZ-Definition
Vielen Dank für die Aufmerksamkeit
Susanne Büsing & Tobias Jagusch