verfahren 7 - q-das.de · abbildung 8: cohen’s kappa - aiag msa standard, links ohne und rechts...
TRANSCRIPT
Verfahren 7 Die Berechnungsoptionen für Cohens Kappa
in den Q-DAS Software-Produkten
Verfahren 7: Berechnungsoptionen für Cohens Kappa 1/23
Version: A © 2015 Q-DAS GmbH & Co. KG, 69469 Weinheim Cohens_Kappa_solara.docx
Verfahren 7: Berechnungsoptionen für Cohens Kappa
Inhalt Verfahren 7: Berechnungsoptionen für Cohens Kappa ...................................................................... 1
Warum dieses Dokument? .............................................................................................................. 2
Aufbau des Beispieldatensatzes aus der AIAG-Richtlinie MSA ....................................................... 3
Beispieldaten ............................................................................................................................... 3
Standardberechnung ....................................................................................................................... 4
AIAG MSA Standard ......................................................................................................................... 7
Datensatz ohne Referenzurteile .................................................................................................. 9
Datensatz mit Referenzurteilen ................................................................................................ 12
AIAG MSA Extended ...................................................................................................................... 15
Datensatz ohne Referenzurteile ................................................................................................ 16
Datensatz mit Referenzurteilen ................................................................................................ 21
Verfahren 7: Berechnungsoptionen für Cohens Kappa 2/23
Version: A © 2015 Q-DAS GmbH & Co. KG, 69469 Weinheim Cohens_Kappa_solara.docx
Warum dieses Dokument?
In den Programm solara.MP und destra können beim Verfahren 7 verschiedene
Berechnungsoptionen für den Kappa-Index nach Cohen eingestellt werden. Worin diese
Unterschiede bestehen, kann der Anwender nicht direkt ersehen. Hier wird dem Leser eine
Erläuterung geboten, welche Auswirkung das Einstellen einer bestimmten Berechnungsmethode auf
die angezeigten Ergebnisse hat.
Was mit dem Dokument nicht beabsichtigt ist Das Dokument stellt keine Einführung in die Bestimmung des Kappa-Index nach Cohen dar und es ist
auch kein Ersatz für eine Schulung zu diesem Thema. Vielmehr wird das Wissen hier schon
vorausgesetzt.
Auswertestrategie in solara.MP oder in destra, Modul Messsystemanalyse Wie aus der Abbildung 1 entnommen werden kann, sind drei Berechnungsoptionen für den Kappa-
Index nach Cohen in der Software verfügbar. Jede Berechnungsoption ist in einem eigenen Kapitel
beschrieben, wobei in allen Kapiteln das gleiche Zahlenbeispiel verwendet wurde.
Abbildung 1: Auswertestrategie zum Verfahren 7 - Berechnung Cohen's Kappa
Das verwendete Zahlenbeispiel stammt aus der AIAG-Richtlinie Measurement System Analysis
(4th Edition, Page 134). Aus Platzgründen ist der Rechengang für den Prüfer A jeweils ausführlich
dargestellt und derjenige für die weiteren Prüfer – da analog – stets nur angedeutet.
Verfahren 7: Berechnungsoptionen für Cohens Kappa 3/23
Version: A © 2015 Q-DAS GmbH & Co. KG, 69469 Weinheim Cohens_Kappa_solara.docx
Aufbau des Beispieldatensatzes aus der AIAG-Richtlinie MSA
Drei Prüfer haben 50 Einheiten in drei Durchgängen geprüft. Dadurch sind 3 × 3 50 = 450
Prüfergebnisse entstanden. Zusätzlich wurde zu jedem Teil genau eine einzige Referenzbewertung
durchgeführt. Somit besteht der Datensatz aus 450 Prüferurteilen und weiteren 50 Referenzurteilen.
Beispieldaten
Abbildung 2: Beispieldaten aus der AIAG-Richtlinie Measurement System Analysis
Verfahren 7: Berechnungsoptionen für Cohens Kappa 4/23
Version: A © 2015 Q-DAS GmbH & Co. KG, 69469 Weinheim Cohens_Kappa_solara.docx
Standardberechnung
Diese Einstellung ist nur geeignet, wenn in allen Fällen sicher ist, dass die auszuwertenden
Datensätze eine Referenzbewertung enthalten.
Abbildung 3: Berechnung Cohen's Kappa – Standardberechnung
Welche Ergebnisse werden berechnet?
Wird ein Datensatz mit Referenzbewertung verwendet und wählt man die Auswertung Cohen’s
Kappa – Prüferurteil mit Referenz – Prüferübereinstimmung, so erhält man das in der Fehler!
erweisquelle konnte nicht gefunden werden. dargestellte Ergebnis: den Vergleich der Prüferurteile
mit den Referenzurteilen, wie z.B. A mit Referenz, B mit Referenz, C mit Referenz und alle Prüfer mit
Referenz.
Abbildung 4: Ergebnisaufruf bei Einstellung Standardberechnung
Abbildung 5: Cohen’s Kappa - Vergleich der Prüferurteile mit der Referenz
Verfahren 7: Berechnungsoptionen für Cohens Kappa 5/23
Version: A © 2015 Q-DAS GmbH & Co. KG, 69469 Weinheim Cohens_Kappa_solara.docx
Erster Schritt: Die beobachteten Urteilskombinationen der Prüfer werden ausgezählt. Das Ergebnis
dieser Zählung ist in der Tabelle 1 dargestellt. Dort bedeutet das Symbol A1, dass hier die Urteile des
Prüfers A aus dem ersten Durchgang betrachtet werden.
Hinweis: Analog müssen diese Zählungen für die weiteren Durchgänge 2 und 3 durchgeführt werden.
A1 mit Referenz Urteil A1: Teil schlecht = 1 Urteil A1: Teil gut = 0 Summe
Referenz: Teil schlecht = 1 34 0 34
Referenz: Teil gut = 0 0 16 16
Summe 34 16 50 Tabelle 1: Beobachtete Häufigkeiten der Urteile des Prüfers A
Zweiter Schritt: Man berechnet die beobachteten relativen Häufigkeiten der Prüferurteile aus den
Zählergebnissen im ersten Schritt. Das Vorgehen mit Ergebnisangabe st in der Tabelle 2 dargestellt.
A1 mit Referenz Urteil A1: Teil schlecht = 1 Urteil A1: Teil gut = 0 Summe
Referenz: Teil schlecht = 1 34
50= 0.68
0
50= 0 0.68
Referenz: Teil gut = 0 0
50= 0
16
50= 0.32 0.32
Summe 0.68 0.32 1 Tabelle 2: Relative Beobachtungshäufigkeit der Urteile des Prüfers A
Dritter Schritt: Man berechnet die erwarteten relativen Häufigkeiten, wieder auf der Grundlage der
Zählungen im Schritt 1. Das Rechenschema mit Ergebnis ist in der Tabelle 3 dargestellt.
A1 mit Referenz Urteil A1: Teil schlecht = 1 Urteil A1: Teil gut = 0 Summe
Referenz: Teil schlecht = 1 34
50×
34
50= 0.4624
16
50×
34
50= 0.2176 0.68
Referenz: Teil gut = 0 34
50×
16
50= 0.2176
16
50×
16
50= 0.1024 0.32
Summe 0.68 0.32 1 Tabelle 3: Erwartete relative Häufigkeiten der Urteile des Prüfers A
Vierter Schritt: Es wird der Anteilswert Po = beobachteter Anteil übereinstimmender Prüferurteile
und der Anteilswert Pe = Erwarteter Anteil übereinstimmender Prüferurteile berechnet. Dazu
werden die Inhalte (Anteilswerte) der Hauptdiagonalzellen in Tabelle 2 bzw. Tabelle 3, addiert.
Beobachteter Anteil übereinstimmender Prüferentscheidungen (aus Tabelle 2):
𝑃𝑜 = 0.68 + 0.32 = 1.0
Formel 1: Beobachteter Anteil gleicher Urteile, berechnet für den ersten Durchlauf Prüfer A mit Referenz
Verfahren 7: Berechnungsoptionen für Cohens Kappa 6/23
Version: A © 2015 Q-DAS GmbH & Co. KG, 69469 Weinheim Cohens_Kappa_solara.docx
Erwarteter Anteil übereinstimmender Prüferentscheidungen (aus Tabelle 3):
𝑃𝑒 = 0.4624 + 0.1024 = 0.5648
Formel 2: Erwarteter Anteil gleicher Urteile, berechnet für den ersten Durchlauf Prüfer A mit Referenz
Fünfter Schritt: Es wird der Kappa-Index nach Cohen anhand der im Schritt vier ermittelten
Anteilswerte berechnet. Für das Beispiel - Vergleich der Prüferurteile von Prüfer A im ersten
Prüfdurchgang mit der Referenzbewertung – ist das Ergebnis dargestellt:
𝜅𝐴1𝑅 =𝑃𝑜 − 𝑃𝑒
1 − 𝑃𝑒=
1 − 0.5648
1 − 0.5648= 1.0
Formel 3: Kappa-Index nach Cohen, berechnet für den ersten Durchlauf Prüfer A mit Referenz
Für den zweiten Prüfdurchgang des Prüfers A erhält man analog nach dem oben angegebenen Fünf-
Schritt-Schema den Kappa-Werte 𝜿𝑨𝟐𝑹 = 0.9081 und für den dritten Durchgang den Wert
𝜿𝑨𝟑𝑹 = 0,7331. Der Kappa-Index für den Prüfer A ist der Mittelwert aus den drei Kappa-Werten, die
man für die drei Durchgänge des Prüfers A zuvor berechnet hat:
𝜅𝐴 =𝜅𝐴1𝑅 + 𝜅𝐴2𝑅 + 𝜅𝐴3𝑅
3=
1.0 + 0.9081 + 0.7331
3= 0.880
Formel 4: Kappa-Index nach Cohen, berechnet als Mittelwert
Hinweis: Um alle Ergebnisse für das Zahlenbeispiel zu erhalten, muss das Fünf-Schritte-Schema – wie
es am Beispiel des Prüfers A beschrieben wurde – auch für die Prüfer B und C ausgeführt werden.
In der Tabelle 4 ist das Rechenschema zur Bestimmung der Kappa-Werte dargestellt.
𝜅𝑎𝑙𝑙 =𝜅𝐴 + 𝜅𝐵 + 𝜅𝐶
3
𝜅𝐴 =𝜅𝐴1𝑅 + 𝜅𝐴2𝑅 + 𝜅𝐴3𝑅
3 𝜅𝐵 =
𝜅𝐵1𝑅 + 𝜅𝐵2𝑅 + 𝜅𝐵3𝑅
3 𝜅𝐶 =
𝜅𝐶1𝑅 + 𝜅𝐶2𝑅 + 𝜅𝐶3𝑅
3
𝜅𝐴1𝑅 𝜅𝐴2𝑅 𝜅𝐴3𝑅 𝜅𝐵1𝑅 𝜅𝐵2𝑅 𝜅𝐵3𝑅 𝜅𝐶1𝑅 𝜅𝐶2𝑅 𝜅𝐶3𝑅 Tabelle 4: Übersicht zur Bildung der Kappa-Werte, Einstellung Standardberechnung
Verfahren 7: Berechnungsoptionen für Cohens Kappa 7/23
Version: A © 2015 Q-DAS GmbH & Co. KG, 69469 Weinheim Cohens_Kappa_solara.docx
AIAG MSA Standard
Bei dieser Einstellung wird das Rechenschema aus der AIAG-Richtlinie Measurement System Analysis
(4th Edition) verwendet. Wer die Ergebnisse genauso wie in der Richtlinie dargestellt erhalten
möchte, sollte diese Einstellung in der Software wählen.
Abbildung 6: Berechnung Cohen's Kappa - AIAG MSA Standard
Welche Ergebnisse werden berechnet?
Wird ein Datensatz ohne Referenzwerte geladen, so werden die paarweisen Vergleicher der Prüfer
untereinander bestimmt.
Paarweiser Vergleich der Prüfer im Beispiel: A mit B, A mit C und B mit C.
Abbildung 7: Aufruf der Ergebnisse im "Assistenten"
Abbildung 8: Cohen’s Kappa - AIAG MSA Standard, links ohne und rechts mit Referenzwerte-Vergleich unter Verwendung eines Datensatzes ohne Referenzwerte
Verfahren 7: Berechnungsoptionen für Cohens Kappa 8/23
Version: A © 2015 Q-DAS GmbH & Co. KG, 69469 Weinheim Cohens_Kappa_solara.docx
Bei einem Datensatz mit Referenzwerten werden folgende Ergebnisse ausgegeben:
Paarweise Vergleicher der Prüfer untereinander
Paarweise Vergleiche der Prüfer mit den Referenzwerten
Exemplarisch für die Daten des Beispiels erhält man die folgenden Vergleiche:
Abbildung 9: Aufruf der Ergebnisse im "Assistenten"
Abbildung 10: Cohen’s Kappa - AIAG MSA Standard – links ohne und rechts mit Referenzwerte-Vergleich unter Verwendung eines Datensatzes mit Referenzwerten
Verfahren 7: Berechnungsoptionen für Cohens Kappa 9/23
Version: A © 2015 Q-DAS GmbH & Co. KG, 69469 Weinheim Cohens_Kappa_solara.docx
Datensatz ohne Referenzurteile
Betrachtet wird das Auswerten gemäß der Auswahl Cohen’s Kappa - Prüferurteil ohne Referenz –
Prüferübereinstimmung.
Paarweise Vergleiche der Prüferurteile
Für die Auswertung werden Urteilspaare gebildet. Die Tabelle 5 zeigt, welche Paarungen im
Beispieldatensatz miteinander verglichen werden müssen. Dabei ist die symbolische Schreibweise –
bestehend aus Buchstabe und Zahl – wie folgt zu deuten: A1 = Prüfer A im ersten Durchgang, A2 =
Prüfer A im zweiten Durchgang, usw.
A mit B A mit C B mit C
A1 = B1; A2 = B2; A3 = B3 A1 = C1; A2 = C2; A3 = C3 B1 = C1; B2 = C2; B3 = C3 Tabelle 5: Übersicht der paarweisen Urteilsvergleiche
Erster Schritt: Bei jedem Durchgang trifft ein Prüfer 50 Prüfentscheidungen. Somit sind für den
paarweisen Vergleich der Urteile der beiden Prüfer A und B insgesamt 150 Urteilspaare auszuzählen:
50 Urteilspaare im ersten Durchgang, 50 Urteilspaare im zweiten Durchgang und schließlich 50
Urteilspaare im dritten Durchgang. Das Ergebnis dieser Zählungen ist in der Tabelle 6 dargestellt.
A mit B Urteil A: Teil schlecht = 1 Urteil A: Teil gut = 0 Summe
Urteil B: Teil schlecht = 1 97 6 103
Urteil B: Teil gut = 0 3 44 47
Summe 100 50 150 Tabelle 6: Beobachtete Häufigkeiten der paarweise miteinander verglichenen Urteile der Prüfer A und B
Vierter Schritt: Aus den Ergebnissen der beobachteten Häufigkeiten werden die relativen
Häufigkeiten berechnet.
A mit B Urteil A: Teil schlecht = 1 Urteil A: Teil gut = 0 Summe
Urteil B: Teil schlecht = 1 97
150= 0.6467
6
150= 0.04 0.6867
Urteil B: Teil gut = 0 3
150= 0.02
44
150= 0.2933 0.3133
Summe 0.6667 0.3333 1 Tabelle 7: Beobachtete relative Häufigkeiten der paarweise verglichenen Urteile der Prüfer A und B
Verfahren 7: Berechnungsoptionen für Cohens Kappa 10/23
Version: A © 2015 Q-DAS GmbH & Co. KG, 69469 Weinheim Cohens_Kappa_solara.docx
Dritter Schritt: Nun werden die erwarteten relativen Häufigkeiten der paarweisen Urteile berechnet:
A mit B Urteil A: Teil schlecht = 1 Urteil A: Teil gut = 0 Summe
Urteil B: Teil schlecht = 1 103
150×
100
150= 0.4578
103
150×
50
150= 0.2289 0.6867
Urteil B: Teil gut = 0 47
150×
100
150= 0.2089
47
150×
50
150= 0.1044 0.3133
Summe 0.6667 0.3333 1 Tabelle 8: Erwartete relative Häufigkeiten der paarweise verglichenen Urteile der Prüfer A und B
Vierter Schritt: Mit den Ergebnissen in den Hauptdiagonal-Zellen der Tabelle 7 berechnet man den
beobachteten Anteil übereinstimmender Prüferurteile:
𝑃𝑜 = 0.6467 + 0.2933 = 0.94
Formel 5: Beobachteter Anteil gleicher Urteile, berechnet für den Vergleich der Prüfer A und B
Mit den Ergebnissen in den Hauptdiagonal-Zellen in der Tabelle 8 berechnet man den erwarteten
Anteil übereinstimmender Prüferurteile:
𝑃𝑒 = 0.4578 + 0.1044 = 0.5622
Formel 6: Erwarteter Anteil gleicher Urteile, berechnet für den Vergleich der Prüfer A und B
Fünfter Schritt: Nun wird mit den im Schritt 4 berechneten Anteilswerten der Kappa-Index nach
Cohen berechnet.
𝜅𝑐(𝐴 × 𝐵) =𝑃𝑜 − 𝑃𝑒
1 − 𝑃𝑒=
0.94 − 0.5622
1 − 0.5622= 0.8629
Formel 7: Kappa-Index nach Cohen, berechnet für den Vergleich der Prüfer A und B
Hinweis: Analog werden die Kappa-Werte für den paarweisen Vergleich A mit C und B mit C
berechnet.
Zur Erinnerung: Im Programm erhält man das Ergebnis, wenn man Cohen’s Kappa - Prüferurteil ohne
Referenz – Prüferübereinstimmung auswählt.
Verfahren 7: Berechnungsoptionen für Cohens Kappa 11/23
Version: A © 2015 Q-DAS GmbH & Co. KG, 69469 Weinheim Cohens_Kappa_solara.docx
Abbildung 11: Cohen's Kappa - MSA AIAG Standard – ohne Referenzwerte-Vergleich
Verfahren 7: Berechnungsoptionen für Cohens Kappa 12/23
Version: A © 2015 Q-DAS GmbH & Co. KG, 69469 Weinheim Cohens_Kappa_solara.docx
Datensatz mit Referenzurteilen
Wählt man Cohen’s Kappa - Prüferurteil mit Referenz – Prüferübereinstimmung, so erhält man die
Ergebnisse für den Vergleich der Urteile von jeweils einem Prüfer mit den Referenzurteilen.
Übersicht der paarweisen Vergleiche (Prüferurteile mit Referenzbewertung)
In der Tabelle 9 ist dargestellt, welche Urteilspaare gebildet werden müssen. Wieder ist die
symbolische Schreibweise – Buchstabe und Zahlenwert – wie folgt zu deuten: A1 = Prüfer A im ersten
Durchgang, A2 = Prüfer A im zweiten Durchgang, usw.
A mit Referenz B mit Referenz C mit Referenz
A1 = Ref.; A2=Ref.; A3 = Ref. B1 = Ref.; B2 = Ref.; B3 = Ref. C1 = Ref.; C2 = Ref.; C3 = Ref. Tabelle 9: Übersicht aller paarweise zu vergleichender Urteile - Prüfer mit Referenz
Erster Schritt: In jedem Durchgang sind 50 Prüferurteile mit 50 Referenzbewertungen zu
vergleichen. Somit sind insgesamt 50 Urteilspaare im ersten Durchgang, 50 Urteilspaare im zweiten
Durchgang und schließlich 50 Urteilspaare im dritten Durchgang auszuzählen. Das Ergebnis dieser
Zählungen ist in der Tabelle 10 dargestellt.
A mit Referenz Urteil A: Teil schlecht = 1 Urteil A: Teil gut = 0 Summe
Referenz: Teil schlecht = 1 97 5 102
Referenz: Teil gut = 0 3 45 48
Summe 100 50 150 Tabelle 10: Beobachtete Häufigkeit der paarweise verglichenen Urteile Prüfer A mit Referenz
Zweiter Schritt: Mit den Zählergebnissen aus der Tabelle 10 berechnet man die beobachteten
relativen Häufigkeiten der paarweisen Urteilsvergleiche Prüfer mit Referenz. Das Ergebnis ist in der
Tabelle 11 dargestellt.
A mit Referenz Urteil A: Teil schlecht = 1 Urteil A: Teil gut = 0 Summe
Referenz: Teil schlecht = 1 97
150= 0.6467
5
150= 0.0333 0.68
Referenz: Teil gut = 0 3
150= 0.02
45
150= 0.3 0.32
Summe 0.6667 0.3333 1 Tabelle 11: Beobachtete relative Häufigkeit der paarweise verglichenen Urteile Prüfer A mit Referenz
Verfahren 7: Berechnungsoptionen für Cohens Kappa 13/23
Version: A © 2015 Q-DAS GmbH & Co. KG, 69469 Weinheim Cohens_Kappa_solara.docx
Dritter Schritt: Auf der Grundlage der beobachteten relativen Häufigkeiten in der Tabelle 11
berechnet man die erwarteten relativen Häufigkeiten. Die Berechnungsschritte mit Ergebnissen sind
in Tabelle 12 dargestellt:
A mit Referenz Urteil A: Teil schlecht = 1 Urteil A: Teil gut = 0 Summe
Referenz: Teil schlecht = 1 102
150×
100
150= 0.4533
102
150×
50
150= 0.2267 0.68
Referenz: Teil gut = 0 48
150×
100
150= 0.2133
48
150×
50
150= 0.1067 0.32
Summe 0.6667 0.3333 1 Tabelle 12: Erwartete relative Häufigkeiten der paarweise verglichenen Urteile Prüfer A mit Referenz
Vierter Schritt: Mit den Ergebnissen aus der Tabelle 11 im zweiten Schritt wird der beobachtet Anteil
gleicher Entscheidungen berechnet:
𝑃𝑜 = 0.6467 + 0.3 = 0.9467
Formel 8: Beobachteter Anteil gleicher Urteile, berechnet für den Vergleich Prüfer A mit Referenz
Analog wird mit den Ergebnissen aus der Tabelle 12 im dritten Schritt der erwartete Anteil gleicher
Entscheidungen berechnet:
𝑃𝑒 = 0.4533 + 0.1067 = 0.56
Formel 9: Erwarteter Anteil gleicher Urteile, berechnet für den Vergleich Prüfer A mit Referenz
Fünfter Schritt: Mit den Anteilswerten aus dem vierten Schritt wird der Kappa-Index nach Cohen
berechnet.
𝜅𝑐(𝐴 × 𝑅𝑒𝑓) =𝑃𝑜 − 𝑃𝑒
1 − 𝑃𝑒=
0.9467 − 0.56
1 − 0.56≈ 0.879
Formel 10: Kappa-Index nach Cohen, berechnet für den Vergleich Prüfer A mit Referenz
Hinweis: Analog gemäß dem gezeigten Fünf-Schritte-Schema muss der Kappa-Index für den Vergleich
Prüfer B mit Referenz und Prüfer C mit Referenz bestimmt werden.
Zur Erinnerung: Im Programm muss das Ergebnis mit dem Befehl Cohen’s Kappa - Prüferurteil mit
Referenz – Prüferübereinstimmung aufgerufen werden. In der Abbildung 12 ist das Ergebnis für das
Zahlenbeispiel mit Ergebnissen für alle Prüfer dargestellt.
Verfahren 7: Berechnungsoptionen für Cohens Kappa 14/23
Version: A © 2015 Q-DAS GmbH & Co. KG, 69469 Weinheim Cohens_Kappa_solara.docx
Abbildung 12: Ergebnisse für die Auswertung Prüferurteil mit Referenz - Berechnungsmethode AIAG MSA Standard
Zur Erinnerung: Im Programm muss das Ergebnis mit dem Befehl Cohen’s Kappa - Prüferurteil ohne
Referenz – Prüferübereinstimmung aufgerufen werden. In der Abbildung 13 ist das Ergebnis für das
Zahlenbeispiel mit Ergebnissen für alle Prüfer dargestellt
Abbildung 13: Cohen’s Kappa - AIAG MSA Standard, Vergleich der Prüfer ohne Referenzwerte-Vergleich
Verfahren 7: Berechnungsoptionen für Cohens Kappa 15/23
Version: A © 2015 Q-DAS GmbH & Co. KG, 69469 Weinheim Cohens_Kappa_solara.docx
AIAG MSA Extended
Diese mit AIAG MSA Extended bezeichnete Berechnungsmethode integriert die Berechnung des
Kappa-Index nach Fleiss, um die Wiederholbarkeit (Vergleich der Urteile eines Prüfers von einem
Durchlauf zum nächsten) berechnen zu können.
Abbildung 14: Einstellung in der Auswertestrategie - Berechnungsmethode AIAG MSA extended
Welche Ergebnisse werden dargestellt?
Bei einem Datensatz ohne Referenzurteile werden die folgenden Vergleiche durchgeführt:
Vergleich der Prüfer untereinander (Vergleichbarkeit)
Vergleich der Prüfer mit sich selbst (Wiederholbarkeit)
Abbildung 15: Cohen’s Kappa - AIAG MSA extended, links ohne und rechts mit Referenzwerte-Vergleich unter Verwendung eines Datensatzes ohne Referenzwerte
Bei einem Datensatz mit Referenzurteilen werden folgende Vergleiche durchgeführt:
Vergleich der Prüfer (Wiederholbarkeit)
Paarweiser Vergleich der Prüfer (Vergleichbarkeit der Prüfer)
Vergleich der Prüfer mit dem Standard (Vergleichbarkeit der Prüfer mit dem Standard)
Verfahren 7: Berechnungsoptionen für Cohens Kappa 16/23
Version: A © 2015 Q-DAS GmbH & Co. KG, 69469 Weinheim Cohens_Kappa_solara.docx
Abbildung 16: Cohen’s Kappa - AIAG MSA extended, links ohne und rechts mit Referenzwerte-Vergleich unter Verwendung eines Datensatzes mit Referenzwerten
Datensatz ohne Referenzurteile
Liegt ein Datensatz ohne Referenzurteile vor und wählt man die Auswertung Cohen’s Kappa -
Prüferurteil ohne Referenz – Prüferübereinstimmung, so erhält man mehrere Ergebnisse:
1. Vergleich innerhalb eines jeden Prüfer – Vergleich der Durchläufe: Wiederholbarkeit.
2. Paarweiser Vergleich der Urteile zwischen den Prüfern: Vergleichbarkeit.
Der Aufbau der Vergleiche ist weiter unten im Detail beschrieben.
Vergleich der Durchläufe der einzelnen Prüfer mit sich selbst - Wiederholbarkeit
In der Tabelle 13 sind alle Kombinationen an Paarvergleichen aufgelistet, die insgesamt mit den
Beispieldaten durchgeführt werden müssen:
A B C
A1 = A2; A1 = A3; A2 = A3 B1 = B2; B1 = B3; B2 = B3 C1 = C2; C1 = C3; C2 = C3 Tabelle 13: Übersicht der Vergleiche innerhalb der Prüfer
Im Beispiel ist die Zählung exemplarisch für den Prüfer A ausführlich dargestellt und muss analog für
die übrigen Prüfer ausgeführt werden.
Erster Schritt: Auszählen der Urteilspaare gemäß der ersten Spalte in der Tabelle 13. Das Ergebnis
dieser Zählungen ist in der Tabelle 14 dargestellt.
A Urteil A: Teil schlecht = 1 Urteil A: Teil gut = 0 Summe
Urteil A: Teil schlecht = 1 92 6 98
Urteil A: Teil gut = 0 10 42 52
Summe 102 48 150
Verfahren 7: Berechnungsoptionen für Cohens Kappa 17/23
Version: A © 2015 Q-DAS GmbH & Co. KG, 69469 Weinheim Cohens_Kappa_solara.docx
Tabelle 14: Ergebnis der beobachteten Häufigkeiten für den Prüfer A
Zweiter Schritt: Mit den beobachteten Häufigkeiten aus der Tabelle 14 berechnet man die
beobachteten relativen Häufigkeiten. Der Rechengang und die Ergebnisse für den Prüfer A sind in der
Tabelle 15 enthalten.
A Urteil A: Teil schlecht = 1 Urteil A: Teil gut = 0 Summe
Urteil A: Teil schlecht = 1 92
150= 0.6133
6
150= 0.04 0.6533
Urteil A: Teil gut = 0 10
150= 0.0667
42
150= 0.28 0.3467
Summe 0.68 0.32 1 Tabelle 15: Beobachtete relative Häufigkeiten für den Prüfer A
Dritter Schritt: Anhand der Ergebnissen aus der Tabelle 15 im zweiten Schritt berechnet man die
erwarteten relativen Häufigkeiten. Wieder sind die Berechnungsgrundlagen und Ergebnisse nur für
den Prüfer A in der Tabelle 16 dargestellt.
A Urteil A: Teil schlecht = 1 Urteil A: Teil gut = 0 Summe
Urteil A: Teil schlecht = 1 102
150×
102
150= 0.4443
102
150×
52
150= 0.2091 0.6533
Urteil A: Teil gut = 0 48
150×
102
150= 0.2357
48
150×
52
150= 0.1109 0.3467
Summe 0.68 0.32 1 Tabelle 16: Erwartete relative Häufigkeiten für den Prüfer A
Vierter Schritt: Wählt man aus der Tabelle 15 die beobachteten relativen Häufigkeiten der
Hauptdiagonalen, so erhält man den beobachteten Anteil gleicher Urteile:
𝑃𝑜 = 0.6133 + 0.28 = 0.8933
Formel 11: Beobachteter Anteil gleicher Urteile, berechnet für den Prüfer A
Analog berechnet man mit den Hauptdiagonalelementen der Tabelle 16 – den erwarteten relativen
Häufigkeiten übereinstimmender Urteile – den erwarteten Anteil gleicher Urteile:
𝑃𝑒 = 0.4443 + 0.1109 = 0.5552
Formel 12: Erwarteter Anteil gleicher Urteile, berechnet für den Prüfer A
Verfahren 7: Berechnungsoptionen für Cohens Kappa 18/23
Version: A © 2015 Q-DAS GmbH & Co. KG, 69469 Weinheim Cohens_Kappa_solara.docx
Fünfter Schritt: Mit den beobachteten und erwarteten Anteilen gleicher Entscheidungen wird der
Kappa-Index berechnet:
𝜅𝑐(𝐴) =𝑃𝑜 − 𝑃𝑒
1 − 𝑃𝑒=
0.8933 − 0.5552
1 − 0.5552≈ 0.760
Formel 13: Kappa-Index nach Cohen für den Prüfer A
Im Zähler steht die Differenz zwischen dem beobachteten Anteil übereinstimmender Entscheidungen
und dem erwarteten Anteil rein zufällig übereinstimmender Entscheidungen. Somit repräsentiert der
Zähler den beobachteten Anteil übereinstimmender Entscheidungen, der über den erwarteten Anteil
rein zufällig übereinstimmender Entscheidungen hinausgeht. Im Nenner steht der größtmögliche
Wert für den Anteil der nicht zufällig übereinstimmenden Prüferurteile.
Abbildung 17: Cohen's Kappa - AIAG MSA Extended, ohne Referenzwerte-Vergleich
Hinweis: Analog nach diesem Fünf-Schritte-Schema sind die Kappa-Werte für die Vergleiche der
Urteile innerhalb der Prüfer B und C berechnet (die ersten drei Zeilen in der Abbildung 17).
Verfahren 7: Berechnungsoptionen für Cohens Kappa 19/23
Version: A © 2015 Q-DAS GmbH & Co. KG, 69469 Weinheim Cohens_Kappa_solara.docx
Paarweise Vergleiche aller Prüferurteile
Insgesamt müssen mit den Beispieldaten die in der Tabelle 17 dargestellten Paarvergleiche
ausgezählt werden.
A mit B A1=B1; A1=B2; A1 = B3; A2=B1; A2 = B2; A2 = B3; A3 = B1; A3 = B2; A3 = B3
A mit C A1=C1; A1=C2; A1 = C3; A2=C1; A2 = C2; A2 = C3; A3 = C1; A3 = C2; A3 = C3
B mit C B1=C1; B1=C2; B1 = C3; B2=C1; B2 = C2; B2 = C3; B3 = C1; B3 = C2; B3 = C3 Tabelle 17: Übersicht zu dem paarweisen Vergleich der Prüferurteile
Exemplarisch wird hier wieder nur der Rechengang für den Vergleich der Prüfer A und B betrachtet.
Erster Schritt: Auszählen der paarweisen Urteilskombinationen der Prüfer A und B (gemäß der ersten
Zeile in der Tabelle 17). Das Ergebnis ist in der folgenden Tabelle 18 dargestellt:
A mit B Urteil A: Teil schlecht = 1 Urteil A: Teil gut = 0 Summe
Urteil B: Teil schlecht = 1 289 20 309
Urteil B: Teil gut = 0 11 130 141
Summe 300 150 450 Tabelle 18: Ergebnis der beobachteten Häufigkeiten des paarweisen Vergleiches der Prüfer A und B
Zweiter Schritt: Berechnen der beobachteten relativen Häufigkeiten der Urteilskombinationen
anhand der Zählergebnisse aus der Tabelle 18.
A mit B Urteil A: Teil schlecht = 1 Urteil A: Teil gut = 0 Summe
Urteil B: Teil schlecht = 1 289
450= 0.6422
20
450= 0.0444 0.6867
Urteil B: Teil gut = 0 11
450= 0.0244
130
450= 0.2889 0.3133
Summe 0.6667 0.3333 1 Tabelle 19: Ergebnis der beobachteten relativen Häufigkeiten des paarweisen Vergleiches der Prüfer A und B
Dritter Schritt: Bestimmen der erwarteten relativen Häufigkeiten der Urteilskombinationen anhand
der Rechenergebnisse aus der Tabelle 18 :
A mit B Urteil A: Teil schlecht = 1 Urteil A: Teil gut = 0 Summe
Urteil B: Teil schlecht = 1 300
450×
309
450= 0.4578
150
450×
309
450= 0.2289 0.6867
Urteil B: Teil gut = 0 300
450×
141
450= 0.2089
150
450×
141
450= 0.1044 0.3133
Summe 0.6667 0.3333 1 Tabelle 20: Ergebnis der erwarteten relativen Häufigkeiten des paarweisen Vergches der Prüfer A und B
Vierter Schritt: Mit den Hauptdiagonal-Elementen aus der Tabelle der beobachteten relativen
Häufigkeit berechnet man den Anteilswert Po = Anteil der beobachteten übereinstimmenden
Prüferurteile
𝑃𝑜 = 0.6422 + 0.2889 = 0.9311
Formel 14: Beobachtete Anteil gleicher Urteile
Verfahren 7: Berechnungsoptionen für Cohens Kappa 20/23
Version: A © 2015 Q-DAS GmbH & Co. KG, 69469 Weinheim Cohens_Kappa_solara.docx
Analog berechnet man mit den Hauptdiagonal-Elementen der Tabelle der erwarteten relativen
Häufigkeiten den Anteilswert Pe = Anteil der erwarteten übereinstimmenden Prüferurteile.
𝑃𝑒 = 0.4578 + 0.1044 = 0.5622
Formel 15: Erwarteter Anteil gleicher Urteile
Fünfter Schritt: Der Wert für Kappa wird mit diesen Anteilswerten wie folgt errechnet:
𝜅𝑐(𝐴 × 𝐵) =𝑃𝑜 − 𝑃𝑒
1 − 𝑃𝑒=
0.9311 − 0.5622
1 − 0.5622≈ 0.843
Formel 16: Kappa-Index nach Cohen für den Vergleich der Urteile der Prüfer A und B
Im Zähler steht die Differenz zwischen dem beobachteten Anteil übereinstimmender Entscheidungen
und dem erwarteten Anteil rein zufällig übereinstimmender Entscheidungen. Somit repräsentiert der
Zähler den beobachteten Anteil übereinstimmender Entscheidungen, der über den erwarteten Anteil
rein zufällig übereinstimmender Entscheidungen hinausgeht. Im Nenner steht der größtmögliche
Wert für den Anteil der nicht zufällig übereinstimmenden Prüferurteile.
Abbildung 18: Cohen's Kappa - AIAG MSA Extended, ohne Referenzwerte-Vergleich
Verfahren 7: Berechnungsoptionen für Cohens Kappa 21/23
Version: A © 2015 Q-DAS GmbH & Co. KG, 69469 Weinheim Cohens_Kappa_solara.docx
Datensatz mit Referenzurteilen
Liegt ein Datensatz mit Referenzbewertungen vor, so werden folgende Auswertungen durchgeführt:
1. Vergleich der Durchläufe eines einzelnen Prüfers: Wiederholbarkeit
2. Paarweise Vergleiche der Prüfer ohne Referenz: Vergleichbarkeit
3. Prüfer mit Referenz: Vergleichbarkeit jedes Prüfers mit der Referenz
4. Alle Prüfer mit Referenz: Vergleichbarkeit aller Prüfer mit der Referenz
Die Berechnung der Fälle 1 und 2 entspricht dem Vorgehen gemäß dem Abschnitt „Datensätze ohne
Referenz“ (Kapitel AIAG MSA Extended). Daher wird auf eine wiederholte Darstellung des
Rechenganges hier verzichtet.
Im Folgenden angenommen, dass in der Auswertestrategie die Berechnungsmethode AIAG MSA
Extended eingestellt ist.
Tabelle 21: Darstellung der Einstellung „AIAG MSA extended“ in der Auswertestrategie
Vergleich der Prüferurteile mit der Referenzbewertung
Die Übersicht, welche Paarvergleiche mit den Beispieldaten insgesamt durchgeführt werden müssen,
ist in der Tabelle 22 dargestellt.
A mit Referenz B mit Referenz C mit Referenz
A1 = Ref.; A2 = Ref.; A3 = Ref. B1 = Ref.; B2 = Ref.; B3 = Ref. C1 = Ref.; C2 = Ref.; C3 = Ref. Tabelle 22: Übersicht der Vergleiche Prüfer mit Referenz
Erster Schritt: Bei jedem Prüfdurchgang wurden 50 Prüfentscheidungen getroffen. Damit sind für
jeden Prüfer 150 Paare von Prüferurteilen auszuzählen. Das Ergebnis dieser Zählungen ist in den
folgenden Tabelle 23 für den Vergleich der Urteile des Prüfers A dargestellt.
A mit Referenz Urteil A: Teil schlecht = 1 Urteil A: Teil gut = 0 Summe
Referenz: Teil schlecht = 1 97 5 102
Referenz: Teil gut = 0 3 45 48
Summe 100 50 150 Tabelle 23: Beobachtete Häufigkeit der Urteile, gezählt für den Vergleich Prüfer A mit Referenz
Verfahren 7: Berechnungsoptionen für Cohens Kappa 22/23
Version: A © 2015 Q-DAS GmbH & Co. KG, 69469 Weinheim Cohens_Kappa_solara.docx
Zweiter Schritt: Anhand der Zählergebnisse in der Tabelle 23 berechnet man die beobachteten
relativen Häufigkeiten der Urteilskombinationen. In der Tabelle 24 sind diese für den Vergleich der
Urteile des Prüfers A mit der Referenzbeurteilung dargestellt.
A mit Referenz Urteil A: Teil schlecht = 1 Urteil A: Teil gut = 0 Summe
Referenz: Teil schlecht = 1 97
150= 0.6467
5
150= 0.0333 0.68
Referenz: Teil gut = 0 3
150= 0.02
45
150= 0.3 0.32
Summe 0.6667 0.3333 1 Tabelle 24: Beobachtete relative Häufigkeit der Urteile, berechnet für den Vergleich Prüfer A mit Referenz
Dritter Schritt: Mit den Ergebnissen für die beobachteten relativen Häufigkeiten berechnet man die
erwarteten relativen Häufigkeit. In der Tabelle 25 sind die erwarteten relativen Häufigkeiten für den
Vergleich des Prüfers A mit der Referenzbewertung dargestellt.
A mit Referenz Urteil A: Teil schlecht = 1 Urteil A: Teil gut = 0 Summe
Referenz: Teil schlecht = 1 102
150×
100
150= 0.4533
102
150×
50
150= 0.2267 0.68
Referenz: Teil gut = 0 48
150×
100
150= 0.2133
48
150×
50
150= 0.1067 0.32
Summe 0.6667 0.3333 1 Tabelle 25: Erwartete relative Häufigkeit der Urteile, berechnet für den Vergleich Prüfer A mit Referenz
Vierter Schritt: Mit den beiden Hauptdiagonalelementen der beobachteten relativen Häufigkeit in
der Tabelle 24 berechnet man den Anteilswert Po = beobachteter Anteil übereinstimmender
Prüferurteile.
𝑃𝑜 = 0.6467 + 0.3 = 0.9467
Formel 17: Beobachteter Anteil übereinstimmender Entscheidungen, berechnet für den Vergleich Prüfer A mit Referenz
Analog wird mit den Hauptdiagonalelementen der erwarteten relativen Häufigkeit in Tabelle 25 der
Anteilswert Pe = erwarteter Anteil der übereinstimmender Prüferurteile berechnet.
𝑃𝑒 = 0.4533 + 0.1067 = 0.56
Formel 18: Erwarteter Anteil übereinstimmender Entscheidungen, berechnet für den Vergleich Prüfer A mit Referenz
Verfahren 7: Berechnungsoptionen für Cohens Kappa 23/23
Version: A © 2015 Q-DAS GmbH & Co. KG, 69469 Weinheim Cohens_Kappa_solara.docx
Fünfter Schritt: Der Kappa-Index nach Cohen für den Vergleich des Prüfers A mit der Referenz wird
mit den Anteilswerten aus dem vierten Schritt berechnet.
𝜅𝑐(𝐴) =𝑃𝑜 − 𝑃𝑒
1 − 𝑃𝑒=
0.9467 − 0.56
1 − 0.56≈ 0.879
Formel 19: Kappa-Index nach Cohen, berechnet für den Vergleich Prüfer A mit Referenz
Hinweis: Analog gemäß dem Fünf-Schritt-Schema müssen die Indizes für die Prüfer A und B
berechnet werden.
Abbildung 19: Cohen's Kappa – AIAG MSA Extended, mit Referenzwerte-Vergleich
Zu ergänzen ist noch, dass der Kappa-Wert für alle Prüfer der arithmetische Mittelwert der drei
einzelnen Kappa-Werte der Prüfer A bis C ist.