Heterogenität untersuchen
cochrane training
Schritte eines Cochrane Reviews
1. Fragestellung festlegen 2. Auswahlkriterien definieren3. Methoden definieren4. Studien suchen5. Auswahlkriterien anwenden 6. Daten extrahieren7. Bias-Risikos der Studien bewerten8. Ergebnisse analysieren und darstellen9. Ergebnisse interpretieren und Schlussfolgerungen ziehen10. Review optimieren und aktualisieren
cochrane training
Überblick
• Was ist Heterogenität?• Annahmen über Heterogenität• Heterogenität erkennen • Heterogenität untersuchen
Siehe Kapitel 9 im Handbuch
cochrane training
Was ist Heterogenität?
Unterschiede in Studienergebnissen
• Drei Haupttypen:• Klinisch• Methodisch• Statistisch
cochrane training
Klinische Vielfalt
• TeilnehmerInnen• z.B. (Gesundheits-)Problem, Alter, Geschlecht, Ort,
Studieneinschlusskriterien• Interventionen
• Intensität/Dosis, Dauer, Verabreichungsmethode, zusätzliche Komponenten, Erfahrung der ÄrztInnen, Kontrolle (Placebo, keine, Standardtherapie)
• Endpunkte• Dauer der Nachbeobachtung, Messmethoden, Definition
eines Ereignisses, Schwellenwert (cut-off)
cochrane training
Methodische Vielfalt
• Design• z.B. randomisiert vs nicht-randomisiert, Crossover- vs
parallel, Einzel- vs Cluster- Randomisierung• Durchführung
• z.B. Biasrisiko (Verdeckte Zuteilung, Verblindung, etc.), Vorgehen bei der Analyse
cochrane training
Statistische Heterogenität• Es wird immer eine zufällige Variabilität bei den Ergebnissen
der verschiedenen Studien geben (Stichprobe) • Heterogenität ist die Variabilität in den beobachteten Effekte der
verschiedenen Studien • Sie wird verursacht durch die klinische und methodische Vielfalt • Sie steht im Gegensatz zur Homogenität • Studienergebnisse sind unterschiedlicher als wenn die zufällige
Variabilität der einzige Grund für die Unterschiede in den beobachteten Interventionseffekten ist
cochrane training
Überblick
• Was ist Heterogenität?• Annahmen über Heterogenität• Heterogenität erkennen • Heterogenität untersuchen
cochrane training
Modell mit festem Effekt vs Modell mit zufälligen Effekten
• Fixed-effect-model vs. random-effect-model• Beide Modelle für Meta Analysen in RevMan verfügbar• Machen unterschiedliche Annahmen über Heterogenität• Geben Sie Ihre geplante Herangehensweise im Protokoll
an
cochrane training
Modell mit festem Effekt
• Nimmt an, dass alle Studien den gleichen Behandlungseffekt messen
• Schätzt diesen einen Effekt• Ohne Zufallsfehler
(Stichprobe) wären alle Ergebnisse identisch
wahrer Effekt
Zufallsfehler (Stichprobe)
Studienergebniss
Source: Julian Higgins
cochrane training
Modell mit zufälligen Effekten
Zufallsfehler
Studien-spezifischer Effekt
Mittelwert der wahren Effekte
• Nimmt an, dass der Behandlungseffekt zwischen Studien variiert
• Schätzt den Mittelwert der Verteilung der Effekte
• Gewichtet sowohl für Intra- als auch für Interstudienvarianz (tau2, 2)
Source: Julian Higgins
cochrane training
Wo ist der Unterschied?• Meta-Analysen (MA) mit random-effects-model sind:
• Fast identisch mit MA mit fixed-effect-model, wenn keine Heterogenität vorhanden ist
• Ähnlich zu MA mit fixed-effect-model aber mit breiterem Konfidenzintervall , wenn Heterogenität, wie vom random-effects model angenommen, vorhanden ist
• Anders als MA mit fixed-effect-model, wenn die Ergebnisse der Einzelstudie von der Studiengröße abhängen
• Random-effects-model gibt kleineren Studien mehr Gewicht
22 tauSE
1
VV
1G
chenarianzzwisrnhalbarianzinneewicht
cochrane training
Keine Heterogenität
Adapted from Ohlsson A, Aher SM. Early erythropoietin for preventing red blood cell transfusion in preterm and/or low birth weight infants. Cochrane Database of Systematic Reviews 2006, Issue 3.
Fixed Random
cochrane training
Etwas Heterogenität
Adapted from Adams CE, Awad G, Rathbone J, Thornley B. Chlorpromazine versus placebo for schizophrenia. Cochrane Database of Systematic Reviews 2007, Issue 2.
Fixed Random
cochrane trainingAdapted from Li J, Zhang Q, Zhang M, Egger M. Intravenous magnesium for acute myocardial infarction. Cochrane Database of Systematic Reviews 2007, Issue 2.
Small study effectsFixed Random
cochrane training
Welches Modell wählen?
• Planen sie die Herangehensweise in der Protokollphase• Erwarten Sie, dass Ihre Ergebnisse sehr unterschiedlich
sein werden?• Berücksichtigen Sie die zugrundeliegenden Annahmen
der Modelle• Fixed-effect (fester Effekt)
• Könnte unrealistisch sein – ignoriert Heterogenität• Random-effects (zufällige Effekte)
• Berücksichtigt Heterogenität• Die Verteilung der Studieneffekte wird möglicherweise falsch
eingeschätzt, wenn Bias, wenige Studien oder wenige Ereignisse vorhanden sind
cochrane training
Überblick
• Was ist Heterogenität?• Annahmen über Heterogenität• Heterogenität erkennen • Heterogenität untersuchen
cochrane training
Heterogenität erkennen
• Beurteilung der Forest plots• Chi-Quadrat (2) Test (Q Test)• I2 Statistik, um die Heterogenität zu quantifizieren
cochrane training
Beurteilung der Forest plotsForest plot A Forest plot B
cochrane training
Der Chi-Quadrat (2) Test
• Testet die Null-Hypothese der Homogenität• Geringe Power bei wenigen Studien• Stellt gegebenenfalls klinisch irrelevante Unterschiede bei
vielen Studien fest• Einschränkung auf Heterogenität (ja/nein) ist nicht hilfreich,
wenn Heterogenität ohnehin vorhanden ist• Wird automatisch von RevMan berechnet
cochrane training
Die I2 Statistik
• I2 Statistik beschreibt den Prozentsatz der Variabilität, der auf Heterogenität und nicht auf Zufall zurückzuführen ist (0% bis 100%)• Niedrige Werte zeigen keine oder wenig Heterogenität an• Hohe Werte zeigen viel Heterogenität an
• Wird automatisch von RevMan berechnet• Seien Sie vorsichtig bei der Interpretation
cochrane training
Die I2 Statistik
chi2 = 29.55 df = 13 P = 0.0055
chi2 = 6.14 df = 3 P = 0.11
I2 = 56%
I2 = 51%
Source: Julian Higgins
cochrane training
Was tun bei Heterogenität• Überprüfen Sie, ob die Daten korrekt sind• Berücksichtigen Sie die Heterogenität bei Ihrer Interpretation
• insbesondere wenn die Richtung des Effekte variiert• Wenn die Heterogenität sehr hoch ist
• Interpretieren Sie Ergebnisse des fixed-effect-models mit Vorsicht• Erwägen Sie Sensitivitätsanalysen – würde Wahl des random-effects-
model einen wesentlichen Unterschied machen?• Überlegen Sie, ob es sinnvoll ist, eine Metaanalyse zu machen
• Gepooltes Ergebnis kann in der Praxis bedeutungslos sein• Berücksichtigen Sie die klinische und methodische Vergleichbarkeit
der Studien• Sie sollten nicht
• das Effektmaß oder das Analysemodell zu ändern• Outlier-Studien auszuschließen
• Untersuchen Sie Gründe für die Heterogenität
cochrane training
Überblick
• Was ist Heterogenität?• Annahmen über Heterogenität• Heterogenität erkennen • Heterogenität untersuchen
cochrane training
Heterogenität untersuchen
• Welche Faktoren scheinen den Effekt zu beeinflussen? • Klinische Vielfalt (Population, Intervention, Endpunkte)• Methodische Vielfalt (Studiendesign, Biasrisiko)
• Planen Sie ihre Strategie bereits im Protokoll• Identifizieren Sie eine begrentzte Anzahl relevanter
Faktoren, die zu untersuchen sind• Gibt es eine wissenschaftliche Begründung für jeden
gewählten Faktor?• Erwähnen Sie jegliche post-hoc Untersuchungen
cochrane training
Zwei Ansätze
• Subgruppenanalyse• Studien nach vorab spezifizierten Faktoren gruppieren • Betrachten Sie Unterschiede in den Ergebnissen und in der
Heterogenität• Meta-Regression
• Untersuchen Sie die Interaktion mit kategoriellen und kontinuierlichen Variablen
• Nicht verfügbar in RevMan
cochrane training
Bei Subgruppenanalysen zu beachten• Ergebnisse sind beobachtend und nicht randomisiert• Vorsicht bei multiplen und post-hoc Vergleichen• Bei wenigen eingeschlossenen Studien nicht sinnvoll• Bei aggregierten Studiendaten ggf. nicht möglich• Achten Sie auf Confounder• Folgen Sie Ihrem Protokoll • Bewerten Sie einzelne Ergebnisse nicht über
Ergebnisse sind selten definitiv
cochrane training
Interpretieren von Subgruppenanalysen• Betrachten Sie die Ergebnisse und die Heterogenität innerhalb
der Subgruppen• Sind die Subgruppen tatsächlich unterschiedlich?
• wenn es nur 2 Subgruppen gibt – überlappen sich die Konfidenzintervalle?
• statistische Tests für Subgruppenunterschiede• Vertrauenswürdiger sind:
• Vorab festgelegte Analysen• Subgruppenanalysen innerhalb von Studien• Der Effekt ist klinisch plausibel und unterstützt durch indirekte
Evidenz
cochrane training
Subgruppen nach TeilnehmerInnen
Based on Stead LF, Perera R, Bullen C, Mant D, Lancaster T. Nicotine replacement therapy for smoking cessation. Cochrane Database of Systematic Reviews 2008, Issue 1. Art. No.: CD000146. DOI: 10.1002/14651858.CD000146.pub3.
cochrane training
Subgruppen nach Interventionen
Base
d on
Lin
de K
, Ber
ner M
M, K
risto
n L.
St J
ohn'
s w
ort f
or m
ajor
dep
ress
ion.
Coc
hran
e D
atab
ase
of
Syst
emati
c Re
view
s 20
08, I
ssue
4. A
rt. N
o.: C
D00
0448
. DO
I: 10
.100
2/14
6518
58.C
D00
0448
.pub
3.
cochrane training
Sensitivitätsanalyse• Nicht das gleiche wie Subgruppenanalyse• Testet den Einfluss von Entscheidungen, welche während eines
Rewievs gemacht wurden• Einschluss von Studien in den Rewiev• Definition von niedrigem Biasrisiko• Auswahl des Effektmaßes• Annahmen über fehlende Daten• Cut-off-Werte für dichotomisierte Ordinal-Skalen• Korrelationskoeffizienten
• Wiederholen der Analysen mit einer alternativen Methode oder Annahme• Präsentieren Sie in der Regel nicht mehrere Forest Plots – sondern
nur die Ergebnisse• Wenn der Unterschied minimal ist, können sie den Ergebnissen
mehr Vertrauen schenken• Wenn der Unterschied groß ist, interpretieren Sie die Ergebnisse mit Vorsicht
cochrane training
Was gehört ins Protokoll?
• Bewertung der Heterogenität• Bewertung der Vergleichbarkeit der Studien vor der
Metaanalyse• Visuelle Beurteilung der Forest Plots und Verwendung von
Statistiken wie I2
• Datensynthese• Fixed-effect oder random-effects-model (oder beide)
• Subgruppenanalyse und Untersuchung der Heterogenität• Geplante Subgruppenanalysen• Weitere Strategien zur Untersuchung der Heterogenität• Sensitivitäsanalyse
cochrane training
cochrane training
Fazit
• Statistische Heterogenität ist das Vorhandensein von Unterschieden in den Interventionseffekten, die größer sind als erwartet aufgrund der zufälligen Variabilität
• Sie kann durch klinische und methodische Vielfalt verursacht werden
• Fixed-effect und random-effects-models machen unterschiedliche Annahmen über die Heterogenität
• Untersuchen sie jegliche Heterogenität, die sie finden
cochrane training
Quellen• Deeks JJ, Higgins JPT, Altman DG (editors). Chapter 9: Analysing data and
undertaking meta-analyses. In: Higgins JPT, Green S (editors). Cochrane Handbook for Systematic Reviews of Interventions Version 5.1.0 [updated March 2011]. The Cochrane Collaboration, 2011. Available from www.cochrane-handbook.org.
Danksagung• Zusammengestellt von Miranda Cumpston• Basierend auf Unterlagen von Georgia Salanti, Julian Higgins, Steff Lewis, der Cochrane Statistical
Methods Group, des Australasian Cochrane Centre und des Dutch Cochrane Centre• Englische Version freigegeben vom Cochrane Methods Board • Übersetzt in Kooperation zwischen dem Deutschen Cochrane Zentrum (Jörg
Meerpohl, Laura Cabrera, Patrick Oeller), der Österreichischen Cochrane Zweigstelle (BarbaraNußbaumer, Peter Mahlknecht, Isolde Sommer, Jörg Wipplinger) undCochrane Schweiz (Erik von Elm, Theresa Bengough)