Meta-analisiGiorgia De BerardisLab. Epidemiologia Clinica del Diabete e delle Malattia Croniche

La meta-analisi: Perché?

L’efficacia di molti trattamenti viene valutata da più trial cosa che ne rende indispensabile un resoconto sintetico.

Sono, insieme ai trial ben disegnati, le prove più valide dell’efficacia (o della non efficacia) dei trattamenti.

Nei casi di incertezza nella valutazione di efficacia di un trattamento

Quando i risultati dei singoli studi non sono univoci

Quando i singoli studi sono effettuati su un campione di pazienti numericamente scarso (poco affidabili)

La meta-analisi: quando?

META-ANALISIMetodologia statistica necessaria a

combinare in modo esaustivo, obiettivo, quantitativo e sistematico i risultati di

studi diversi condotti su argomenti analoghi

La meta-analisi: definizione

La combinazione dei dati diminuisce l’imprecisione dei risultati dei singoli studi

5

Systematic reviews

Meta-analyses

Meta-analisi

Ricerche scientifiche vere e proprie con un protocollo che definisce un preciso obiettivo e descrive fonti e metodi utilizzati per• ricercare, • selezionare• sintetizzare quantitativamente gli studi primari su un determinato argomento minimizzando i numerosi bias

Revisioni sistematiche

Quesito

Fonti di informazionee loro ricerca

Selezione

Valutazione qualitàdegli studi

Sintesi

Inferenze

Di solito su problematiche ampie

Generalmente non pecificate, potenzialmente soggette a bias

Generalmente non pecificata, potenzialmente soggetta a bias

Variabile

Di solito sintesi qualitativa

A volte evidence based

Di solito focalizzato su uno specifico problema

Ricerca esaustiva, utilizzando strategie di ricerca esplicite

Basata su criteri specifici, uniformemente applicati

Valutazione critica rigorosa

Sintesi quantitativa

Abitualmente evidence based

Ann Intern Med 1997; 126:376-380

Revisionitradizionali

Revisionisistematiche

Network internazionale che ha l’obiettivo di:• preparare• aggiornare• disseminare

revisioni sistematiche degli studi controllati sugli effetti dell’assistenza sanitaria e, laddove non sono disponibili studi clinici controllati, revisioni sistematiche delle evidenze comunque disponibili

The Cochrane Collaboration

www.cochrane.orgwww.thecochranelibrary.comwww.cochrane

Database Total Records

The Cochrane Database of Systematic Reviews (Cochrane Reviews)

6909

Database of Abstracts of Reviews of Effects (DARE) 15950

The Cochrane Central Register of Controlled Trials (CENTRAL)

661393

The Cochrane Methodology Register (Methodology Register)

14985

Health Technology Assessment Database (HTA) 10532

NHS Economic Evaluation Database (NHS EED) 11441

About The Cochrane 80

Il lavoro della Cochrane Collaboration viene distribuito con la Cochrane Library che contiene diversi database:

The Cochrane Collaboration

1. Formulazione del quesito clinico2. Ricerca degli studi relativi al quesito clinico3. Selezione sistematica in base a specifici criteri di

inclusione degli studi rilevanti eleggibili4. Estrazione dei dati5. Valutazione della qualità metodologica degli studi6. Sintesi quantitativa (meta-analisi) o qualitativa7. Sensitivity analysis e subgroup analysis, se

appropriati8. Report della revisione

Le fasi di una revisione sistematica

• Obiettivo dello studio▫Per validare i risultati in un’ampia popolazione▫Per dare il via a nuovi studi

• Porre il quesito sia in termini biologici, sia clinici specificando con definizioni operative▫Popolazione▫ Intervento/Esposizione▫Confronti▫Outcomes (sia in termini di benefici sia di rischi)▫Tipo di studio

Formulazione del quesito

•Ricerca mediante l’aiuto di un esperto in ricerche bibliografiche

•Specifica delle restrizioni della lingua •Possibili fonti includono:

▫ Database bibliografici (PubMed, EMBASE, CENTRAL, …)▫ Revisioni▫ Abstracts, Atti di congressi▫ Registri dei trial▫ Industrie▫ Ricerca manuale▫ …

Ricerca degli studi

• Gli studi eleggibili identificati sono selezionati in base ai criteri di inclusione ed esclusione predefiniti

• I dati necessari all’analisi sono estratti da più revisori mediante l’utilizzo di form predeterminati e confrontati

• La qualità metodologica degli studi viene valutata e discussa tra i revisori

• Si possono applicare strumenti di valutazione pubblicati

• Criteri elaborati ed esplicitati dai revisori

Valutazione della qualità

Selezione ed estrazione degli studi

La qualità dei trials

Popolazione bersaglio

Assegnazione del trattamento

Gruppo sperimentale Gruppo di controllo

Non esposto all’interventoEsposto all’intervento

Follow up Follow up

RisultatoRisultato

Selection bias

Performance bias

Attrition bias

Detection bias

Riduzione del selection bias:•Randomizzazione•Mascheramento della sequenza di

randomizzazione

Riduzione del performance bias: •Blinding del paziente e del medico

La qualità dei trials

Riduzione dell’attrition bias:• Gestione dei dropout: adeguata se gli studi forniscono una

descrizione completa di tutti i pazienti che escono dallo studio e se i dati sono stati analizzati secondo il metodo dell’intention-to-treat (ITT)

• Entità dei dropout: una perdita al follow-up minore del 15% è considerata adeguata

• Dropout selettivo: una differenza nel tasso di dropout tra i gruppi principali di trattamento minore del 10% è ritenuta adeguata

Riduzione del detection bias: • Blinding sulla valutazione dell’outcome.

La qualità dei trials

Does quality of reports of randomised trials affect estimates of intervention efficacy reported in meta-analyses?D. Moher, B. Pam, A. Jones et al Lancet 1998; 352:609-613.

Evaluation of 11 meta-analyses involving 127 RCTs

Main findings

Low-quality trials , compared with high-quality trials, were associated with an increased estimate of benefit of 34%.Trials that used inadequate allocation concealment, compared with those that used adequate methods, were also associated with a 37% increased estimate of benefit.The average treatment benefit was 39% for all trials, 52% for low-quality trials, and 29% for high-quality trials.

La qualità dei trials

KF Schultz, I Chalmers, RJ Hayes, DG Altman JAMA 1995; 273:408-412.

Evaluation of 33 meta-analyses involving 250 RCTs

Main findings

Odds ratios were exaggerated by 41% for trials that used inadequate allocation concealment, and by 30% for unclearly concealed trials.Trials that were not double-blinded also yielded larger estimate effects, with odds ratios being exaggerated by 17%.

La qualità dei trials

Empirical evidence of bias. Dimensions of methodological quality associated with estimates of treatment effects in controlled trials

Come si utilizzano i dati dei vari studi in una meta-analisi?

I risultati dei vari studi vengono combinati in modo quantitativo e pesato

Combinazione quantitativa non equivale a somma aritmetica;

I risultati osservati nei pazienti inclusi in uno studio non vengono mai sommati con quelli di un altro studio;

L’effetto del trattamento viene misurato all’interno dei singoli studi e “impiegato” in funzione della precisione (o meglio della variabilità) dell’effetto osservato, espresso come funzione inversa del numero di pazienti studiati.Si attribuisce ai diversi studi un peso differente a seconda della numerosità del campione studiato. Più è grande uno studio e più esso influenzerà il risultato globale della meta-analisi.

52/97 69/101 -11.3 27.6

693/927 720/915 -35.0 315.6

0.0 0.5 1.0 1.5 2.0

Treatment better Treatment worse

Deaths/Patients

Treatment Control O-Evariance

O-E

Stima dell’effetto I.C. 95%

Stima cumulativa

Forest plot

Tamoxifen for early breast cancer: an overview of the randomised trials

Lancet 1998; 351:1451-67

Outcome

Dicotomico Continuo

OddsRatio(OR)

RelativeRisk(RR)

RiskDifference

(RD)

MeanDifference

(MD)

StandardizedMean Difference

(SMD)

Misure

Quando usare MD o SMD

Mean Difference• Quando gli studi hanno outcome con misure

confrontabili (es. stessa scala)

• Una meta-analisi che usa le MD è conosciuta come weighted mean difference (WMD)

Standardized Mean Difference• Quando gli studi utilizzano outcome con misure diverse

(es. scale differenti)

• Converte le diverse scale in una scala comune: numero di deviazioni standard

Misure

L’eterogeneità si verifica quando c’è variabilità tra gli studi inclusi.

Può essere dovuta a diversi fattori:

Eterogeneità

• Caratteristiche della popolazione

• Disegno dello studio (tipo di disegno, procedure di selezione, fonti di informazioni, modalità di raccolta dati)

• Metodi statistici differenti, e differente utilizzo delle variabili di aggiustamento (se rilevante)

CLINICA

METODOLOGICA

STATISTICA

In presenza di eterogeneità potrebbe non essere appropriato combinare i risultati.

Per verificare la presenza di eterogeneità è necessario esaminare statisticamente il grado di similitudine degli outcome dei diversi studi. Il test misura se le differenze tra i risultati dei singoli studi sono più grandi di quelli che ci si aspetterebbe se tutti gli studi avessero misurato lo stesso effetto e se le differenze osservate fossero dovute solamente al caso.

Più è significativo il test di eterogeneità, minore è la probabilità che le differenze osservate siano dovute solamente al caso, indicando che altri fattori (per esempio il disegno dello studio, i pazienti, l’intervento o l’esito) siano responsabili delle differenze, negli effetti del trattamento, tra gli studi.

Omogeneità

Eterogeneità

Fixed effects model

Random effects model

Eterogeneità

Fixed effects model

Modello che si basa sull’assunzione che ci sia omogeneità di effetto tra gli studi (le differenze osservate tra gli studi sono dovute al caso).

Random effects model

Modello che tiene in considerazione della eterogeneità tra gli studi. Assume che ciascuno studio abbia una propria stima dell’effetto e che ci sia una distribuzione casuale delle stime dell’effetto dei diversi studi intorno al valore centrale.

Eterogeneità

• chi quadro• p value: la differenza tra le popolazioni di

riferimento è reale o casuale? Se p > 0,05 non c’è eterogeneità (differenza casuale), se < 0,05 c’è eterogeneità (differenza reale)

• Inconsistenza: I² descrive la percentuale della variabilità dell’effetto della stima che è riferibile alla eterogeneità piuttosto che al caso (variabilità campionaria). • I2 <25% bassa eterogeneità• I2 <50% eterogeneità moderata• I2 >50% elevata eterogeneità

(Higgins JPT et al. BMJ 2003;327:557-60)

Test statistici di eterogeneità

Eterogeneità non presente

Eterogeneità presente

12

Q=0.94; P=0.92; I2=0%

Q=13.21; P=0.02; I2=62.2%

Eterogeneità non presente

Eterogeneità presente

De Berardis et al. BMJ 2009;339:b4531

1. Non effettuare la meta-analisi

2. Ignorare l’eterogeneità: usare i fixed effects model

· Difficoltà nell’interpretazione delle stime

3. Incorporare l’eterogeneità: usare i random effects model

4. Esplorare l’eterogeneità

Analisi di sottogruppi

Meta-regression

Stratificazione

Sensitivity analysis

Identificazione degli outliers

Come trattare l’eterogeneità

• Qualità degli studi

• Mancanza di tutte le informazioni necessarie nei singoli RCT

• Eterogeneità

• Publication bias

Limiti della meta-analisi

• Qualità degli studi

• Mancanza di tutte le informazioni necessarie nei singoli RCT

• Eterogeneità

• Publication bias

Limiti della meta-analisi

• Qualità degli studi

• Mancanza di tutte le informazioni necessarie nei singoli RCT

• Eterogeneità

• Publication bias

Limiti della meta-analisi

• Diversa probabilità di pubblicazione di risultati positivi rispetto a quelli negativi

• Determina la presenza di un bias (di solito un incremento nel RR) nelle medie stimate dei risultati

Identificazione mediante funnel-plot

Publication bias

Rischio relativo

0,1

10

100

1000

10000

100000

101A favore del trattamento A favore del controllo

N°

pazi

en

ti a

rru

ola

ti

Stima cumulativa dell’effetto

Funnel plot

Rischio relativo

0,1

10

100

1000

10000

100000

101A favore del trattamento A favore del controllo

N°

pazi

en

ti a

rru

ola

ti

Stima cumulativa dell’effetto

Funnel plot

Rischio relativo

MA dati letteratura

Dipende dalla qualità delle informazioni disponibili, dalla omogeneità negli end-points utilizzati, delle modalità di analisi dell’efficacia, ecc.

Possibilità di verificare e correggere i dati, di aggiungere nuove informazioni, di eseguire altre analisi, su sottogruppi diversi, ecc.

MA dati individuali

Accordo preliminare su disegno studio,popolazioni, end-points, analisi per sottogruppi, ecc.

MA prospettica

I diversi approcci alla meta-analisi

VantaggiConsente un riassunto quantitativo dell’evidenzascientifica

<

Minor peso delle valutazioni soggettive rispetto alle revisioni tradizionali

Aumento della potenza del risultato in caso di studi con campioni piccoli

Consentono analisi sui sottogruppi

Aumento della generalizzabilità mediante aumento del campione (purchè omogeneo)

Sono relativamente rapide e poco costose

Svantaggi

L’elevata numerosità delle meta-analisi fa sì che differenze anche modeste tra trattamento sperimentale e controlli raggiungano la significatività statistica

La minor probabilità di pubblicazione di trials con risultati negativi amplifica il peso dei trial con esito positivo

La qualità delle meta-analisi dipende dalla qualità degli studi

Una meta-analisi può individuare ma non correggere bias di pubblicazione (bias di selezione) o errori metodologici di conduzione degli studi (bias di informazione/selezione)

Richiedono lo stesso rigore metodologico degli studi “primari” e possono essere egualmente affette da errori sistematici

Quando non è opportuna

Se la revisione della letteratura non ha eliminato il pubblication bias.

Se gli studi sono di scarsa qualità metodologica

Se gli studi sono clinicamente molto diversi (interventi o outcome diversi)

PRISMA: Preferred Reporting Items for Systematic reviews and Meta-Analyses