grade brit 19 03 14...formuler anbefaling 25 23.01.13 identificering af evidens til nkr 26 23.01.13...

15
1 23.01.13 GRADE Grading of Recommendations Assessment, Development and Evaluation 19. marts 2014, Britta Tendal [email protected] 1 23.01.13 Dagens program Introduktion til GRADE Øvelse – PICO Evidensvurdering Øvelser – evidensvurdering Fra evidens til anbefaling Øvelse - anbefaling 2 23.01.13 Hvad er en national klinisk retningslinje? Sundhedsstyrelsens nationale kliniske retningslinjer er systematisk udarbejdede udsagn, der kan bruges som beslutningsstøtte af fagpersoner, når de skal træffe beslutning om passende og korrekt sundhedsfaglig ydelse i specifikke kliniske situationer, samt af patienter, som ønsker at få større indsigt i forløbet. 3 23.01.13 WHO Guidelines are recommendations intended to assist providers and recipients of health care and other stakeholders to make informed decisions. Recommendations may relate to clinical interventions, public health activities, or government policies 4 23.01.13 Institute of Medicine Report on Trustworthy guidelines Be based on a systematic review of the existing evidence; Be developed by a knowledgeable, multidisciplinary panel of experts and representatives from key affected groups; Consider important patient subgroups and patient preferences as appropriate; Be based on an explicit and transparent process that minimizes distortions, biases, and conflicts of interest; Provide a clear explanation of the logical relationships between alternative care options and health outcomes, and provide ratings of both the quality of evidence and the strength of recommendations; and Be reconsidered and revised as appropriate when important new evidence warrants modifications of recommendations. 23.01.13 NKR 6

Upload: others

Post on 07-Aug-2020

2 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: GRADE BRIT 19 03 14...Formuler anbefaling 25 23.01.13 Identificering af evidens til NKR 26 23.01.13 Identificering af evidens til NKR Systematisk gennemgang NKR –pragmatisk Eksisterende

1

23.01.13

GRADEGrading of Recommendations Assessment,

Development and Evaluation

19. marts 2014, Britta Tendal

[email protected] 123.01.13

Dagens program

� Introduktion til GRADE� Øvelse – PICO � Evidensvurdering� Øvelser – evidensvurdering� Fra evidens til anbefaling� Øvelse - anbefaling

2

23.01.13

Hvad er en national klinisk retningslinje?

Sundhedsstyrelsens nationale kliniske retningslinjer er systematisk udarbejdede udsagn, der kan bruges som beslutningsstøtte af fagpersoner, når de skal træffe beslutning om passende og korrekt sundhedsfaglig ydelse i specifikke kliniske situationer, samt af patienter, som ønsker at få større indsigt i forløbet.

323.01.13

WHO

Guidelines are recommendations intended to assist providers and recipients of health care and other stakeholders to make informed decisions. Recommendations may relate to clinical interventions, public health activities, or government policies

4

23.01.13

Institute of Medicine Report on Trustworthy guidelines

� Be based on a systematic review of the existing evidence;

� Be developed by a knowledgeable, multidisciplinary panel of experts and representatives from key affected groups;

� Consider important patient subgroups and patient preferences as appropriate;

� Be based on an explicit and transparent process that minimizes distortions, biases, and conflicts of interest;

� Provide a clear explanation of the logical relationships between alternative care options and health outcomes, and provide ratings of both the quality of evidence and the strength of recommendations; and

� Be reconsidered and revised as appropriate when important new evidence warrants modifications of recommendations.

23.01.13

NKR

6

Page 2: GRADE BRIT 19 03 14...Formuler anbefaling 25 23.01.13 Identificering af evidens til NKR 26 23.01.13 Identificering af evidens til NKR Systematisk gennemgang NKR –pragmatisk Eksisterende

2

23.01.13

GRADEGrading of Recommendations Assessment,

Development and Evaluation

� Et systematisk redskab til at:� Fokusere klinisk relevante problemstillinger

� Vurdere kvaliteten af sundhedsvidenskabelig evidens

� Transparens i processen fra evidens til anbefaling

� Klar adskillelse mellem kvaliteten af evidensen og styrken af anbefalingen

723.01.13

Over 70 organisationer tilslutter sig eller bruger GRADE

8

23.01.13

Evidence synthesis

Recommendation

PIC

O

Outcome

Outcome

Outcome

Outcome

Critical

Important

Critical

NotSummary of findings & estimate of effect

for each outcome

Grade overall

quality of evidence

across outcomes based on lowest quality

of critical outcomes

Randomization increases initial

quality

1. Risk of bias2. Inconsistency

3. Indirectness4. Imprecision

5. Publication

bias

Gra

de

d

ow

nG

rad

e

up 1. Large effect

2. Dose

response3. Opposing bias &

Confounders

Very low

Low

Moderate

High

Grade recommendations

• For or against (direction) ↓↑

• Strong or conditional/weak (strength)

By considering balance of:

� Quality of evidence

� Balance benefits/harms

� Values and preferences

Revise if necessary by considering:

� Resource use (cost)

Formulate Recommendations (↓↑ | ⊕…)

•“The panel recommends that ….should...” (↑↑ | ⊕…)•“The panel suggests that ….should...” (↑? | ⊕…)

•“The panel suggests to not ...” (↓? | ⊕…)•“The panel recommends to not...” (↓↓ | ⊕…)

Guideline

⊕⊕⊕⊕

⊕OOO

⊕⊕⊕O

⊕⊕OO

23.01.13

10

23.01.13

GRADE processen

Kliniske Spørgsmål (PICO)

Identificer evidens (Studier)

Generer estimater for hvert effektmål

Vurder kvaliteten af evidens for hver effektmål

Vurder den samlede evidens

Formuler anbefaling11

23.01.13

Fokuserede spørgsmål (PICO spørgsmål)

Spørgsmålene skal afspejle de vigtige problemstillinger, som man ønsker belystCa. 10 spørgsmål pr. NKR

Population: Hvilken population drejer det sig om?

Intervention: Hvilken intervention drejer det sig om?

comparison: Hvad er alternativet til interventionen, hvad sammenligner man med?

Outcome: Hvilket outcomes er relevante?

12

Page 3: GRADE BRIT 19 03 14...Formuler anbefaling 25 23.01.13 Identificering af evidens til NKR 26 23.01.13 Identificering af evidens til NKR Systematisk gennemgang NKR –pragmatisk Eksisterende

3

23.01.13

Hvilke patienter (P)

� Definition af sygdommen

� Definition af sygdommens sværhedsgrad

� Relevante demografiske faktorer (fx alder eller køn) eller risikogrupper

P: Hvilken population drejer det sig om?

1323.01.13

Hvilken intervention (I)

� Definition af interventionen/erne. � Pleje, kirurgi, medicinsk behandling, osv.

� Hvilke variationer fx:� Dosis, administrationsform o.l.� Mono-terapi, kombinations-behandling

� Skal alle variationer inkluderes?

� Skal beskrives detaljeret

I: Hvilken intervention drejer det sig om?

14

23.01.13

Hvilken intervention (I)

� Hvad er alternativerne til den undersøgte intervention? � Andre interventioner

� Placebo

� Ingen behandling

� Sædvanlig behandling

� Hvilke sammenligninger er relevante for retningslinjen?

C: Hvad er alternativet til interventionen, hvad sammenligner man med?

1523.01.13

Hvilke outcome? (O)

� Hvilke effektmål er relevante for at vurdere den undersøgte intervention?

� Relevante for beslutningstagere, klinikeren såvel som patienten

� Skadevirkninger bør altid inkluderes (bivirkninger)

� Fastlægge hvilke tidspunkter, der er relevante at se på

� Definer om det er kritisk eller vigtigt for beslutningsprocessen

O: Hvilket outcome er der tale om?

16

23.01.13

Spørgsmål Population Intervention Comparison Outcome

Oplys PICO nr.

og formuler

spørgsmålet i

en sætning

Definition af

sygdommen/tils

tanden og

patientmålgrupp

en med

relevante

demografiske

faktorer (f.eks.

alder eller køn).

Definition af

interventionen/erne

Hvilke variationer

(eksempelvis dosis,

administrationsform

o.l.) findes der af

interventionen? Skal

alle variationer

inkluderes?

Hvad er alternativerne

til den undersøgte

intervention? Hvilke

sammenligninger er

relevante for

retningslinjen?

Hvilke outcomes

(effektmål)

vurderes at være

relevante for at

vurdere effekten

af den undersøgte

intervention? Obs

skadevirkninger

PICO skema - interventioner

1723.01.13

18

Spørgsmål Population Index test(s) Reference

standard

Outcome

(effektmål)

Oplys PIRO nr.

og formuler

spørgsmålet i

en sætning

Definition af

sygdommen/

tilstanden og

patientmål-

gruppen.

Hvilken test(s)

ønsker man at

vurdere?

Hvad er

reference

standarden?

(Gold standard)

To niveauer:

1) Diagnostisk korrekthed

ex sensitivitet, specificitet,

raten af falsk positive,

raten af falsk negative,

PPV, NPV

2) Patient relevante

outcomes ex mortalitet,

livskvalitet.

Konsekvenser af FP (falsk

positive) og FN (falsk

negative)

PIRO skema – Diagnostiske test

Page 4: GRADE BRIT 19 03 14...Formuler anbefaling 25 23.01.13 Identificering af evidens til NKR 26 23.01.13 Identificering af evidens til NKR Systematisk gennemgang NKR –pragmatisk Eksisterende

4

23.01.13

Hvilken rolle skal den nye test spille?

Bossuyt PM, Irwig L, Craig J, Glasziou P. Comparative accuracy: assessing

new tests against existing diagnostic pathways. BMJ. 2006;332:1089-92.

Add-on

Population

old test

new test

+

+

-

-

Population

new test

old test

+ -

-

+

TriageReplacement

Population

new test

+ -

old test

-+

1923.01.13

Diagnostic RCTs with one index test

Target population

New test New test +

reference standard

Patient

outcomes

randomize

Management

Management Test accuracy

outcomes

Patient

outcomes

20

Patients with early stage breast cancer

SLNB SLNB

+ ALND

Patient

outcomes

randomize

Management

Management Test accuracy

outcomes

Patient

outcomes

23.01.13

Diagnostic RCTs with multiple index tests

Patients with lung cancer symptoms

CNB FNAB

Patient

outcomes

Patient

outcomes

randomize

Test accuracy

outcomes

Test accuracy

outcomes

Management Management

Histological

confirmation or

clinical follow-up

Histological

confirmation or

clinical follow-up

21

Target population

Index test 1 Index test 2

Patient

outcomes

Patient

outcomes

randomize

Test accuracy

outcomes

Test accuracy

outcomes

Management Management

Reference

standard

Reference

standard

23.01.13

Hvilke outcome? (O)

� Bør man bruge intensiv glykæmisk kontrol hos patienter med type 2 diabetes eller konventionel glykæmisk kontrol?

Eksempel på PICO spørgsmål

22

23.01.13

Hvilke outcome? (O)Eksempel på PICO skema

Population

(population)

Intervention Comparison

(sammenligning)

Outcome

(effektmål)

Personer med type 2 diabetes

Intensiv glykæmisk kontrol

Her bør interventionen uddybes

Konventionel glykæmisk kontrol

Her bør kontrol gruppen uddybes

Kritiske:Mortalitet

Vigtige:Livskvalitet

Tidspunkter:5 års follow-up

2323.01.13

Hvilke outcome? (O)

Parenteral antikoagulationsbehandling til patienter med cancer, der ikke har indikation for terapeutisk eller profylaktisk antikoagulationsbehandling.

Øvelse – PICO og outcomes

24

Page 5: GRADE BRIT 19 03 14...Formuler anbefaling 25 23.01.13 Identificering af evidens til NKR 26 23.01.13 Identificering af evidens til NKR Systematisk gennemgang NKR –pragmatisk Eksisterende

5

23.01.13

GRADE processen

Kliniske Spørgsmål (PICO)

Identificer evidens (Studier)

Generer estimater for hvert effektmål

Vurder kvaliteten af evidens for hver effektmål

Vurder den samlede evidens

Formuler anbefaling25

23.01.13

Identificering af evidens til NKR

26

23.01.13

Identificering af evidens til NKR

� Systematisk gennemgang

� NKR –pragmatisk

� Eksisterende guidelines

� Systematiske reviews

� Primær litteratur fx RCT’er og kohortestudier

2723.01.13

Eksisterende retningslinjer

•Søgning•Estimater•Evidensvurderinger•GRADE tabeller

Systematiske oversigtsartikler

•Søgning•Estimater•Evidensvurderinger•GRADE tabeller

Primærstudier•Estimater•Vurdering af risiko for bias

23.01.13

Evidens til NKR (Guidelines)

� Grundlaget bygger på en systematisk litteratur gennemgang

� NKR skal om muligt bygge på:

� Eksisterende guidelines

� Systematiske reviews

� Primær litteratur fx RCT’er og kohortestudier

2923.01.13

NKR

AGREEII

GRADE

Søgning Guidelines

Har anvendt GRADE

Høj kvalitet

Søgninger, estimater,

evidensvurderinger og GRADE tabeller

Lav kvalitet

Referencer

Har ikke anvendt GRADE

Høj kvalitet

Søgninger, estimater og evidens-

vurderinger

Lav kvalitet

Referencer

Evidens fra Guidelines

Page 6: GRADE BRIT 19 03 14...Formuler anbefaling 25 23.01.13 Identificering af evidens til NKR 26 23.01.13 Identificering af evidens til NKR Systematisk gennemgang NKR –pragmatisk Eksisterende

6

23.01.13

AGREE-II: Et værktøj til at vurdere guidelines

3123.01.13

AGREE-II (Appraisal of Guidelines REsearch and Evaluation)

� Et værktøj til at vurdere kvaliteten af kliniske

guidelines

� Udarbejdes online (www.agreetrust.org) af 2-4

arbejdsgruppemedlemmer inkl. fagkonsulent

� Koordineres af fagkonsulenten

� Fokuser på metodemæssige validitet

�Dyk ned i metode-referencer

�Dyk ned i tidligere versioner

� Detaljeret brugermanual (www.agreetrust.org)

32

23.01.13

Disposition

Består af 23 ”spørgsmål” fordelt på 6 hovedområder:

1. Afgrænsning og formål (emne 1-3)

2. Inddragelse af interessenter (emne 4-7)

3. Rigiditeten i udarbejdelsen (emne 8-14)

4. Klarhed og præsentation (emne 15-18)

5. Anvendelighed (emne 19-21)

6. Redaktionel uafhængighed (emne 22-23)

Opbygning af AGREE-II instrumentet

3323.01.13

34

7. Systematic methods were used to search for evidence. 8. The criteria for selecting the evidence are clearly described. 9. The strengths and limitations of the body of evidence are

clearly described. 10. The methods for formulating the recommendations are clearly

described. 11. The health benefits, side effects, and risks have been

considered in formulating the recommendations. 12. There is an explicit link between the recommendations and

the supporting evidence. 13. The guideline has been externally reviewed by experts prior

to its publication.14. A procedure for updating the guideline is provided.

AGREE II Domain 3. Rigour of development

23.01.13

35

7. Systematic methods were used to search for evidence. 8. The criteria for selecting the evidence are clearly described.

Kilde til supplerende referencer

Kan bruges så snart retningslinjen dækker relevante fokuserede spørgsmål

Kilde til søgninger

Kan bruges når nedenstående områder er tilfredsstillende dækket:

23.01.13

36

7. Systematic methods were used to search for evidence. 8. The criteria for selecting the evidence are clearly described. 9. The strengths and limitations of the body of evidence are

clearly described. 12. There is an explicit link between the recommendations and

the supporting evidence.

Kilde til evidensvurderinger

Kan bruges når nedenstående områder er tilfredsstillende dækket:

Page 7: GRADE BRIT 19 03 14...Formuler anbefaling 25 23.01.13 Identificering af evidens til NKR 26 23.01.13 Identificering af evidens til NKR Systematisk gennemgang NKR –pragmatisk Eksisterende

7

23.01.13

37

7. Systematic methods were used to search for evidence. 8. The criteria for selecting the evidence are clearly described. 9. The strengths and limitations of the body of evidence are

clearly described. 12. There is an explicit link between the recommendations and

the supporting evidence.

Kilde til estimater

Kan bruges hvis meta-analyser er udført og nedenstående områder er tilfredsstillende dækket:

23.01.13

Anvendelse af eksisterende guidelines i NKR

� Direkte brug i NKR:

� Besvarer PICO

� Anvender GRADE

� Høj kvalitet (AGREE-II)

� Opdateret

� Arbejdsgruppen

udarbejder anbefalinger

i henhold til danske

værdier og præferencer

Kliniske Spørgsmål (PICO)

Identificer evidens (Studier)

Generer estimater for hvert effektmål

Vurder kvaliteten af evidens for hver effektmål

Vurder den samlede evidens

Formuler anbefaling38

23.01.13

Anvendelse af eksisterende guidelines i NKR

� Indirekte brug i NKR:

� Omhandler PICO

� Anvender ikke GRADE

� Høj kvalitet

� Opdateret

� Evidens vurderes i henhold

til GRADE

� Arbejdsgruppen udarbejder

anbefalinger i henhold til

danske værdier og

præferencer

Kliniske Spørgsmål (PICO)

Identificer evidens (Studier)

Generer estimater for hvert effektmål

Vurder kvaliteten af evidens for hver effektmål

Vurder den samlede evidens

Formuler anbefaling39

23.01.13

Eksisterende retningslinjer

•Søgning•Estimater•Evidensvurderinger•GRADE tabeller

Systematiske oversigtsartikler

•Søgning•Estimater•Evidensvurderinger•GRADE tabeller

Primærstudier•Estimater•Vurdering af risiko for bias

23.01.13

Evidens til NKR (Systematiske Reviews)

� Grundlaget bygger på en systematisk litteratur gennemgang

� NKR skal om muligt bygge på:

� Eksisterende guidelines

� Systematiske reviews

� Primær litteratur fx RCT’er og kohortestudier

4123.01.13

NKR

AMSTAR

GRADE

Søgning Systematiske reviews

Har anvendt GRADE

Høj kvalitet

Søgninger, estimater,

evidensvurderinger og GRADE tabeller

Lav kvalitet

Referencer

Har ikke anvendt GRADE

Høj kvalitet

Søgninger, estimater og evidens-

vurderinger

Lav kvalitet

Referencer

Evidens fra Systematiske Review

Page 8: GRADE BRIT 19 03 14...Formuler anbefaling 25 23.01.13 Identificering af evidens til NKR 26 23.01.13 Identificering af evidens til NKR Systematisk gennemgang NKR –pragmatisk Eksisterende

8

23.01.13

Disposition

AMSTAR: Et værktøj til at vurdere systematiske reviews

4323.01.13

AMSTAR (A Measurement Tool to Assess Systematic Reviews)

� Et værktøj til at vurdere kvaliteten af systematiske reviews

� Fokuser på metodemæssige validitet

� Udarbejdes af 2-4 arbejdsgruppemedlemmer inkl. fagkonsulent

� Koordineres af fagkonsulenten

� Arbejdsgruppen undervises i AMSTAR (2. møde)

44

23.01.13

Anvendelse af eksisterende systematiske review i NKR

� Direkte brug i NKR:

� Besvarer PICO

� Anvender GRADE

� Høj kvalitet (AMSTAR)

� Opdateret

� Arbejdsgruppen

udarbejder anbefalinger

i henhold til danske

værdier og præferencer

Kliniske Spørgsmål (PICO)

Identificer evidens (Studier)

Generer estimater for hvert effektmål

Vurder kvaliteten af evidens for hver effektmål

Vurder den samlede evidens

Formuler anbefaling45

23.01.13

Anvendelse af eksisterende systematiske review i NKR

� Indirekte brug i NKR:

� Omhandler PICO

� Anvender ikke GRADE

� Høj kvalitet (AMSTAR)

� Opdateret

� Evidens vurderes i henhold

til GRADE

� Arbejdsgruppen udarbejder

anbefalinger i henhold til

danske værdier og

præferencer

Kliniske Spørgsmål (PICO)

Identificer evidens (Studier)

Generer estimater for hvert effektmål

Vurder kvaliteten af evidens for hver effektmål

Vurder den samlede evidens

Formuler anbefaling46

23.01.13

Evidens til NKR primær litteratur

� Grundlaget bygger på en systematisk litteratur gennemgang

� NKR skal om muligt bygge på:

� Eksisterende guidelines

� Systematiske reviews

� Primær litteratur fx RCT’er og kohortestudier

4723.01.13

Eksisterende retningslinjer

•Søgning•Estimater•Evidensvurderinger•GRADE tabeller

Systematiske oversigtsartikler

•Søgning•Estimater•Evidensvurderinger•GRADE tabeller

Primærstudier•Estimater•Vurdering af risiko for bias

Page 9: GRADE BRIT 19 03 14...Formuler anbefaling 25 23.01.13 Identificering af evidens til NKR 26 23.01.13 Identificering af evidens til NKR Systematisk gennemgang NKR –pragmatisk Eksisterende

9

23.01.13

Anvendelse af primær litteratur i NKR

� Brug i NKR:

� Omhandler PICO

� Opsummering af resultater

om muligt ved meta-

analyse

� Evidens vurderes i henhold

til GRADE

� Arbejdsgruppen udarbejder

anbefalinger i henhold til

danske værdier og

præferencer

Kliniske Spørgsmål (PICO)

Identificer evidens (Studier)

Generer estimater for hvert effektmål

Vurder kvaliteten af evidens for hver effektmål

Vurder den samlede evidens

Formuler anbefaling49

23.01.13

Vurder kvaliteten af evidens –GRADE tilgangen

� Et mål for, hvor meget man kan stole på det præsenterede estimat i forhold til at understøtte en anbefaling.

� Niveauer:

Høj

Moderat

Lav

Meget lav

50

23.01.13

Hvad betyder kvaliteten af evidensen?

• Høj: Vi er meget sikre på, at den sande effekt af

behandlingen er tæt på den estimerede effekt.

• Moderat: Vi er moderat sikre på den estimerede effekt. Den

sande effekt ligger sandsynligvis tæt på denne, men der er en

mulighed for at den er væsentligt anderledes.

• Lav: Vi har begrænset tiltro til den estimerede effekt. Den

sande effekt kan være væsentligt anderledes end den

estimerede effekt

• Meget lav: Vi har meget ringe tiltro til effekt estimatet. Den

sande effekt er sandsynligvis væsentligt anderledes end

effekt estimatet.51

23.01.13

Assessing Quality of Evidence by Outcome

23.01.13

Evidensvurdering -

effekten af interventioner

• RCTs starter som høj kvalitet

• Observationalle studier starter som lav kvalitet

23.01.13

De fem grunde til at nedgradere RCT-er

1. Study limitations: er der risiko for bias?

2. Inconsistency: er der betydende heterogenicitet ?

3. Indirectness: hvor direkte besvares spørgsmålet?

4. Imprecision: hvor præcist er det estimerede resultat?

5. Publication bias: er der tegn på det?

Page 10: GRADE BRIT 19 03 14...Formuler anbefaling 25 23.01.13 Identificering af evidens til NKR 26 23.01.13 Identificering af evidens til NKR Systematisk gennemgang NKR –pragmatisk Eksisterende

10

23.01.13

Lav risiko for bias ->høj intern validitet

Bestemmes af studiets design og af hvor godt studiet er udført.

Bias er systematiske fejl i en undersøgelse, der fører til over- eller underestimering af effekten

23.01.13

Risiko for bias

For RCTs:

• Selection bias

• Performance bias

• Detection bias

• Attrition bias

• Selective outcome reporting bias

• Other sources of bias

Methodological limitations

Inconsistency of results

Indirectness of evidence

Imprecision of results

Publication bias

23.01.13

Selection biasSystematiske baseline forskelle mellem grupperne

Random sequence generation

Allocation concealment

23.01.13

Performance biasSystematiske forskelle i behandlingen mellem grupperne ud over interventionen

Blinding af deltagere og personale

23.01.13

Detection biasSystematiske forskelle i hvorledes effekter måles

Blinding af dem, der måler effekterne

23.01.13

Attrition biasSystematiske forskelle i frafaldet

Klinisk relevant indvirkning?

Page 11: GRADE BRIT 19 03 14...Formuler anbefaling 25 23.01.13 Identificering af evidens til NKR 26 23.01.13 Identificering af evidens til NKR Systematisk gennemgang NKR –pragmatisk Eksisterende

11

23.01.13

Selective outcome reportingSystematiske forskelle mellem rapporterede og ikke rapporterede resultater

23.01.13

• Judgment

– variation in size of effect

– overlap in confidence intervals

– statistical significance of heterogeneity

– I2 (or τ2)

• Look for explanation for inconsistency

– population, intervention, comparator, outcome,

methods

Methodological limitations

Inconsistency of results

Indirectness of evidence

Imprecision of results

Publication bias

23.01.13

63

Heterogeneity

Neurological or vascular complications or death within 30 days of endovascular treatment

(stent, balloon angioplasty) vs. surgical carotid endarterectomy (CEA)

23.01.13

• Indirect comparisons

– Interested in head-to-head comparison

– Drug A versus drug B – but what if not studied?

• Differences in PICO

Methodological limitations

Inconsistency of results

Indirectness of evidence

Imprecision of results

Publication bias

23.01.13

Methodological limitations

Inconsistency of results

Indirectness of evidence

Imprecision of results

Publication bias

Any stroke (or death) within 30 days of endovascular treatment (stent, balloon angioplasty)

vs. surgical carotid endarterectomy (CEA)

23.01.13

Methodological limitations

Inconsistency of results

Indirectness of evidence

Imprecision of results

Publication bias

All phase II and III licensing trials for

antidepressant drugs between 1987

and 2004.

74 trials – 23 were not published.

Standardized mean difference:

Unpublished: 0.15

FDA data: 0.33

Journals: 0.47

Turner EH et al. N Engl J Med 2008; 358:252-260

Page 12: GRADE BRIT 19 03 14...Formuler anbefaling 25 23.01.13 Identificering af evidens til NKR 26 23.01.13 Identificering af evidens til NKR Systematisk gennemgang NKR –pragmatisk Eksisterende

12

Lowering confidence in RCTs

Table: GRADE's approach to rating quality of evidence (aka confidence in effect estimates) For each outcome based on a systematic review and across outcomes (lowest quality across the outcomes critical for decision making)

1. Establish initial

level of confidence

2. Consider lowering or raising

level of confidence

3. Final level of

confidence rating

Study design Initial

confidence

in an estimate

of effect

Reasons for considering lowering

or raising confidence

Confidence

in an estimate of effect

across those considerations ���� Lower if ���� Higher if*

Randomized trials���� High

confidence

Risk of Bias

Inconsistency

Indirectness

Imprecision

Publication bias

Large effect

Dose response

All plausible

confounding & bias

• would reduce a

demonstrated effect

or • would suggest a

spurious effect if no

effect was observed

High

⊕⊕⊕⊕

Moderate

⊕⊕⊕�

Observational studies���� Low

confidence

Low

⊕⊕� �

Very low

⊕� � �

*upgrading criteria are usually applicable to observational studies only.

23.01.13

Observationelle studier

23.01.13

Opgradering

• Af observationelle studier, 3 grunde:

– Hvis der er en meget stor effekt

– Hvis der er en dosis-respons sammenhæng

– Hvis resultatet er robust selv ved forventet

residual confounding

Altering confidence in observational studies

Table: GRADE's approach to rating quality of evidence (aka confidence in effect estimates) For each outcome based on a systematic review and across outcomes (lowest quality across the outcomes critical for decision making)

1. Establish initial

level of confidence

2. Consider lowering or raising

level of confidence

3. Final level of

confidence rating

Study design Initial

confidence

in an estimate

of effect

Reasons for considering lowering

or raising confidence

Confidence

in an estimate of effect

across those considerations ���� Lower if ���� Higher if*

Randomized trials���� High

confidence

Risk of Bias

Inconsistency

Indirectness

Imprecision

Publication bias

Large effect

Dose response

All plausible

confounding & bias

• would reduce a

demonstrated effect

or • would suggest a

spurious effect if no

effect was observed

High

⊕⊕⊕⊕

Moderate

⊕⊕⊕�

Observational studies���� Low

confidence

Low

⊕⊕� �

Very low

⊕� � �

*upgrading criteria are usually applicable to observational studies only.

23.01.13

Evidensvurdering i NKR - oversigtPICO’er der besvares

vha.:

Fagkonsulenten Arbejdsgruppen Ekstra hjælp

(fx metode-

konsulenten)

Guidelinesx x

Systematiske reviewsx x

Opdatering af Guidelines

og Systematiske reviews (x) (x) xMange RCT’er (x) (x) xFå RCT’er (<5) x x

Mange observationelle

studier (x) (x) xFå observationelle

studier (<5) x x

7123.01.13

EP – Evidence profile

� Er en præsentation af resultatet af GRADE processen.

� En EP Tabel indeholder:� PICO-spørgsmål� Præsentation af outcome� Resultater� En bedømmelse af evidensens kvalitet� Kommentarer og fodnoter

72

Page 13: GRADE BRIT 19 03 14...Formuler anbefaling 25 23.01.13 Identificering af evidens til NKR 26 23.01.13 Identificering af evidens til NKR Systematisk gennemgang NKR –pragmatisk Eksisterende

13

23.01.13

Eksempel på en Evidence Profile tabel

1 Median control group risk2 There was substantial heterogeneity which may reflect the different outcome definitions used in the trials.

General health checks for preventing morbidity and mortality from disease

7323.01.13

Fra evidens til anbefalinger

� Den overordnede kvalitet af evidensen opsummeres pr.

PICO

- svarende til den laveste kvalitet for et kritisk outcome

I eksemplet:

Der var moderat kvalitet af evidensen, da der var

inkonsistens, vedrørende cardiovaskulær dødelighed.

74

23.01.13

Øvelser - evidensvurdering

Parenteral antikoagulationsbehandling til patienter med cancer, der ikke har indikation for terapeutisk eller profylaktisk antikoagulationsbehandling.

Outcome: Mortalitet ved 12 måneder

7523.01.13

Anbefalingerne formuleres med retning og styrke:

Retning

For eller imod

Styrke

Stærk eller svag

Ingen evidens?

God praksis anbefaling for eller imod

23.01.13

Hvad afgør styrken af anbefalingerFaktorer der afgør anbefalingen Kommentarer

Kvaliteten af evidensen Jo bedre kvalitet af evidensen, des

større sandsynlighed for en stærk

anbefaling

Balancen mellem fordele og ulemper Jo større forskel på fordele og ulemper,

des større sandsynlighed for en stærk

anbefaling. Jo mindre fordelene er

netto, og jo større usikkerhed er om

hvorvidt der er en netto fordel, des

større sandsynlighed for en svag

anbefaling

Værdier og præferencer Jo større variation der er i værdier og

præferencer, og jo større usikkerhed

der er værdier og præferencer, des

større sandsynlighed for en svag

anbefaling

Andre overvejelser F.eks behov for efteruddannelse eller

ressourceforbrug 77

Page 14: GRADE BRIT 19 03 14...Formuler anbefaling 25 23.01.13 Identificering af evidens til NKR 26 23.01.13 Identificering af evidens til NKR Systematisk gennemgang NKR –pragmatisk Eksisterende

14

23.01.13

Stærk anbefaling for

F.eks. Giv, Brug, Anvend

Implikationer:

Patienter: de fleste patienter i den givne situtation vil

ønske interventionen.

Klinikere: langt de fleste ville ordinere interventionen.

Regulatorisk niveau: Rekommendationen vil være

officiel politik og evt. udgøre en klinisk indikator.

23.01.13

Svag anbefaling for

F.eks. Overvej at

Implikationer:

Patienter: mange patienter vil stadig ønske

interventionen, men en hel del vil også afstå.

Klinikere: vil skulle hjælpe patienterne med at træffe

en beslutning, der passer til deres værdier og

præferencer.

Regulatorisk niveau: brug for diskussion og involvering

af interessenter (regioner, specialeselskaber osv)

23.01.13

Stærk anbefaling imod

F.eks. Brug ikke, Giv ikke, Undlad

Implikationer:

Patienter: de fleste patienter i den givne situtation vil

ikke ønske interventionen.

Klinikere: langt de fleste vil ikke ordinere

interventionen.

Regulatorisk niveau: Rekommendationen vil være

officiel politik og evt. udgøre en klinisk indikator.

23.01.13

Svag anbefaling imod

F.eks. Anvend kun … efter nøje overvejelse, da den gavnlige

effekt er usikker og/eller lille og der er er dokumenteret

skadevirkninger såsom …

Implikationer:

Patienter: mange patienter vil afstå fra interventionen, men

en hel del vil også ønske interventionen.

Klinikere: vil skulle hjælpe patienterne med at træffe en

beslutning, der passer til deres værdier og præferencer.

Regulatorisk niveau: brug for diskussion og involvering af

interessenter (regioner, specialeselskaber osv)

23.01.13

”God praksis” anbefaling når der mangler evidens

� God praksis bygger på faglig konsensus blandt medlemmerne af arbejdsgruppen, der har udarbejdet den kliniske retningslinje

� Kan være for eller imod

� Anvendes når der ikke foreligger evidens

� I de tilfælde er det kun anbefalingsdelen af GRADE, der anvendes

8323.01.13

Anbefalingen ”God praksis”:

Det er er god praksis at registrere dagligdags aktiviteter hos personer med skizofreni i deres plejeplaner

Det er ikke god praksis rutinemæssigt at anvende aktiv eller passiv udspænding hos børn med cerebral parase

84

Page 15: GRADE BRIT 19 03 14...Formuler anbefaling 25 23.01.13 Identificering af evidens til NKR 26 23.01.13 Identificering af evidens til NKR Systematisk gennemgang NKR –pragmatisk Eksisterende

15

23.01.13

Øvelse - anbefaling

� Vi fortsætter med vores eksempel fra før.

Parenteral antikoagulationsbehandling til patienter med cancer, der ikke har indikation for terapeutisk eller profylaktisk antikoagulationsbehandling.

8523.01.13

Hvad afgør styrken af anbefalingerFaktorer der afgør anbefalingen Kommentarer

Kvaliteten af evidensen Jo bedre kvalitet af evidensen, des

større sandsynlighed for en stærk

anbefaling

Balancen mellem fordele og ulemper Jo større forskel på fordele og ulemper,

des større sandsynlighed for en stærk

anbefaling. Jo mindre fordelene er

netto, og jo større usikkerhed er om

hvorvidt der er en netto fordel, des

større sandsynlighed for en svag

anbefaling

Værdier og præferencer Jo større variation der er i værdier og

præferencer, og jo større usikkerhed

der er værdier og præferencer, des

større sandsynlighed for en svag

anbefaling

Andre overvejelser F.eks behov for efteruddannelse eller

ressourceforbrug 86

23.01.13

Ordstyrer Udarbejde PICO’er

Litteratur søgning

Undervisning i metode og rådgivning

Screening af

litteraturen

Evidens-vurdering

Udarbejde anbefalinger

Skrive Drift

Formanden x x x x

Fagkonsulenten x (x) x x x x

Arbejdsgruppen x x x

Metodekonsulenten (x) x (x) (x)

SST projekt-medarbejderen

(x) x x

Søgespecialisten x

Rollefordeling

8723.01.13

Praktiske ting

� Metodehåndbogen� Findes på sst.dk på NKR siden

� Der er software tilgængeligt til flere af trinene� GRADEprofiler� Covidence� Review Manager� MAGIC

� Samt skabeloner� Findes på sst.dk på NKR siden

88

Mere information?– Metodehåndbogen

http://sundhedsstyrelsen.dk/da/sundhed/kvalitet-og-retningslinjer/nationale-kliniske-retningslinjer/metode/metodehaandbog

– Training modules fra McMaster

(8 af ca. 10-15 min’s varighed)

http://cebgrade.mcmaster.ca/

– Journal of Clinical Epidemiology serien:

www.gradeworkinggroup.org/publications/JCE_series.htm