registerdata versus rct - kvalitetsregistre · 2019-04-26 · we excluded women who had recent...
TRANSCRIPT
Registerdata versus RCT
Gro Berntsen Professor, Nasjonalt senter for e-helseforskning, Enhet for allmennmedisin, institutt for samfunnsmedisin, UiT
Læringsmål
Studentene skal kunne redegjøre for:•Hvorfor er RCT-en genial?•Hvilke begrensninger har RCT-en?•Hva kommer etter RCT-en?
Hvordan blir noesant i medisinen?
3
Fra erfaringsbasert til systematisk kunnskapsoppbygging
•Avicenna
•Persisk lege
•980 - 1037 e. Kr
•Den medisinske kanon
•Introduserte:•systematiske eksperiment•måling av effekt av behandling
4
Før
Aktiv behandling
Etter
Intervensjon
Ikke behandling
5
5
Før
Aktiv behandling
Etter
5
Før Etter
=
Seruminjeksjoner ved difteri
•1898 – Johannes Fibiger -Sammenliknet to grupper
•Aktiv behandling / ingen behandling (kontroll) på alternerende dager
•3% vs 12% døde i favør av aktiv behandling
BMJ 1998;317:1243-1245 ( 31 October )6
Aktiv behandling
Kontroll-gruppe
Pasienter i kontrollgruppen dør lettere enn de som får aktiv behandling
1. Behandling beskytter?2. Pasientene i kontrollgruppen er
mer utsatt7
Bradford Hill – tilfeldig tilordning 1937
• Gruppetilordning skal skje tilfeldig• Randomisering
• Verken behandler eller pasient skal vite om de får aktiv behandling• Dobbelt blindet
• RCT - det randomiserte kontrollerte eksperiment
Bradford Hill 8
First randomiserte kontrollerte forsøk – RCT 1948
•Streptomycin mot tuberkulose
Bradford Hill 9
RCT
3 P modellen: Pasienter og profesjonelle i partnerskap 10
• Biologiske systemer som er stabile
• En biologisk hypotese
• I system A – Aktiv ingrediens
• I system B – Narre ingrediens
• I system C – Business as usual
• Forventer da å observere at:
• Bakteriene elimineres i A, men ikke i B og C
• Gyldig kunnskap om mekanisme
RCT´n fordeler både kjente og ukjente faktorer likt
Tiltak A
Tiltak BR
andom
isering
Bakgrunnspopulasjon
Utvalg
Biologisk mekanisme (som finnes hos de fleste) + genetisk og miljømessig variasjon => gjennomsnittlig forskjell mellom grupper
EBM – EvidenceBased Medicine
3 P modellen: Pasienter og profesjonelle i partnerskap
12
1980 - Evidence Based Medicine
Evidence based medicine is the conscientious, explicit, and judicious use of currentbest evidence in makingdecisions about the care ofindividual patients.
1. individual clinical expertise
2. systematic research.
3. patients' predicaments, rights, and preferences
13
Sackett DL, Rosenberg WM, Gray JA, Haynes RB, Richardson WS (1996). "Evidence based medicine: what it is and what it isn't". BMJ 312 (7023): 71–2. PMID 8555924. http://www.bmj.com/cgi/content/full/312/7023/71.
RCT
Meta-
analyse
RCT *
Kontrollerte studier
Observasjonsstudier
Ekspertuttalelser
* Randomised Controlled Trial
RCT
Meta-
analyse
RCT *
Kontrollerte studier
Observasjonsstudier
Ekspertuttalelser
A
B
C
D
E
* Randomised Controlled Trial14
RCT
Meta-
analyse
RCT *
Kontrollerte studier
Observasjonsstudier
Ekspertuttalelser
A
B
C
D
E
* Randomised Controlled Trial15
RCT
Meta-
analyse
RCT *
Kontrollerte studier
Observasjonsstudier
Ekspertuttalelser
A
B
C
D
E
* Randomised Controlled Trial16
RCT
Meta-
analyse
RCT *
Kontrollerte studier
Observasjonsstudier
Ekspertuttalelser
A
B
C
D
E
* Randomised Controlled Trial17
RCT
Meta-
analyse
RCT *
Kontrollerte studier
Observasjonsstudier
Ekspertuttalelser
A
B
C
D
E
* Randomised Controlled Trial18
Østrogenbehandling Premarin fra Ayerst i1942
•Annonsekampanje – 1960-tallet:
•“Det er ikke lett for en mannå ta utfordringer og tunge taki arbeidslivet for så kommehjem til kaoset rundt en kvinne i overgangsalderen.
Hvis hun ikke bruker Premarinda.”
19
1840 1940 1970 1983 1998 2002
RCT
Meta-
analyse
RCT *
Kontrollerte studier
Observasjonsstudier
Ekspertuttalelser
A
B
C
D
E
* Randomised Controlled Trial
Industrien solgte ”pillen som gir kvinner ungdommen tilbake” uten dokumentasjon
I 60 ÅR !!!
Østrogen behandlingens historie
HERS WHI
20
Register studier
RCT begrensninger
21
We excluded women who had
Recent peptic ulcers or ulcers that required
hospitalization, dyspepsia requiring daily
treatment, significant renal or hepatic
dysfunction, medical problems that precluded 3 years of
participation, severe
malabsorption, blood pressure exceeding
210 mm Hg systolic or 105 mm Hg
diastolic, myocardial infarction within 6
months, unstable angina, hypothyroidism,
hyperthyroidism, or hyperparathyroidism.
We also excluded women who
had taken estrogen or calcitonin within
the preceding 6 months or bisphosphonates
or sodium fluoride (.1 mg/d) at
any time. Althoughwomentaking estrogen
were excluded from entry into the
trial, 246 (11.1%) in the placebo group
and 204 (9.2%) in the alendronate group
took estrogen at some time during the
study.
JAMA. 1998;280:2077-2082
The FIT trial : Effect of Alendronate on Risk of Fracture
The controlled clinical trial
•The main technical limitation of clinical trial methodology is that it assumes the homogeneity ofthe research populations which it studies.
•The assumption of homogeneity is enshrined in theuse of averages and the statistics based on theircomparison....
•For the individuals in the trial a comparison ofmeans may hide much more than it reveals.”
John Heron(1986)
For 100 personer med din tilstand
3 P modellen: Pasienter og profesjonelle i partnerskap 24
Fru Hansen – 72 år
+ ?
Inkluderte pasienter ikke representative for de pasientgruppene som faktisk får behandling
Observasjonstid
•Kostbare studier•Ofte for kort oppfølgingstid til å evaluere langtidseffekter av behandling
Kostnadskrevende
•Bare finansiellt sterke aktører har råd til å lage RCT-er
•Ikke-patenterbare produkter blir ofte ikke etterprøvd med RCT
•Eksempel: Østrogen
Komplekse intervensjoner
•Element x virker ikke uten element Y
•Det er umulig å identifisere hva X og Y er og sammenhengen mellom de
•Eksempel: •Barneoppdragelse
Mat
Klær
Skole SøvnFamilie
VennerLek
RCT i komplekse intervensjoner
• Effekt avhengig av en kjede med hendelser
Vi kjører en RCT:
• En «black box» intervensjon
• A får Black-box - B får ikke
• Hvis vi får et negativt resultat• Var det fordi A ikke virket?
• Eller var det fordi vi ikke hadde skapt de forholdene som var nødvendige for at A skulle virke?
• Hvis vi får et positivt resultat: • Kan vi reprodusere Forholdene som
gjør at A virker?
29
Hvordan forstå komplekse fenomen?
Kvalitet ala Donabedian
«As such, the definition of quality
(mål) may be almost anything anyone
wishes it to be, although it is,
ordinarily, a reflection of values and
goals current in the medical care
system and in the larger society of
which it is a part.»
Donabedian A. (1966). "Evaluating the quality of health care." Milbank Memorial Fund Quarterly - Health & Society 44: 166-203.
31
32
Outcomes
Structures/ Context
Theory
Process
Fikk vi de resultatene vi ønsket oss?
Hvilken prosess fører til ønsket endring?
Hvilken stkrutur/
kontekst må være på plass ?
Hva er den teoretiske forståelsen av problemet og
løsningen?Graham F Moore et al. BMJ 2015;350:bmj.h1258
Teori ved komplekse intervensjoner
Fig 1 Key functions of process evaluation and relations among them (blue boxes are the key
components of a process evaluation.
Moore GF, Audrey S, Barker M, Bond L, Bonell C, Hardeman W, et al. Process evaluation of complex
interventions: Medical Research Council guidance. bmj. 2015;350:h1258.
©2015 by British Medical Journal Publishing Group
Evaluering av komplekse intervensjoner.
Graham F Moore et al. BMJ 2015;350:bmj.h1258
©2015 by British Medical Journal Publishing Group
Oppsummering
RCT•En gjennomsnittlig effekt på gruppenivå•Ofte utført på andre pasientgrupper enn de som faktisk får medisinen•Kostbare => ikke gjort på behandling som mangler patent•Utfordrende å tolke når problemstillingen er kompleks
Registerdata ?•Se på grupper av pasienter som likner på meg•Konstruere sammenliknbare grupper: de som fikk – med de som ikke fikk behandlingen•Å hente ut kunnskapen koster lite•Tolkning av funnene kan suppleres med sub-gruppe studier som reflekterer prosess og mekanismer…
35
Registerdata – relevante data på en hel populasjon
Den lærende helsetjenesten
3 P modellen: Pasienter og profesjonelle i partnerskap 37
Frankovich J, Longhurst CA, Sutherland SM. Evidence-based medicine in the EMR era. New England Journal of
Medicine. 2011.
13-year-old girl with systemic lupus erythematosus(SLE). Our patient’s
presentation was complicated by nephroticrange proteinuria,
antiphospholipid antibodies, and pancreatitis.
Registerbaserte studier
• Hvilke pasienter som meg?
• Sammenliknbarhet – propensity score, justering – ikke perfekt
• Se på prosessen – hva skjedde? Kvantitativt og kvalitativt
• Store datasett – tillater studie av Sjeldne effekter / bivirkninger
• Dataene er der – krever lite ressurser
Framtida – kunstig intelligens:
• Samle data fra personen
• Skape prediksjoner innen mindre enehter –som person
• Klinisk beslutningsstøtte for pasient og helsearbeider
3 P modellen: Pasienter og profesjonelle i partnerskap 38
Outcomes
Structures/ Context
Theory
Process
Case – Evaluering av en kompleks intervensjon i drift
Pasientsentrert helsetjeneste team
Tidlig støttet
utskrivning/
oppfølging
Kontakt/koordinering
Tidlig
vurdering
• Levere riktig behandling til riktig tid og sted
• Multi-profesjonelt team
• På tvers av 1. og 2. linje• Sam-finansiering
• Tilgang til hverandres EPJ
• Felles prosjektledelse
• Mål• Plan• Levere• Evaluere
Struktur Prosess
• Primært endepunkt=> Bedet pasient opplevelse
• Redusert Øyeblikkelig hjelp forbruk
• Bedret Kost/Nytte ratio
• Sekundært => Risiko for død
Resultat
KontrollerN=779
Materiale – PSHT 2015-2016
41
Potensielle kontroller:Ø-hjelpsinnleggelse på UNN,
> 60 år, bor i Tromsø og Harstad
PSHTN=439 Matching 20
variable
Propensity andMalhabonis matching+/- 0,SD caliperad modum Rosenbaum
ROSENBAUM, P. R. and D. B. RUBIN (1983). "The central role of the propensity score in observational studies for causal effects." Biometrika 70(1): 41-55.
42
Controls Intervention p
Unit NPoint
estimateDispersion N
Point
estimateDispersion
Sex (%) male 779 41% NA 439 41% NA 0,51
Year at inclusion (%) in 2015 779 51% NA 439 51% NA 0,98
Age (mean/SD) years 779 78,81 8,68 439 80,02 8,72 0,02
m-PARR30, 2Y (mean/SD) Score 779 2,19 0,57 439 2,16 0,61 0,49
DRG points, 1Y Sum 779 2,20 0,03 - 12,65 439 2,70 0,32 - 14,79 0,10
# Main diagnoses, 1Y Count 779 3 1 - 8 439 3 0 - 8 0,30
# Bi-diagnoses 1Y Count 779 3 0 - 13 439 3 0 - 12 0,05
# Long-Term Diagnoses, Count 779 11 2 - 29 439 11 3 - 28 0,41
m-PARR30, 2Y Score 779 2,15 1,30 - 3,16 439 2,09 1,33 - 3,20 0,10
Elixhauser , 2Y Score 779 5 0 - 20 439 5 0- 20 0,28
Emergency Inpt Adm, 1Y Count 779 2 0 - 8 439 1 0 - 7 0,05
Emergency Inpt Adm, 30d Count 779 1 0 - 4 439 1 0 - 2 0,96
Emergency Bed days, 30d Sum 779 2 0 - 15 439 3 0 - 16 0,03
Emergency Bed days, 1Y Sum 779 6 0 - 52 439 6 0 - 55 0,86
Emergency Outpt visit, 30d Count 779 0 0 - 1 439 0 0 - 1 0,43
Emergency Outpt visit, 1Y Count 779 0 0 - 3 439 0 0 - 3 0,95
30d Readmissions, 1Y Count 779 0 0 - 1 439 0 0 - 2 0,26
Planned Inpt Adm, 1Y Count 779 0 0 - 4 439 0 0 - 2 0,04
Planned Inpt Adm 30d Count 779 0 0 - 1 439 0 0 - 1 0,74
Planned Outpt visit, 1Y Count 779 2 0 - 21 439 2 0 - 18 0,22
Planned Outpt visit, 30D Count 779 0 0 - 3 439 0 0 - 3 0,06
Lead Days Count 779 0 0 - 9 439 4 0 - 30 0,00
Quantile Lead Days (%) Q 1+2 779 78% NA 439 20% NA 0,00
Sammenliknbarhet mellom gruppene
Propensity score balance: Standardized difference=0,05, Variance ratio=1,01
Endring iHelsetjenesteforbruk
45
Berntsen GR, Hurley JS, Dalbakk M, Bergmo T, Bellika JG, Solbakken B, et al. Personcentered,
cross organizational and multiprofessional team halves mortality risk. The PAtient Centered Care
Team (PACT) Study – Preliminary results from a comparative effectiveness study. International
Journal of Integrated Care 17(5) ; 2017.
Helsetjeneste forbruk
N- max=1218/ N Min =838
0 0.5 1 1.5 2 2.5 3
All, adjustedOnly controls surviving Lead days (1)
Only PACT patients with index emergency hospitalizations (2)Combination of 1 and 2
All hospitalized, adjusted (3)All hospitalized + controls surviving Lead days (4)
Only PACT patients with index emergency hospitalizations (2)Combination of 4 and 2
All, adjustedOnly controls surviving Lead days (1)
Only PACT patients with index emergency hospitalizations (2)Combination of 1 and 2
All, adjustedOnly controls surviving Lead days (1)
Only PACT patients with index emergency hospitalizations (2)Combination of 1 and 2
All, adjustedOnly controls surviving Lead days(1)
Only PACT patients with index emergency hospitalizations (2)Combination of 1 and 2
Emer
gen
cyad
mis
sio
ns
(RR
)
Sum
Emer
gen
cyB
edd
ays
(RR
)R
ead
mis
sio
ns
(RR
)
Elec
tive
Ou
tpat
ien
tvi
sits
(R
R)
Emer
gen
cy
Ou
tpat
ien
t vi
sits
(RR
)
Rate Ratio
Rate Ratios for health care utilization outcomes, by sub-group analysis,
Ø-hjelps innleggelser
Sum ø-hjelpsdøgn
Reinnleggelser
Planlagt poliklinikk
Ø-hjelp poliklinikk
Risiko for død
47
48
0,0
00,2
50,5
00,7
51,0
0
0 50 100 150 200analysis time
PSHT_PATIENT = Control PSHT_PATIENT = Treatment
Kaplan-Meier survival estimates
Risiko for død, justert, pooled analyse
N- max=1218/ N Min =838
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0
All, adjusted
Only controls surviving Lead days(1)
Only PACT patients with index emergency hospitalizations…
Combination of 1 and 2
All, adjusted
Only controls surviving Lead days(1)
Only PACT patients with index emergency hospitalizations…
Combination of 1 and 2
Mo
rtal
ity
0-3
mo
nth
s (R
R)
Mo
rtal
ity
0-6
mo
nth
s (R
R)
Rate Ratio
Rate Ratio for mortality at 3 and 6 months follow-up, by sub-group analysis
Har RCT-en mistet sin verdi?
Outcomes
Structures/ Context
Theory
Process
JA TAKK – BEGGE DELE !
Oppsummering
RCT-en – eksperiementell test av tydelige hypoteser i stabile kontekster hvor teorien er godt forstått
Der hvor det er høy kompleksitet og synergier mellom faktorer:
• Vanskelig å designe en valid RCT
• Bygge på teori, struktur og prosessmål
• Studere systemet – as is: modellere, pilotere, observere => Registerdata
• Kombinerte utfallsanalyser med prosess og struktur mål