1 la validità di un test diagnostico prof. roberto de marco sensibilità e specificità confronto...
TRANSCRIPT
11
La validità di un test La validità di un test diagnosticodiagnostico
Prof. Roberto de MarcoProf. Roberto de Marco
Sensibilità e specificità
Confronto tra differenti test diagnostici
Determinazione della soglia ottimale del test
Induction period
Latency period
Prevenzione primaria = Rimozione dei fattori di rischio (ad esempio, campagne contro il fumo o contro l’alcoolismo) o riduzione degli effetti dell’esposizione (vaccinazioni).
Prevenzione secondaria = Individuazione precoce dei casi tramite uno screening (ad esempio, Pap test per il tumore dell’utero, mammografia per il tumore del seno, sangue occulto nelle feci per il tumore del colon).
Prima che si instauri la malattia:
La malattia si è instaurata, ma non è ancora evidente dal punto di vista clinico:
Prevenzione terziaria = Terapia appropriata e riabilitazione per prevenire o ridurre le conseguenze negative della malattia stessa (ad esempio, assistenza agli infartuati e riabilitazione).
La malattia si è manifestata clinicamente:
Prevenzione primaria, secondaria e terziaria
1) Somministrazione di un test diagnostico poco costoso e poco invasivo
a larghi settori della popolazione a rischio per una determinata patologia
per identificare gli individui ammalati prima che la malattia si riveli dal punto di vista clinico.
Screening
Lo scopo dello screening è diagnosticare
precocemente la malattia, quando è ancora curabile,
per ridurne la mortalità e morbilità
9/10/20029/10/2002 Natural history; population screeningNatural history; population screening 55
Survival time after diagnosis – lead timeSurvival time after diagnosis – lead time
Pre-detectable Detectable, preclinical Clinical Disability
or death
Possible detection via screening
Clinical detection
Age: 35 45 55 65 75
Lead time
Screening per il tumore al collo dell’utero (PAP test) via esame citologico
Screening per il tumore della mammella via mammografia in donne di età >50
Screening utili agli individui:
Test cutaneo con tubercolina
Screening per l’infezione streptococcica per prevenire la febbre reumatica
Screening utili alla collettività:
Obiettivo del test:
Classificazione dei soggetti in
POSITIVI (alta
probabilità di essere malati)
NEGATIVI(alta
probabilità di essere
sani)
77
SCREENING
88
Pt.s in early stages respond well to Pt.s in early stages respond well to treatmenttreatment
Patients with advanced disease do Patients with advanced disease do poorlypoorly
Earlier diagnosis, better chance of Earlier diagnosis, better chance of survivalsurvival
MammographyMammography is tool for early is tool for early detectiondetection
EX: Mammography
99
Mammography: Risk v. BenefitMammography: Risk v. Benefit
Breast cancer in United States in 2009 Breast cancer in United States in 2009 (estimated):(estimated):
New cases: 192,370 (female); 1,910 (male)New cases: 192,370 (female); 1,910 (male) Deaths: 40,170 (female); 440 (male) Deaths: 40,170 (female); 440 (male)
Us population 306 million in 2007- 133 deaths /millionUs population 306 million in 2007- 133 deaths /million
Mortality risk from mammography induced radiation is 5 deaths/ Mortality risk from mammography induced radiation is 5 deaths/ million pts. using screen film mammographymillion pts. using screen film mammography
More risky to refuse mammography!More risky to refuse mammography!
1010
Based on review of RCTsBased on review of RCTs Screening mammography mortality Screening mammography mortality
reductions werereductions were• 15% for women in their 40s15% for women in their 40s• 14% for women in their 50s 14% for women in their 50s • 32% for women in their 60s32% for women in their 60s
SCREENING BENEFITS
US Preventive Service Task Force (USPSTF)
1111
For every 1000 mammogramsFor every 1000 mammograms 80-100 women (8-10%) asked to return for addition 80-100 women (8-10%) asked to return for addition
evaluationevaluation 45-65 told that there is nothing of concern45-65 told that there is nothing of concern 20 are asked to return in 6 months20 are asked to return in 6 months
• Probably benign (<2% prob of malignancy)Probably benign (<2% prob of malignancy) 15 (1-2%) recommended to have a biopsy15 (1-2%) recommended to have a biopsy
• 2 to 5 will have cancer2 to 5 will have cancer• 10-13 have benign biopsy10-13 have benign biopsy
Harms of Screening:Harms of Screening:Additional InterventionAdditional Intervention
Davey MS. www.acponline.org/ about…/breastscreening.ppt
popolazione
popolazione
malatimalatitest +test +
falsipositivi
positivi
falsinegativi
veri
malati
a
c
sani
b
d
Test +
Test -
a+c b+d
Validità di un test di screening
Falsi positivi
Falsi negativi
GOLD STANDARD
malatiac
sanibd
Test +Test - a+c b+
d
Sensibilità: Sensibilità: probabilità che un test sia positivo nei malati
Sen=pr(TSen=pr(T++|M|M++))Sen=a/(a+c)Sen=a/(a+c)
malatiac
sanibd
Test +Test - a+c b+
d
Specificità: Specificità: probabilità che un test sia negativo nei sani
Spe=pr(TSpe=pr(T--|M|M--))Spe=d/(b+d)Spe=d/(b+d)
Dipende da:
•Considerazioni cliniche sulla malattia in studio
•Obiettivo dell’intervento
Scelta del livello ottimale di sensibilità e specificità:
Malattie molto rare
Alta sensibilità (per non rischiare di perdere i pochi casi)
Malattie molto letali e l’intervento nelle fase precoci può permettere un aumento della sopravvivenza o una miglior prognosi
Alta sensibilità
Se l’intervento successivo alla diagnosi non modifica di molto la storia naturale della malattia
Bassa percentuale di falsi positivi
Studi epidemiologici Bassa percentuale di falsi positivi
malatiac
sanibd
Test +Test - a+c b+
d
Valore predittivo nei positivi Valore predittivo nei positivi (V+):(V+): probabilità che chi ha il test positivo sia malato
V(+)=pr(MV(+)=pr(M++|T|T++))V(+)=a/(a+b)*V(+)=a/(a+b)*
malatiac
sanibd
Test +Test - a+c b+
d
V(-)=pr(MV(-)=pr(M--|T|T--))V(-)=d/(c+d)*V(-)=d/(c+d)*
Valore predittivo nei negativi Valore predittivo nei negativi (V-):(V-): probabilità che chi ha il test negativo sia sano
* Formule valide solo nel caso di un campione random classificato contemporaneamente rispetto al test e al gold standard
Esercizio: si considerino:•100000 individui
asintomatici• di cui 10000 affetti da M+
•Sensibilità=90%•Specificità=90%
A. Calcolare il numero di veri positivi e di falsi positivi e il valore predittivo che ci si aspetta in questa popolazione di 100000 individui
B. Qual è la prevalenza della malattia?
C. Qual è la prevalenza della malattia misurata da questo test di screening?
M+ M-
T+
T-
VP=Sen*10000=0.90*10000=9000
VN=Spe*90000=0.90*90000=81000
PREV=10000/100000=0.1=10%
PREV(test)=18000/100000=18%
9000 9000 18000
100000
82000
10000
1000
90000
81000
FP=90000-81000=9000
V(+)=90000/18000=50%
Esercizio: contEsercizio: cont
Si calcolino il numero di falsi positivi, di falsi negativi e il valore predittivopositivo nel caso in cui lo stesso test venga sottoposto a un gruppo dipopolazione che ha una prevalenza del 30%-
Confrontate i risultati e commentate
1919
Example: Mammography screening of unselected womenExample: Mammography screening of unselected women
Disease statusDisease status
Cancer No cancer TotalCancer No cancer Total Positive 132 985 1,117Positive 132 985 1,117 Negative 47 62,295 62,342Negative 47 62,295 62,342
Total 179 63,280 63,459Total 179 63,280 63,459
Prevalence = 0.3% (179 / 63,459)Prevalence = 0.3% (179 / 63,459)
Se = 73.7% Sp = 98.4% PV+ = 11.8% PV– = 99.9%Se = 73.7% Sp = 98.4% PV+ = 11.8% PV– = 99.9%
Source: Shapiro S et al., Periodic Screening for Breast CancerSource: Shapiro S et al., Periodic Screening for Breast Cancer
2020
Effect of Prevalence on Positive Predictive Value
PV+ = 64%
PV+ = 88%
Sensitivity = 93%, Specificity = 92%
Surgical biopsy (“gold standard”) Cancer No cancer Prev.
Without palpable mass in breast
Fine needle Positive 14 8 13%aspiration Negative 1 91
With palpable mass in breast
Fine needle Positive 113 15 38%aspiration Negative 8 181
See http://www.meddean.luc.edu/lumen/MedEd/ipm/IPM1/Biostats/diagnostic_test_example1_Solutions1011.pdf
La maggior parte dei test dignostici produce un risultato quantitativo
Per discriminare tra sani e malati è necessario disporre di un valore soglia o cut offSituazione ideale: sani e malati restituiscono valori
del test differenti
Cut off immediatamente determinato
Situazione reale: sovrapposizione nella distribuzione di sani e malati
dens
ita' d
i pro
babi
lita'
Esempio:
2323
Sensibilità e specificità sono antagonisteSensibilità e specificità sono antagoniste..
A parità di strumento diagnostico, ogni aumento nella A parità di strumento diagnostico, ogni aumento nella sensibilità comporta una diminuzione nella specificità.sensibilità comporta una diminuzione nella specificità.
Quando il costo dei falsi positivi uguaglia quello dei falsi Quando il costo dei falsi positivi uguaglia quello dei falsi negativi, la scelta del cut-off ottimale può essere negativi, la scelta del cut-off ottimale può essere
ottenuta da criteri statistici. ottenuta da criteri statistici.
GRAFICO DEL LIVELLO GRAFICO DEL LIVELLO DECISIONALEDECISIONALE
Indice di Youden: Indice di Youden: Sen+Spe-1Sen+Spe-1
Indi
ce d
i You
den
dens
ita' d
i pro
babi
lita'
I ESEMPIO (PAZIENTI DIABETICI)
II ESEMPIO (PAZIENTI DIABETICI ANZIANI)
specificità 1-specificità sensibilità Cut-off
specificità 1-specificità sensibilità
50.0 % 50.0 % 99.997 % 100 mg/dl 2.3 % 97.7 % 99.997 %
84.1 % 15.9 % 99.9 % 115 mg/dl 15.9 % 84.1 % 99.9 %
97.7 % 2.3 % 97.7 % 130 mg/dl 50.0 % 50.0 % 97.7 %
99.9 % 0.1 % 84.1 % 145 mg/dl 84.1 % 15.9 % 84.1 %
99.997 % 0.003 % 50.0 % 160 mg/dl 97.7 % 2.3 % 50.0 %
--- --- --- 175 mg/dl 99.9 % 0.1 % 15.9 %
Utilizzati per rappresentare le CURVE ROC
Come variano sensibilità e specificità al variare del cut off?
Le curve ROC Le curve ROC ((Receiver operating characteristic) )
diabetici giovani
diabetici anziani
160 mg
175 mg
145 mg
130 mg
Esercizio: la tabella riporta i risultati del test ELISA per HTLV-III tra pazienti con AIDS e donatori di sangue sani (Weiss et al., 1985): per ogni valore del cut off sono specificati i pazienti che risultano negativi al test. A. Calcolare per ognuno dei valori del test i livelli di specificità
e sensibilità
B. Valutare, in base al valore dell’indice di Youden, qual è il valore soglia ottimale.
Ratio Donatori sani Pazienti con AIDS <2.0 202 (68%) 0 ( 0%) 2.0-2.99 73 (25%) 2 ( 2%) 3.0-3.99 15 ( 5%) 7 ( 8%) 4.0-4.99 3 ( 1%) 7 ( 8%) 5.0-5.99 2 ( 1%) 15 (17%) 6.0-11.99 2 ( 1%) 36 (41%) >12 0 ( 0%) 21 (24%) Totale 297 (100%) 88 (100%)
.
Cut off Sensibilità Specificità Indice di Youden
2.0 1 0.68 0.69 3.0 0.98 0.93 0.91 4.0 0.90 0.98 0.88 5.0 0.82 0.99 0.8 6.0 0.65 0.99 0.64 12.0 0.24 1.00 0.24
L’indice di Youden permette di ottenere quel valore soglia che minimizza la probabilità trovare falsi positivi e falsi negativi:
Nel nostro caso, tale valore è pari a 3
•La signora R.P ha 24 anni. Uno dei suoi fratelli e uno zio materno sono affetti da emofilia; suo padre e un altro fratello ne sono immuni. La signora non presenta emofilia manifesta. Sottoposta al test di Riza essa risulta positiva. Qual è la probabilità che essa sia una portatrice? probabilità a priori: P(H1:)=0.5= p
Sen=0.94 Spe=0.82
1 11
1 1 0 0
( ) ( | )( | )
( ) ( | ) ( ) ( | ))
P H P A HP H A
P H P A H P H P A H
Prob. che il test sia positivo se la signora è portatrice
prob. che chi ha il test positivo sia portatore
La signora è figlia di una portatrice nota
( )(1 ) (1 )
0.5 0.940.84
0.5 0.94 0.5 (1 0.82)
p senVP
p sen p spe
probabilità a priori: P(H0:)=1-0.5=1- p
3131
Talvolta la validità di uno strumento di misura non può essere stabilita (assenza di un gold standard).
In tal caso è necessario che almeno la sua affidabilità (riproducibilità) sia buona!
MISURA DELLA RIPRODUCIBILITA’ TRA DUE OPERATORI MISURA DELLA RIPRODUCIBILITA’ TRA DUE OPERATORI
osservatore 1
a b
c d
oservatore 2
+
-
+ -
R1
R2
C1 C2 N
Po = a+d
N= observed proportion of agreement
Pe = R1C1
N+
R2C2
N
expected proportion of agreement by chance
=
K = Po - Pe
1 - Pe
Se(K) = )1()1(
e
oo
PnPP
2
22
CONCORDANZA TRA 2 CLINICI NELLCONCORDANZA TRA 2 CLINICI NELL’’ESAMINARE LO STESSO ESAMINARE LO STESSO GRUPPO DI 100 FOTO DEL fondo oculareGRUPPO DI 100 FOTO DEL fondo oculare
SECONDO CLINICO
RETINOPATIA ASSENTE
RETINOPATIAMODERATA /
SEVERA
PRIMO CLINICO
RETINOPATIA ASSENTE
46 10 56
RETINOPATIA MODERATA /
SEVERA
12 32 44
58 42 100
CONCORDANZA OSSERVATA = 46 + 32
100= 78%
CONCORDANZA ATTESA in base al caso
attesi per la cella a = 56 x 58
100= 32,5
attesi per la cella d = 44 x42
100 = 18,5
CONCORDANZA dovuta al caso =Exp(a) + Exp(d)
totale32,5 + 18,5=
100= 51%
ASSENZA DI
CONCORDANZA
0%COMPLETA
CONCORDANZA
100%
CONCORDANZA OSSERVATA
46 + 32100
= 78%
CONCORDANZA ATTESA
in base al caso32,5 + 18,5
100= 51%
CONCORDANZA
non dovuta al caso78% - 51% = 27%
POTENZIALE CONCORDANZA
non dovuta al caso
100% - 51% = 49%
KAPPAKAPPA =CONCORDANZA OSSERVATA non dovuta al caso
CONCORDANZA POTENZIALE non dovuta al caso=
27%
49%= 55%55%
Concordanza osservata (PConcordanza osservata (P00) e K di Cohen (*) nella risposta alle stesse domande ) e K di Cohen (*) nella risposta alle stesse domande di un questionario di screening in due occasioni temporalmente vicinedi un questionario di screening in due occasioni temporalmente vicine
sintomisintomi P0P0 K+K+ K-K- KK C.I. (90%)C.I. (90%)
1) sibili .90 .61 .94 .56 .46-.65
1.1) Con mancanza di respiro .96 .34 .95 .22 .03-.41
1.2) senza raffreddore .93 .58 .96 .54 .42-.65
2) Costrizione .90 .34 .95 .30 17-.43
3) Mancanza di respiro .92 .51 .96 .47 .35-.59
4) Attacco di tosse .74 .56 .81 .38 .30-.45
5) Asma .98 .75 .99 .76 .63-.89
6) Farmaci per asma .98 .50 .99 .49 .28-.70
7) Raffreddore allergico .91 .77 .95 .72 .66-.79
Valori di riferimento Valori di riferimento (Londis J.R. Koch G.G., Biometrics 1977; 33:158-174)
Valori di K concordanza
K<.40 scarsa
.40 < K < .60 moderata
.60 < K < .80 notevole
K > .80 quasi perfetta