evaluation d'un test diagnostique -...
TRANSCRIPT
.
......Evaluation d’un test diagnostique - Concordance
Michael Genin
Universite de Lille 2EA 2694 - Sante Publique : Epidemiologie et Qualite des soins
Plan
...1 Introduction
...2 Evaluation d’un test diagnostique
...3 Concordance
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 1 / 35
Plan
...1 Introduction
...2 Evaluation d’un test diagnostique
...3 Concordance
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 1 / 35
Plan
...1 Introduction
...2 Evaluation d’un test diagnostique
...3 Concordance
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 1 / 35
Introduction
Point etudie
...1 Introduction
...2 Evaluation d’un test diagnostique
...3 Concordance
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 2 / 35
Introduction
Motivations
...1 Evaluation d’un nouveau test :
Reference (Gold Standard) binaire → Malade (M) / Non malade (M)Nouveau test → M / M
⇒ Quantifier le pouvoir diagnostic du nouveau test
...2 Variable numerique (ex : dosage biologique)
On desire utiliser cette variable pour separer les M des M⇒ Determiner un seuil optimal⇒ Quantifier le pouvoir discriminant de X
...3 2 tests destines a classer les patients (M et M)
⇒ Evaluation de la concordance = similitude entre les 2 tests.
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 3 / 35
Introduction
Motivations
...1 Evaluation d’un nouveau test :
Reference (Gold Standard) binaire → Malade (M) / Non malade (M)Nouveau test → M / M
⇒ Quantifier le pouvoir diagnostic du nouveau test
...2 Variable numerique (ex : dosage biologique)
On desire utiliser cette variable pour separer les M des M⇒ Determiner un seuil optimal⇒ Quantifier le pouvoir discriminant de X
...3 2 tests destines a classer les patients (M et M)
⇒ Evaluation de la concordance = similitude entre les 2 tests.
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 3 / 35
Introduction
Motivations
...1 Evaluation d’un nouveau test :
Reference (Gold Standard) binaire → Malade (M) / Non malade (M)Nouveau test → M / M
⇒ Quantifier le pouvoir diagnostic du nouveau test
...2 Variable numerique (ex : dosage biologique)
On desire utiliser cette variable pour separer les M des M⇒ Determiner un seuil optimal⇒ Quantifier le pouvoir discriminant de X
...3 2 tests destines a classer les patients (M et M)
⇒ Evaluation de la concordance = similitude entre les 2 tests.
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 3 / 35
Introduction
Motivations
...1 Evaluation d’un nouveau test :
Reference (Gold Standard) binaire → Malade (M) / Non malade (M)Nouveau test → M / M
⇒ Quantifier le pouvoir diagnostic du nouveau test
...2 Variable numerique (ex : dosage biologique)
On desire utiliser cette variable pour separer les M des M⇒ Determiner un seuil optimal⇒ Quantifier le pouvoir discriminant de X
...3 2 tests destines a classer les patients (M et M)
⇒ Evaluation de la concordance = similitude entre les 2 tests.
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 3 / 35
Introduction
Motivations
...1 Evaluation d’un nouveau test :
Reference (Gold Standard) binaire → Malade (M) / Non malade (M)Nouveau test → M / M
⇒ Quantifier le pouvoir diagnostic du nouveau test
...2 Variable numerique (ex : dosage biologique)
On desire utiliser cette variable pour separer les M des M⇒ Determiner un seuil optimal⇒ Quantifier le pouvoir discriminant de X
...3 2 tests destines a classer les patients (M et M)
⇒ Evaluation de la concordance = similitude entre les 2 tests.
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 3 / 35
Introduction
Motivations
...1 Evaluation d’un nouveau test :
Reference (Gold Standard) binaire → Malade (M) / Non malade (M)Nouveau test → M / M
⇒ Quantifier le pouvoir diagnostic du nouveau test
...2 Variable numerique (ex : dosage biologique)
On desire utiliser cette variable pour separer les M des M⇒ Determiner un seuil optimal⇒ Quantifier le pouvoir discriminant de X
...3 2 tests destines a classer les patients (M et M)
⇒ Evaluation de la concordance = similitude entre les 2 tests.
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 3 / 35
Introduction
Motivations
...1 Evaluation d’un nouveau test :
Reference (Gold Standard) binaire → Malade (M) / Non malade (M)Nouveau test → M / M
⇒ Quantifier le pouvoir diagnostic du nouveau test
...2 Variable numerique (ex : dosage biologique)
On desire utiliser cette variable pour separer les M des M⇒ Determiner un seuil optimal⇒ Quantifier le pouvoir discriminant de X
...3 2 tests destines a classer les patients (M et M)
⇒ Evaluation de la concordance = similitude entre les 2 tests.
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 3 / 35
Introduction
Motivations
...1 Evaluation d’un nouveau test :
Reference (Gold Standard) binaire → Malade (M) / Non malade (M)Nouveau test → M / M
⇒ Quantifier le pouvoir diagnostic du nouveau test
...2 Variable numerique (ex : dosage biologique)
On desire utiliser cette variable pour separer les M des M⇒ Determiner un seuil optimal⇒ Quantifier le pouvoir discriminant de X
...3 2 tests destines a classer les patients (M et M)
⇒ Evaluation de la concordance = similitude entre les 2 tests.
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 3 / 35
Introduction
Motivations
...1 Evaluation d’un nouveau test :
Reference (Gold Standard) binaire → Malade (M) / Non malade (M)Nouveau test → M / M
⇒ Quantifier le pouvoir diagnostic du nouveau test
...2 Variable numerique (ex : dosage biologique)
On desire utiliser cette variable pour separer les M des M⇒ Determiner un seuil optimal⇒ Quantifier le pouvoir discriminant de X
...3 2 tests destines a classer les patients (M et M)
⇒ Evaluation de la concordance = similitude entre les 2 tests.
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 3 / 35
Introduction
Motivations
...1 Evaluation d’un nouveau test :
Reference (Gold Standard) binaire → Malade (M) / Non malade (M)Nouveau test → M / M
⇒ Quantifier le pouvoir diagnostic du nouveau test
...2 Variable numerique (ex : dosage biologique)
On desire utiliser cette variable pour separer les M des M⇒ Determiner un seuil optimal⇒ Quantifier le pouvoir discriminant de X
...3 2 tests destines a classer les patients (M et M)
⇒ Evaluation de la concordance = similitude entre les 2 tests.
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 3 / 35
Evaluation d’un test diagnostique
Point etudie
...1 Introduction
...2 Evaluation d’un test diagnostiqueDefinitionsAnalyse ROC
...3 Concordance
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 4 / 35
Evaluation d’un test diagnostique Definitions
Point etudie
...1 Introduction
...2 Evaluation d’un test diagnostiqueDefinitionsAnalyse ROC
...3 Concordance
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 5 / 35
Evaluation d’un test diagnostique Definitions
Definitions
...1 On cherche a separer les malades (M) des non-malades (M)
...2 On dispose d’une reference qui permet de les classer de maniere certaine(Gold Standard)
Considerons un test :
T+ : test positif en faveur de M
T− : test negatif en faveur de M
Considerons N patients
NM : nombre de malades (reference)
NM : nombre de non-malades (reference)
NT+ : nombre de tests positifs
NT− : nombre de tests negatifs
M M
T+ vp fp NT+
T− fn vn NT−
NM NM N
vp : vrai-positifs
vn : vrai-negatifs
fp : faux-positifs
fn : faux negatifs
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 6 / 35
Evaluation d’un test diagnostique Definitions
Definitions
...1 On cherche a separer les malades (M) des non-malades (M)
...2 On dispose d’une reference qui permet de les classer de maniere certaine(Gold Standard)
Considerons un test :
T+ : test positif en faveur de M
T− : test negatif en faveur de M
Considerons N patients
NM : nombre de malades (reference)
NM : nombre de non-malades (reference)
NT+ : nombre de tests positifs
NT− : nombre de tests negatifs
M M
T+ vp fp NT+
T− fn vn NT−
NM NM N
vp : vrai-positifs
vn : vrai-negatifs
fp : faux-positifs
fn : faux negatifs
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 6 / 35
Evaluation d’un test diagnostique Definitions
Definitions
...1 On cherche a separer les malades (M) des non-malades (M)
...2 On dispose d’une reference qui permet de les classer de maniere certaine(Gold Standard)
Considerons un test :
T+ : test positif en faveur de M
T− : test negatif en faveur de M
Considerons N patients
NM : nombre de malades (reference)
NM : nombre de non-malades (reference)
NT+ : nombre de tests positifs
NT− : nombre de tests negatifs
M M
T+ vp fp NT+
T− fn vn NT−
NM NM N
vp : vrai-positifs
vn : vrai-negatifs
fp : faux-positifs
fn : faux negatifs
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 6 / 35
Evaluation d’un test diagnostique Definitions
Definitions
...1 On cherche a separer les malades (M) des non-malades (M)
...2 On dispose d’une reference qui permet de les classer de maniere certaine(Gold Standard)
Considerons un test :
T+ : test positif en faveur de M
T− : test negatif en faveur de M
Considerons N patients
NM : nombre de malades (reference)
NM : nombre de non-malades (reference)
NT+ : nombre de tests positifs
NT− : nombre de tests negatifs
M M
T+ vp fp NT+
T− fn vn NT−
NM NM N
vp : vrai-positifs
vn : vrai-negatifs
fp : faux-positifs
fn : faux negatifs
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 6 / 35
Evaluation d’un test diagnostique Definitions
Definitions
...1 On cherche a separer les malades (M) des non-malades (M)
...2 On dispose d’une reference qui permet de les classer de maniere certaine(Gold Standard)
Considerons un test :
T+ : test positif en faveur de M
T− : test negatif en faveur de M
Considerons N patients
NM : nombre de malades (reference)
NM : nombre de non-malades (reference)
NT+ : nombre de tests positifs
NT− : nombre de tests negatifs
M M
T+ vp fp NT+
T− fn vn NT−
NM NM N
vp : vrai-positifs
vn : vrai-negatifs
fp : faux-positifs
fn : faux negatifs
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 6 / 35
Evaluation d’un test diagnostique Definitions
Definitions
...1 On cherche a separer les malades (M) des non-malades (M)
...2 On dispose d’une reference qui permet de les classer de maniere certaine(Gold Standard)
Considerons un test :
T+ : test positif en faveur de M
T− : test negatif en faveur de M
Considerons N patients
NM : nombre de malades (reference)
NM : nombre de non-malades (reference)
NT+ : nombre de tests positifs
NT− : nombre de tests negatifs
M M
T+ vp fp NT+
T− fn vn NT−
NM NM N
vp : vrai-positifs
vn : vrai-negatifs
fp : faux-positifs
fn : faux negatifs
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 6 / 35
Evaluation d’un test diagnostique Definitions
Definitions
...1 On cherche a separer les malades (M) des non-malades (M)
...2 On dispose d’une reference qui permet de les classer de maniere certaine(Gold Standard)
Considerons un test :
T+ : test positif en faveur de M
T− : test negatif en faveur de M
Considerons N patients
NM : nombre de malades (reference)
NM : nombre de non-malades (reference)
NT+ : nombre de tests positifs
NT− : nombre de tests negatifs
M M
T+ vp fp NT+
T− fn vn NT−
NM NM N
vp : vrai-positifs
vn : vrai-negatifs
fp : faux-positifs
fn : faux negatifs
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 6 / 35
Evaluation d’un test diagnostique Definitions
Definitions
...1 On cherche a separer les malades (M) des non-malades (M)
...2 On dispose d’une reference qui permet de les classer de maniere certaine(Gold Standard)
Considerons un test :
T+ : test positif en faveur de M
T− : test negatif en faveur de M
Considerons N patients
NM : nombre de malades (reference)
NM : nombre de non-malades (reference)
NT+ : nombre de tests positifs
NT− : nombre de tests negatifs
M M
T+ vp fp NT+
T− fn vn NT−
NM NM N
vp : vrai-positifs
vn : vrai-negatifs
fp : faux-positifs
fn : faux negatifs
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 6 / 35
Evaluation d’un test diagnostique Definitions
Definitions
...1 On cherche a separer les malades (M) des non-malades (M)
...2 On dispose d’une reference qui permet de les classer de maniere certaine(Gold Standard)
Considerons un test :
T+ : test positif en faveur de M
T− : test negatif en faveur de M
Considerons N patients
NM : nombre de malades (reference)
NM : nombre de non-malades (reference)
NT+ : nombre de tests positifs
NT− : nombre de tests negatifs
M M
T+ vp fp NT+
T− fn vn NT−
NM NM N
vp : vrai-positifs
vn : vrai-negatifs
fp : faux-positifs
fn : faux negatifs
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 6 / 35
Evaluation d’un test diagnostique Definitions
Definitions - Validite intrinseque du test (Probabilites pre-test)
Le pourcentage de ”bien classes” defini par vp+vnN ne reflete pas les 2 types
d’erreurs qui peuvent avoir des consequence tres =...1 Dire que le patient est non-malade a tort (fn)...2 Dire que le patient est malade a tort (fp)
Ces 2 types d’erreur sont quantifies par
.Sensibilite (Se)..
......
Pourcentage de vrai-positifs (vp) chez les malades :
vp
NM= P(T+/M)
.Specificite (Sp)..
......
Pourcentage de vrai-negatifs (vn) chez les non-malades :
vn
NM
= P(T−/M)
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 7 / 35
Evaluation d’un test diagnostique Definitions
Definitions - Validite intrinseque du test (Probabilites pre-test)
Le pourcentage de ”bien classes” defini par vp+vnN ne reflete pas les 2 types
d’erreurs qui peuvent avoir des consequence tres =...1 Dire que le patient est non-malade a tort (fn)...2 Dire que le patient est malade a tort (fp)
Ces 2 types d’erreur sont quantifies par
.Sensibilite (Se)..
......
Pourcentage de vrai-positifs (vp) chez les malades :
vp
NM= P(T+/M)
.Specificite (Sp)..
......
Pourcentage de vrai-negatifs (vn) chez les non-malades :
vn
NM
= P(T−/M)
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 7 / 35
Evaluation d’un test diagnostique Definitions
Definitions - Validite intrinseque du test (Probabilites pre-test)
Le pourcentage de ”bien classes” defini par vp+vnN ne reflete pas les 2 types
d’erreurs qui peuvent avoir des consequence tres =...1 Dire que le patient est non-malade a tort (fn)...2 Dire que le patient est malade a tort (fp)
Ces 2 types d’erreur sont quantifies par
.Sensibilite (Se)..
......
Pourcentage de vrai-positifs (vp) chez les malades :
vp
NM= P(T+/M)
.Specificite (Sp)..
......
Pourcentage de vrai-negatifs (vn) chez les non-malades :
vn
NM
= P(T−/M)
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 7 / 35
Evaluation d’un test diagnostique Definitions
Definitions - Validite intrinseque du test (Probabilites pre-test)
Le pourcentage de ”bien classes” defini par vp+vnN ne reflete pas les 2 types
d’erreurs qui peuvent avoir des consequence tres =...1 Dire que le patient est non-malade a tort (fn)...2 Dire que le patient est malade a tort (fp)
Ces 2 types d’erreur sont quantifies par
.Sensibilite (Se)..
......
Pourcentage de vrai-positifs (vp) chez les malades :
vp
NM= P(T+/M)
.Specificite (Sp)..
......
Pourcentage de vrai-negatifs (vn) chez les non-malades :
vn
NM
= P(T−/M)
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 7 / 35
Evaluation d’un test diagnostique Definitions
Definitions - Validite intrinseque du test (Probabilites pre-test)
Le pourcentage de ”bien classes” defini par vp+vnN ne reflete pas les 2 types
d’erreurs qui peuvent avoir des consequence tres =...1 Dire que le patient est non-malade a tort (fn)...2 Dire que le patient est malade a tort (fp)
Ces 2 types d’erreur sont quantifies par
.Sensibilite (Se)..
......
Pourcentage de vrai-positifs (vp) chez les malades :
vp
NM= P(T+/M)
.Specificite (Sp)..
......
Pourcentage de vrai-negatifs (vn) chez les non-malades :
vn
NM
= P(T−/M)
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 7 / 35
Evaluation d’un test diagnostique Definitions
Definitions - Validite intrinseque du test (Probabilites pre-test)
Le pourcentage de ”bien classes” defini par vp+vnN ne reflete pas les 2 types
d’erreurs qui peuvent avoir des consequence tres =...1 Dire que le patient est non-malade a tort (fn)...2 Dire que le patient est malade a tort (fp)
Ces 2 types d’erreur sont quantifies par
.Sensibilite (Se)..
......
Pourcentage de vrai-positifs (vp) chez les malades :
vp
NM= P(T+/M)
.Specificite (Sp)..
......
Pourcentage de vrai-negatifs (vn) chez les non-malades :
vn
NM
= P(T−/M)
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 7 / 35
Evaluation d’un test diagnostique Definitions
Un test est caracterise par ces deux parametres (Se,Sp).
Remarque 1
Les tests tres sensibles sont utiles pour s’assurer que la maladie n’est paspresente (peu de faux negatifs)
→ La maladie est grave et ne doit pas etre ignoree
Les tests tres specifiques sont utiles pour s’assurer que la maladie est bienpresente (peu de faux positifs)
→ Maladie incurable, traitement lourd
Remarque 2
Ces 2 parametres sont independants de la prevalence de la maladie
→ pas besoin de respecter la prevalence de la population (echantillonrepresentatif)
→ En general, on trouve 100 M et 100 M
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 8 / 35
Evaluation d’un test diagnostique Definitions
Un test est caracterise par ces deux parametres (Se,Sp).
Remarque 1
Les tests tres sensibles sont utiles pour s’assurer que la maladie n’est paspresente (peu de faux negatifs)
→ La maladie est grave et ne doit pas etre ignoree
Les tests tres specifiques sont utiles pour s’assurer que la maladie est bienpresente (peu de faux positifs)
→ Maladie incurable, traitement lourd
Remarque 2
Ces 2 parametres sont independants de la prevalence de la maladie
→ pas besoin de respecter la prevalence de la population (echantillonrepresentatif)
→ En general, on trouve 100 M et 100 M
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 8 / 35
Evaluation d’un test diagnostique Definitions
Un test est caracterise par ces deux parametres (Se,Sp).
Remarque 1
Les tests tres sensibles sont utiles pour s’assurer que la maladie n’est paspresente (peu de faux negatifs)
→ La maladie est grave et ne doit pas etre ignoree
Les tests tres specifiques sont utiles pour s’assurer que la maladie est bienpresente (peu de faux positifs)
→ Maladie incurable, traitement lourd
Remarque 2
Ces 2 parametres sont independants de la prevalence de la maladie
→ pas besoin de respecter la prevalence de la population (echantillonrepresentatif)
→ En general, on trouve 100 M et 100 M
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 8 / 35
Evaluation d’un test diagnostique Definitions
Un test est caracterise par ces deux parametres (Se,Sp).
Remarque 1
Les tests tres sensibles sont utiles pour s’assurer que la maladie n’est paspresente (peu de faux negatifs)
→ La maladie est grave et ne doit pas etre ignoree
Les tests tres specifiques sont utiles pour s’assurer que la maladie est bienpresente (peu de faux positifs)
→ Maladie incurable, traitement lourd
Remarque 2
Ces 2 parametres sont independants de la prevalence de la maladie
→ pas besoin de respecter la prevalence de la population (echantillonrepresentatif)
→ En general, on trouve 100 M et 100 M
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 8 / 35
Evaluation d’un test diagnostique Definitions
Un test est caracterise par ces deux parametres (Se,Sp).
Remarque 1
Les tests tres sensibles sont utiles pour s’assurer que la maladie n’est paspresente (peu de faux negatifs)
→ La maladie est grave et ne doit pas etre ignoree
Les tests tres specifiques sont utiles pour s’assurer que la maladie est bienpresente (peu de faux positifs)
→ Maladie incurable, traitement lourd
Remarque 2
Ces 2 parametres sont independants de la prevalence de la maladie
→ pas besoin de respecter la prevalence de la population (echantillonrepresentatif)
→ En general, on trouve 100 M et 100 M
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 8 / 35
Evaluation d’un test diagnostique Definitions
Un test est caracterise par ces deux parametres (Se,Sp).
Remarque 1
Les tests tres sensibles sont utiles pour s’assurer que la maladie n’est paspresente (peu de faux negatifs)
→ La maladie est grave et ne doit pas etre ignoree
Les tests tres specifiques sont utiles pour s’assurer que la maladie est bienpresente (peu de faux positifs)
→ Maladie incurable, traitement lourd
Remarque 2
Ces 2 parametres sont independants de la prevalence de la maladie
→ pas besoin de respecter la prevalence de la population (echantillonrepresentatif)
→ En general, on trouve 100 M et 100 M
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 8 / 35
Evaluation d’un test diagnostique Definitions
Un test est caracterise par ces deux parametres (Se,Sp).
Remarque 1
Les tests tres sensibles sont utiles pour s’assurer que la maladie n’est paspresente (peu de faux negatifs)
→ La maladie est grave et ne doit pas etre ignoree
Les tests tres specifiques sont utiles pour s’assurer que la maladie est bienpresente (peu de faux positifs)
→ Maladie incurable, traitement lourd
Remarque 2
Ces 2 parametres sont independants de la prevalence de la maladie
→ pas besoin de respecter la prevalence de la population (echantillonrepresentatif)
→ En general, on trouve 100 M et 100 M
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 8 / 35
Evaluation d’un test diagnostique Definitions
Un test est caracterise par ces deux parametres (Se,Sp).
Remarque 1
Les tests tres sensibles sont utiles pour s’assurer que la maladie n’est paspresente (peu de faux negatifs)
→ La maladie est grave et ne doit pas etre ignoree
Les tests tres specifiques sont utiles pour s’assurer que la maladie est bienpresente (peu de faux positifs)
→ Maladie incurable, traitement lourd
Remarque 2
Ces 2 parametres sont independants de la prevalence de la maladie
→ pas besoin de respecter la prevalence de la population (echantillonrepresentatif)
→ En general, on trouve 100 M et 100 M
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 8 / 35
Evaluation d’un test diagnostique Definitions
Un test est caracterise par ces deux parametres (Se,Sp).
Remarque 1
Les tests tres sensibles sont utiles pour s’assurer que la maladie n’est paspresente (peu de faux negatifs)
→ La maladie est grave et ne doit pas etre ignoree
Les tests tres specifiques sont utiles pour s’assurer que la maladie est bienpresente (peu de faux positifs)
→ Maladie incurable, traitement lourd
Remarque 2
Ces 2 parametres sont independants de la prevalence de la maladie
→ pas besoin de respecter la prevalence de la population (echantillonrepresentatif)
→ En general, on trouve 100 M et 100 M
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 8 / 35
Evaluation d’un test diagnostique Definitions
Un test est caracterise par ces deux parametres (Se,Sp).
Remarque 1
Les tests tres sensibles sont utiles pour s’assurer que la maladie n’est paspresente (peu de faux negatifs)
→ La maladie est grave et ne doit pas etre ignoree
Les tests tres specifiques sont utiles pour s’assurer que la maladie est bienpresente (peu de faux positifs)
→ Maladie incurable, traitement lourd
Remarque 2
Ces 2 parametres sont independants de la prevalence de la maladie
→ pas besoin de respecter la prevalence de la population (echantillonrepresentatif)
→ En general, on trouve 100 M et 100 M
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 8 / 35
Evaluation d’un test diagnostique Definitions
Definitions - Validite extrinseque du test (Probabilites post-test)
.Valeur Predictive Positive (VPP)..
......
Probabilite qu’un individu soit reellement malade sachant que le test est positif :
P(M/T+) =vp
NT+
.Valeur Predictive Negative (VPN)..
......
Probabilite qu’un individu soit reellement non-malade sachant que le test estnegatif :
P(M/T−) =vn
NT−
Tres important en situation clinique car on ignore tres souvent le diagnostic dereference.
Ces formules sont utilisables lorsque l’echantillon est representatif de lapopulation !!
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 9 / 35
Evaluation d’un test diagnostique Definitions
Definitions - Validite extrinseque du test (Probabilites post-test)
.Valeur Predictive Positive (VPP)..
......
Probabilite qu’un individu soit reellement malade sachant que le test est positif :
P(M/T+) =vp
NT+
.Valeur Predictive Negative (VPN)..
......
Probabilite qu’un individu soit reellement non-malade sachant que le test estnegatif :
P(M/T−) =vn
NT−
Tres important en situation clinique car on ignore tres souvent le diagnostic dereference.
Ces formules sont utilisables lorsque l’echantillon est representatif de lapopulation !!
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 9 / 35
Evaluation d’un test diagnostique Definitions
Definitions - Validite extrinseque du test (Probabilites post-test)
.Valeur Predictive Positive (VPP)..
......
Probabilite qu’un individu soit reellement malade sachant que le test est positif :
P(M/T+) =vp
NT+
.Valeur Predictive Negative (VPN)..
......
Probabilite qu’un individu soit reellement non-malade sachant que le test estnegatif :
P(M/T−) =vn
NT−
Tres important en situation clinique car on ignore tres souvent le diagnostic dereference.
Ces formules sont utilisables lorsque l’echantillon est representatif de lapopulation !!
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 9 / 35
Evaluation d’un test diagnostique Definitions
Definitions - Validite extrinseque du test (Probabilites post-test)
.Valeur Predictive Positive (VPP)..
......
Probabilite qu’un individu soit reellement malade sachant que le test est positif :
P(M/T+) =vp
NT+
.Valeur Predictive Negative (VPN)..
......
Probabilite qu’un individu soit reellement non-malade sachant que le test estnegatif :
P(M/T−) =vn
NT−
Tres important en situation clinique car on ignore tres souvent le diagnostic dereference.
Ces formules sont utilisables lorsque l’echantillon est representatif de lapopulation !!
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 9 / 35
Evaluation d’un test diagnostique Definitions
Remarque 1
Une VPP faible → examens supplementaires lourds chez des non-malades
Une VPN faible → rassurer des patients a tort
→ Indice de fiabilite du test
Remarque 2
Ces deux parametres dependent de l’echantillon etudie (prevalence de lamaladie). Donc si l’echantillon n’est pas representatif (prevalence) :
→ Calcul de VPP et VPN en utilisant une formule faisant intervenir Se, Sp etprevalence de la maladie (Formule de Bayes).
→ Un prevalence importante va ameliorer la VPP mais diminuer la VPN
→ Un prevalence faible va diminuer la VPP mais ameliorer la VPN
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 10 / 35
Evaluation d’un test diagnostique Definitions
Remarque 1
Une VPP faible → examens supplementaires lourds chez des non-malades
Une VPN faible → rassurer des patients a tort
→ Indice de fiabilite du test
Remarque 2
Ces deux parametres dependent de l’echantillon etudie (prevalence de lamaladie). Donc si l’echantillon n’est pas representatif (prevalence) :
→ Calcul de VPP et VPN en utilisant une formule faisant intervenir Se, Sp etprevalence de la maladie (Formule de Bayes).
→ Un prevalence importante va ameliorer la VPP mais diminuer la VPN
→ Un prevalence faible va diminuer la VPP mais ameliorer la VPN
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 10 / 35
Evaluation d’un test diagnostique Definitions
Remarque 1
Une VPP faible → examens supplementaires lourds chez des non-malades
Une VPN faible → rassurer des patients a tort
→ Indice de fiabilite du test
Remarque 2
Ces deux parametres dependent de l’echantillon etudie (prevalence de lamaladie). Donc si l’echantillon n’est pas representatif (prevalence) :
→ Calcul de VPP et VPN en utilisant une formule faisant intervenir Se, Sp etprevalence de la maladie (Formule de Bayes).
→ Un prevalence importante va ameliorer la VPP mais diminuer la VPN
→ Un prevalence faible va diminuer la VPP mais ameliorer la VPN
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 10 / 35
Evaluation d’un test diagnostique Definitions
Remarque 1
Une VPP faible → examens supplementaires lourds chez des non-malades
Une VPN faible → rassurer des patients a tort
→ Indice de fiabilite du test
Remarque 2
Ces deux parametres dependent de l’echantillon etudie (prevalence de lamaladie). Donc si l’echantillon n’est pas representatif (prevalence) :
→ Calcul de VPP et VPN en utilisant une formule faisant intervenir Se, Sp etprevalence de la maladie (Formule de Bayes).
→ Un prevalence importante va ameliorer la VPP mais diminuer la VPN
→ Un prevalence faible va diminuer la VPP mais ameliorer la VPN
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 10 / 35
Evaluation d’un test diagnostique Definitions
Remarque 1
Une VPP faible → examens supplementaires lourds chez des non-malades
Une VPN faible → rassurer des patients a tort
→ Indice de fiabilite du test
Remarque 2
Ces deux parametres dependent de l’echantillon etudie (prevalence de lamaladie). Donc si l’echantillon n’est pas representatif (prevalence) :
→ Calcul de VPP et VPN en utilisant une formule faisant intervenir Se, Sp etprevalence de la maladie (Formule de Bayes).
→ Un prevalence importante va ameliorer la VPP mais diminuer la VPN
→ Un prevalence faible va diminuer la VPP mais ameliorer la VPN
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 10 / 35
Evaluation d’un test diagnostique Definitions
Remarque 1
Une VPP faible → examens supplementaires lourds chez des non-malades
Une VPN faible → rassurer des patients a tort
→ Indice de fiabilite du test
Remarque 2
Ces deux parametres dependent de l’echantillon etudie (prevalence de lamaladie). Donc si l’echantillon n’est pas representatif (prevalence) :
→ Calcul de VPP et VPN en utilisant une formule faisant intervenir Se, Sp etprevalence de la maladie (Formule de Bayes).
→ Un prevalence importante va ameliorer la VPP mais diminuer la VPN
→ Un prevalence faible va diminuer la VPP mais ameliorer la VPN
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 10 / 35
Evaluation d’un test diagnostique Definitions
Remarque 1
Une VPP faible → examens supplementaires lourds chez des non-malades
Une VPN faible → rassurer des patients a tort
→ Indice de fiabilite du test
Remarque 2
Ces deux parametres dependent de l’echantillon etudie (prevalence de lamaladie). Donc si l’echantillon n’est pas representatif (prevalence) :
→ Calcul de VPP et VPN en utilisant une formule faisant intervenir Se, Sp etprevalence de la maladie (Formule de Bayes).
→ Un prevalence importante va ameliorer la VPP mais diminuer la VPN
→ Un prevalence faible va diminuer la VPP mais ameliorer la VPN
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 10 / 35
Evaluation d’un test diagnostique Definitions
Remarque 1
Une VPP faible → examens supplementaires lourds chez des non-malades
Une VPN faible → rassurer des patients a tort
→ Indice de fiabilite du test
Remarque 2
Ces deux parametres dependent de l’echantillon etudie (prevalence de lamaladie). Donc si l’echantillon n’est pas representatif (prevalence) :
→ Calcul de VPP et VPN en utilisant une formule faisant intervenir Se, Sp etprevalence de la maladie (Formule de Bayes).
→ Un prevalence importante va ameliorer la VPP mais diminuer la VPN
→ Un prevalence faible va diminuer la VPP mais ameliorer la VPN
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 10 / 35
Evaluation d’un test diagnostique Definitions
Remarque 1
Une VPP faible → examens supplementaires lourds chez des non-malades
Une VPN faible → rassurer des patients a tort
→ Indice de fiabilite du test
Remarque 2
Ces deux parametres dependent de l’echantillon etudie (prevalence de lamaladie). Donc si l’echantillon n’est pas representatif (prevalence) :
→ Calcul de VPP et VPN en utilisant une formule faisant intervenir Se, Sp etprevalence de la maladie (Formule de Bayes).
→ Un prevalence importante va ameliorer la VPP mais diminuer la VPN
→ Un prevalence faible va diminuer la VPP mais ameliorer la VPN
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 10 / 35
Evaluation d’un test diagnostique Definitions
Remarque 1
Une VPP faible → examens supplementaires lourds chez des non-malades
Une VPN faible → rassurer des patients a tort
→ Indice de fiabilite du test
Remarque 2
Ces deux parametres dependent de l’echantillon etudie (prevalence de lamaladie). Donc si l’echantillon n’est pas representatif (prevalence) :
→ Calcul de VPP et VPN en utilisant une formule faisant intervenir Se, Sp etprevalence de la maladie (Formule de Bayes).
→ Un prevalence importante va ameliorer la VPP mais diminuer la VPN
→ Un prevalence faible va diminuer la VPP mais ameliorer la VPN
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 10 / 35
Evaluation d’un test diagnostique Definitions
Exemple : Se = 0.8 et Sp = 0.9
Echantillon 1M M
T+ 80 10 90
T− 20 90 110
100 100 200
VPP =80
90≈ 0.89
VPN =90
110≈ 0.82
Echantillon 2M M
T+ 160 10 170
T− 40 90 130
200 100 300
VPP =160
170≈ 0.94
VPN =90
130≈ 0.69
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 11 / 35
Evaluation d’un test diagnostique Definitions
En situation clinique, on ne dispose pas du diagnostic de reference mais ondispose de
Sensibilite et Specificite du test
La prevalence de la maladie dans la population (P(M) = p)
On souhaite calculer la VPP et la VPN en utilisant ces informations :
VPP = P(M/T+) =P(T+/M)P(M)
P(T+)=
P(T+/M)P(M)
P(T+/M)P(M) + P(T+/M)P(M)
.
......VPP =
Se.p
Se.p + (1− Sp)(1− p)
VPN = P(M/T−) =P(T−/M)P(M)
P(T−)=
P(T−/M)P(M)
P(T−/M)P(M) + P(T−/M)P(M)
.
......VPN =
Sp(1− p)
Sp(1− p) + (1− Se)p
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 12 / 35
Evaluation d’un test diagnostique Definitions
En situation clinique, on ne dispose pas du diagnostic de reference mais ondispose de
Sensibilite et Specificite du test
La prevalence de la maladie dans la population (P(M) = p)
On souhaite calculer la VPP et la VPN en utilisant ces informations :
VPP = P(M/T+) =P(T+/M)P(M)
P(T+)=
P(T+/M)P(M)
P(T+/M)P(M) + P(T+/M)P(M)
.
......VPP =
Se.p
Se.p + (1− Sp)(1− p)
VPN = P(M/T−) =P(T−/M)P(M)
P(T−)=
P(T−/M)P(M)
P(T−/M)P(M) + P(T−/M)P(M)
.
......VPN =
Sp(1− p)
Sp(1− p) + (1− Se)p
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 12 / 35
Evaluation d’un test diagnostique Definitions
En situation clinique, on ne dispose pas du diagnostic de reference mais ondispose de
Sensibilite et Specificite du test
La prevalence de la maladie dans la population (P(M) = p)
On souhaite calculer la VPP et la VPN en utilisant ces informations :
VPP = P(M/T+) =P(T+/M)P(M)
P(T+)=
P(T+/M)P(M)
P(T+/M)P(M) + P(T+/M)P(M)
.
......VPP =
Se.p
Se.p + (1− Sp)(1− p)
VPN = P(M/T−) =P(T−/M)P(M)
P(T−)=
P(T−/M)P(M)
P(T−/M)P(M) + P(T−/M)P(M)
.
......VPN =
Sp(1− p)
Sp(1− p) + (1− Se)p
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 12 / 35
Evaluation d’un test diagnostique Definitions
En situation clinique, on ne dispose pas du diagnostic de reference mais ondispose de
Sensibilite et Specificite du test
La prevalence de la maladie dans la population (P(M) = p)
On souhaite calculer la VPP et la VPN en utilisant ces informations :
VPP = P(M/T+) =P(T+/M)P(M)
P(T+)=
P(T+/M)P(M)
P(T+/M)P(M) + P(T+/M)P(M)
.
......VPP =
Se.p
Se.p + (1− Sp)(1− p)
VPN = P(M/T−) =P(T−/M)P(M)
P(T−)=
P(T−/M)P(M)
P(T−/M)P(M) + P(T−/M)P(M)
.
......VPN =
Sp(1− p)
Sp(1− p) + (1− Se)p
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 12 / 35
Evaluation d’un test diagnostique Definitions
En situation clinique, on ne dispose pas du diagnostic de reference mais ondispose de
Sensibilite et Specificite du test
La prevalence de la maladie dans la population (P(M) = p)
On souhaite calculer la VPP et la VPN en utilisant ces informations :
VPP = P(M/T+) =P(T+/M)P(M)
P(T+)=
P(T+/M)P(M)
P(T+/M)P(M) + P(T+/M)P(M)
.
......VPP =
Se.p
Se.p + (1− Sp)(1− p)
VPN = P(M/T−) =P(T−/M)P(M)
P(T−)=
P(T−/M)P(M)
P(T−/M)P(M) + P(T−/M)P(M)
.
......VPN =
Sp(1− p)
Sp(1− p) + (1− Se)p
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 12 / 35
Evaluation d’un test diagnostique Definitions
En situation clinique, on ne dispose pas du diagnostic de reference mais ondispose de
Sensibilite et Specificite du test
La prevalence de la maladie dans la population (P(M) = p)
On souhaite calculer la VPP et la VPN en utilisant ces informations :
VPP = P(M/T+) =P(T+/M)P(M)
P(T+)=
P(T+/M)P(M)
P(T+/M)P(M) + P(T+/M)P(M)
.
......VPP =
Se.p
Se.p + (1− Sp)(1− p)
VPN = P(M/T−) =P(T−/M)P(M)
P(T−)=
P(T−/M)P(M)
P(T−/M)P(M) + P(T−/M)P(M)
.
......VPN =
Sp(1− p)
Sp(1− p) + (1− Se)p
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 12 / 35
Evaluation d’un test diagnostique Definitions
En situation clinique, on ne dispose pas du diagnostic de reference mais ondispose de
Sensibilite et Specificite du test
La prevalence de la maladie dans la population (P(M) = p)
On souhaite calculer la VPP et la VPN en utilisant ces informations :
VPP = P(M/T+) =P(T+/M)P(M)
P(T+)=
P(T+/M)P(M)
P(T+/M)P(M) + P(T+/M)P(M)
.
......VPP =
Se.p
Se.p + (1− Sp)(1− p)
VPN = P(M/T−) =P(T−/M)P(M)
P(T−)=
P(T−/M)P(M)
P(T−/M)P(M) + P(T−/M)P(M)
.
......VPN =
Sp(1− p)
Sp(1− p) + (1− Se)p
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 12 / 35
Evaluation d’un test diagnostique Definitions
En situation clinique, on ne dispose pas du diagnostic de reference mais ondispose de
Sensibilite et Specificite du test
La prevalence de la maladie dans la population (P(M) = p)
On souhaite calculer la VPP et la VPN en utilisant ces informations :
VPP = P(M/T+) =P(T+/M)P(M)
P(T+)=
P(T+/M)P(M)
P(T+/M)P(M) + P(T+/M)P(M)
.
......VPP =
Se.p
Se.p + (1− Sp)(1− p)
VPN = P(M/T−) =P(T−/M)P(M)
P(T−)=
P(T−/M)P(M)
P(T−/M)P(M) + P(T−/M)P(M)
.
......VPN =
Sp(1− p)
Sp(1− p) + (1− Se)p
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 12 / 35
Evaluation d’un test diagnostique Definitions
En situation clinique, on ne dispose pas du diagnostic de reference mais ondispose de
Sensibilite et Specificite du test
La prevalence de la maladie dans la population (P(M) = p)
On souhaite calculer la VPP et la VPN en utilisant ces informations :
VPP = P(M/T+) =P(T+/M)P(M)
P(T+)=
P(T+/M)P(M)
P(T+/M)P(M) + P(T+/M)P(M)
.
......VPP =
Se.p
Se.p + (1− Sp)(1− p)
VPN = P(M/T−) =P(T−/M)P(M)
P(T−)=
P(T−/M)P(M)
P(T−/M)P(M) + P(T−/M)P(M)
.
......VPN =
Sp(1− p)
Sp(1− p) + (1− Se)p
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 12 / 35
Evaluation d’un test diagnostique Definitions
En situation clinique, on ne dispose pas du diagnostic de reference mais ondispose de
Sensibilite et Specificite du test
La prevalence de la maladie dans la population (P(M) = p)
On souhaite calculer la VPP et la VPN en utilisant ces informations :
VPP = P(M/T+) =P(T+/M)P(M)
P(T+)=
P(T+/M)P(M)
P(T+/M)P(M) + P(T+/M)P(M)
.
......VPP =
Se.p
Se.p + (1− Sp)(1− p)
VPN = P(M/T−) =P(T−/M)P(M)
P(T−)=
P(T−/M)P(M)
P(T−/M)P(M) + P(T−/M)P(M)
.
......VPN =
Sp(1− p)
Sp(1− p) + (1− Se)p
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 12 / 35
Evaluation d’un test diagnostique Definitions
En situation clinique, on ne dispose pas du diagnostic de reference mais ondispose de
Sensibilite et Specificite du test
La prevalence de la maladie dans la population (P(M) = p)
On souhaite calculer la VPP et la VPN en utilisant ces informations :
VPP = P(M/T+) =P(T+/M)P(M)
P(T+)=
P(T+/M)P(M)
P(T+/M)P(M) + P(T+/M)P(M)
.
......VPP =
Se.p
Se.p + (1− Sp)(1− p)
VPN = P(M/T−) =P(T−/M)P(M)
P(T−)=
P(T−/M)P(M)
P(T−/M)P(M) + P(T−/M)P(M)
.
......VPN =
Sp(1− p)
Sp(1− p) + (1− Se)p
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 12 / 35
Evaluation d’un test diagnostique Definitions
En situation clinique, on ne dispose pas du diagnostic de reference mais ondispose de
Sensibilite et Specificite du test
La prevalence de la maladie dans la population (P(M) = p)
On souhaite calculer la VPP et la VPN en utilisant ces informations :
VPP = P(M/T+) =P(T+/M)P(M)
P(T+)=
P(T+/M)P(M)
P(T+/M)P(M) + P(T+/M)P(M)
.
......VPP =
Se.p
Se.p + (1− Sp)(1− p)
VPN = P(M/T−) =P(T−/M)P(M)
P(T−)=
P(T−/M)P(M)
P(T−/M)P(M) + P(T−/M)P(M)
.
......VPN =
Sp(1− p)
Sp(1− p) + (1− Se)p
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 12 / 35
Evaluation d’un test diagnostique Analyse ROC
Point etudie
...1 Introduction
...2 Evaluation d’un test diagnostiqueDefinitionsAnalyse ROC
...3 Concordance
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 13 / 35
Evaluation d’un test diagnostique Analyse ROC
Problematique
On dispose d’une variable quantitative X (ex : dosage biologique). On souhaite :
Determiner le seuil optimal (pour separer les M des M)
Quantifier le pouvoir diagnostic de X
Le seuil optimal est celui qui separe au mieux les M des M en respectant les deuxtypes de risques (fp,fn).
⇒ max(Se, Sp)
Probleme : les deux parametres varient en sens contraire !!
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 14 / 35
Evaluation d’un test diagnostique Analyse ROC
Problematique
On dispose d’une variable quantitative X (ex : dosage biologique). On souhaite :
Determiner le seuil optimal (pour separer les M des M)
Quantifier le pouvoir diagnostic de X
Le seuil optimal est celui qui separe au mieux les M des M en respectant les deuxtypes de risques (fp,fn).
⇒ max(Se, Sp)
Probleme : les deux parametres varient en sens contraire !!
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 14 / 35
Evaluation d’un test diagnostique Analyse ROC
Problematique
On dispose d’une variable quantitative X (ex : dosage biologique). On souhaite :
Determiner le seuil optimal (pour separer les M des M)
Quantifier le pouvoir diagnostic de X
Le seuil optimal est celui qui separe au mieux les M des M en respectant les deuxtypes de risques (fp,fn).
⇒ max(Se, Sp)
Probleme : les deux parametres varient en sens contraire !!
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 14 / 35
Evaluation d’un test diagnostique Analyse ROC
Problematique
On dispose d’une variable quantitative X (ex : dosage biologique). On souhaite :
Determiner le seuil optimal (pour separer les M des M)
Quantifier le pouvoir diagnostic de X
Le seuil optimal est celui qui separe au mieux les M des M en respectant les deuxtypes de risques (fp,fn).
⇒ max(Se, Sp)
Probleme : les deux parametres varient en sens contraire !!
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 14 / 35
Evaluation d’un test diagnostique Analyse ROC
Problematique
On dispose d’une variable quantitative X (ex : dosage biologique). On souhaite :
Determiner le seuil optimal (pour separer les M des M)
Quantifier le pouvoir diagnostic de X
Le seuil optimal est celui qui separe au mieux les M des M en respectant les deuxtypes de risques (fp,fn).
⇒ max(Se, Sp)
Probleme : les deux parametres varient en sens contraire !!
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 14 / 35
Evaluation d’un test diagnostique Analyse ROC
Exemple - 2 cas extremes
M M
Xs1
vn pour s1
fp pour s1
vp pour s1
Seuil s1 :
Si X < s1 alors M (pas de fn)
Si X ≥ s1 alors M et M (bcp de fp)
⇒ Se = 1 mais Sp mauvaise
M M
T+ (X ≥ s1) vp fp
T− (X < s1) 0 vn
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 15 / 35
Evaluation d’un test diagnostique Analyse ROC
Exemple - 2 cas extremes
M M
Xs1
vn pour s1
fp pour s1
vp pour s1
Seuil s1 :
Si X < s1 alors M (pas de fn)
Si X ≥ s1 alors M et M (bcp de fp)
⇒ Se = 1 mais Sp mauvaise
M M
T+ (X ≥ s1) vp fp
T− (X < s1) 0 vn
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 15 / 35
Evaluation d’un test diagnostique Analyse ROC
Exemple - 2 cas extremes
M M
Xs2vn pour s2
fn pour s2
vp pour s2
Seuil s2 :
Si X < s2 alors M et M (bcp de fn)
Mais si X ≥ s2 alors M (pas de fp)
⇒ Sp = 1 mais Se mauvaise
M M
T+ (X ≥ s2) vp 0
T− (X < s2) fn vn
→ Necessite de trouver un compromis !! ←
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 16 / 35
Evaluation d’un test diagnostique Analyse ROC
Exemple - 2 cas extremes
M M
Xs2vn pour s2
fn pour s2
vp pour s2
Seuil s2 :
Si X < s2 alors M et M (bcp de fn)
Mais si X ≥ s2 alors M (pas de fp)
⇒ Sp = 1 mais Se mauvaise
M M
T+ (X ≥ s2) vp 0
T− (X < s2) fn vn
→ Necessite de trouver un compromis !! ←
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 16 / 35
Evaluation d’un test diagnostique Analyse ROC
Exemple - 2 cas extremes
M M
Xs2vn pour s2
fn pour s2
vp pour s2
Seuil s2 :
Si X < s2 alors M et M (bcp de fn)
Mais si X ≥ s2 alors M (pas de fp)
⇒ Sp = 1 mais Se mauvaise
M M
T+ (X ≥ s2) vp 0
T− (X < s2) fn vn
→ Necessite de trouver un compromis !! ←
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 16 / 35
Evaluation d’un test diagnostique Analyse ROC
Courbe ROC (Receiver Operating Characteristic)
0.0 0.2 0.4 0.6 0.8 1.0
0.0
0.2
0.4
0.6
0.8
1.0
1−Sp
Se
● Point idéal (0,1)
● s2
●
s1
Objectif : determiner le seuil s qui separe au mieux les M des M
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 17 / 35
Evaluation d’un test diagnostique Analyse ROC
Courbe ROC (Receiver Operating Characteristic)
0.0 0.2 0.4 0.6 0.8 1.0
0.0
0.2
0.4
0.6
0.8
1.0
1−Sp
Se
● Point idéal (0,1)
● s2
●
s1
Objectif : determiner le seuil s qui separe au mieux les M des M
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 17 / 35
Evaluation d’un test diagnostique Analyse ROC
Courbe ROC (Receiver Operating Characteristic)
0.0 0.2 0.4 0.6 0.8 1.0
0.0
0.2
0.4
0.6
0.8
1.0
1−Sp
Se
● Point idéal (0,1)
● s2
●
s1
●
Seuil s optimal
Solution : determiner le seuil s qui minimise la distance euclidienne du point (0, 1)
d((0, 1), s) =√
(0− xs)2 + (1− ys)2
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 18 / 35
Evaluation d’un test diagnostique Analyse ROC
Courbe ROC (Receiver Operating Characteristic)
0.0 0.2 0.4 0.6 0.8 1.0
0.0
0.2
0.4
0.6
0.8
1.0
1−Sp
Se
● Point idéal (0,1)
● s2
●
s1
●
Seuil s optimal
Solution : determiner le seuil s qui minimise la distance euclidienne du point (0, 1)
d((0, 1), s) =√
(0− xs)2 + (1− ys)2
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 18 / 35
Evaluation d’un test diagnostique Analyse ROC
Courbe ROC (Receiver Operating Characteristic)
La courbe ROC presente 2 interets :
Choix du meilleur seuil
Permet de visualiser puis quantifier le pouvoir discriminant de X
→ Calcul de l’aire sous la courbe ROC (AUC)
0.0 0.2 0.4 0.6 0.8 1.0
0.0
0.2
0.4
0.6
0.8
1.0
1−Sp
Se
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 19 / 35
Evaluation d’un test diagnostique Analyse ROC
Courbe ROC (Receiver Operating Characteristic)
La courbe ROC presente 2 interets :
Choix du meilleur seuil
Permet de visualiser puis quantifier le pouvoir discriminant de X
→ Calcul de l’aire sous la courbe ROC (AUC)
0.0 0.2 0.4 0.6 0.8 1.0
0.0
0.2
0.4
0.6
0.8
1.0
1−Sp
Se
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 19 / 35
Evaluation d’un test diagnostique Analyse ROC
Courbe ROC (Receiver Operating Characteristic)
La courbe ROC presente 2 interets :
Choix du meilleur seuil
Permet de visualiser puis quantifier le pouvoir discriminant de X
→ Calcul de l’aire sous la courbe ROC (AUC)
0.0 0.2 0.4 0.6 0.8 1.0
0.0
0.2
0.4
0.6
0.8
1.0
1−Sp
Se
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 19 / 35
Evaluation d’un test diagnostique Analyse ROC
Courbe ROC (Receiver Operating Characteristic)
La courbe ROC presente 2 interets :
Choix du meilleur seuil
Permet de visualiser puis quantifier le pouvoir discriminant de X
→ Calcul de l’aire sous la courbe ROC (AUC)
0.0 0.2 0.4 0.6 0.8 1.0
0.0
0.2
0.4
0.6
0.8
1.0
1−Sp
Se
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 19 / 35
Evaluation d’un test diagnostique Analyse ROC
Courbe ROC (Receiver Operating Characteristic)
La courbe ROC presente 2 interets :
Choix du meilleur seuil
Permet de visualiser puis quantifier le pouvoir discriminant de X
→ Calcul de l’aire sous la courbe ROC (AUC)
0.0 0.2 0.4 0.6 0.8 1.0
0.0
0.2
0.4
0.6
0.8
1.0
1−Sp
Se
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 19 / 35
Evaluation d’un test diagnostique Analyse ROC
Courbe ROC (Receiver Operating Characteristic)
0.0 0.2 0.4 0.6 0.8 1.0
0.0
0.2
0.4
0.6
0.8
1.0
1−Sp
Se
Discrimination
→ 0.5 ≤ AUC ≤ 1
0.0 0.2 0.4 0.6 0.8 1.0
0.0
0.2
0.4
0.6
0.8
1.0
1−Sp
Se
Discrim. parfaite
→ Se = 1, Sp = 1
→ AUC = 1
0.0 0.2 0.4 0.6 0.8 1.0
0.0
0.2
0.4
0.6
0.8
1.0
1−Sp
Se
∅ Discrimination
→ AUC = 0.5
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 20 / 35
Evaluation d’un test diagnostique Analyse ROC
Courbe ROC (Receiver Operating Characteristic)
0.0 0.2 0.4 0.6 0.8 1.0
0.0
0.2
0.4
0.6
0.8
1.0
1−Sp
Se
Discrimination
→ 0.5 ≤ AUC ≤ 1
0.0 0.2 0.4 0.6 0.8 1.0
0.0
0.2
0.4
0.6
0.8
1.0
1−Sp
Se
Discrim. parfaite
→ Se = 1, Sp = 1
→ AUC = 1
0.0 0.2 0.4 0.6 0.8 1.0
0.0
0.2
0.4
0.6
0.8
1.0
1−Sp
Se
∅ Discrimination
→ AUC = 0.5
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 20 / 35
Evaluation d’un test diagnostique Analyse ROC
Courbe ROC (Receiver Operating Characteristic)
0.0 0.2 0.4 0.6 0.8 1.0
0.0
0.2
0.4
0.6
0.8
1.0
1−Sp
Se
Discrimination
→ 0.5 ≤ AUC ≤ 1
0.0 0.2 0.4 0.6 0.8 1.0
0.0
0.2
0.4
0.6
0.8
1.0
1−Sp
Se
Discrim. parfaite
→ Se = 1, Sp = 1
→ AUC = 1
0.0 0.2 0.4 0.6 0.8 1.0
0.0
0.2
0.4
0.6
0.8
1.0
1−Sp
Se
∅ Discrimination
→ AUC = 0.5
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 20 / 35
Evaluation d’un test diagnostique Analyse ROC
Courbe ROC (Receiver Operating Characteristic)
0.0 0.2 0.4 0.6 0.8 1.0
0.0
0.2
0.4
0.6
0.8
1.0
1−Sp
Se
Discrimination
→ 0.5 ≤ AUC ≤ 1
0.0 0.2 0.4 0.6 0.8 1.0
0.0
0.2
0.4
0.6
0.8
1.0
1−Sp
Se
Discrim. parfaite
→ Se = 1, Sp = 1
→ AUC = 1
0.0 0.2 0.4 0.6 0.8 1.0
0.0
0.2
0.4
0.6
0.8
1.0
1−Sp
Se
∅ Discrimination
→ AUC = 0.5
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 20 / 35
Evaluation d’un test diagnostique Analyse ROC
Courbe ROC (Receiver Operating Characteristic)
AUC Discrimination
0.5 Nulle0.7 - 0.8 Acceptable0.8 - 0.9 Excellente> 0.9 Exceptionnelle
Remarques :
Si AUC = 0.5 alors on classe de maniere completement aleatoire lesobservations
Si AUC > 0.9 le classement est tres bon, voire trop bon, il faut evaluer s’il ya overfitting
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 21 / 35
Evaluation d’un test diagnostique Analyse ROC
Courbe ROC (Receiver Operating Characteristic)
AUC Discrimination
0.5 Nulle0.7 - 0.8 Acceptable0.8 - 0.9 Excellente> 0.9 Exceptionnelle
Remarques :
Si AUC = 0.5 alors on classe de maniere completement aleatoire lesobservations
Si AUC > 0.9 le classement est tres bon, voire trop bon, il faut evaluer s’il ya overfitting
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 21 / 35
Evaluation d’un test diagnostique Analyse ROC
Courbe ROC (Receiver Operating Characteristic)
AUC Discrimination
0.5 Nulle0.7 - 0.8 Acceptable0.8 - 0.9 Excellente> 0.9 Exceptionnelle
Remarques :
Si AUC = 0.5 alors on classe de maniere completement aleatoire lesobservations
Si AUC > 0.9 le classement est tres bon, voire trop bon, il faut evaluer s’il ya overfitting
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 21 / 35
Concordance
Point etudie
...1 Introduction
...2 Evaluation d’un test diagnostique
...3 ConcordanceIntroductionCoefficient kappaTest de significativite du coefficientIntervalle de confiance du coefficient
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 22 / 35
Concordance Introduction
Point etudie
...1 Introduction
...2 Evaluation d’un test diagnostique
...3 ConcordanceIntroductionCoefficient kappaTest de significativite du coefficientIntervalle de confiance du coefficient
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 23 / 35
Concordance Introduction
Objectif
Evaluer la concordance (accord, similitude,. . . ) entre
2 techniques
2 jugements
2 tests
. . .
par rapport a un critere
quantitatif
→ Mesure biologique faite avec 2 appareils differents
qualitatif
→ Tests vivant/deces
Cette notion inclue celle de reproductibilite (ex : p mesures avec le meme appareil→ validation de l’appareil)
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 24 / 35
Concordance Introduction
Objectif
Evaluer la concordance (accord, similitude,. . . ) entre
2 techniques
2 jugements
2 tests
. . .
par rapport a un critere
quantitatif
→ Mesure biologique faite avec 2 appareils differents
qualitatif
→ Tests vivant/deces
Cette notion inclue celle de reproductibilite (ex : p mesures avec le meme appareil→ validation de l’appareil)
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 24 / 35
Concordance Introduction
Objectif
Evaluer la concordance (accord, similitude,. . . ) entre
2 techniques
2 jugements
2 tests
. . .
par rapport a un critere
quantitatif
→ Mesure biologique faite avec 2 appareils differents
qualitatif
→ Tests vivant/deces
Cette notion inclue celle de reproductibilite (ex : p mesures avec le meme appareil→ validation de l’appareil)
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 24 / 35
Concordance Introduction
Objectif
Evaluer la concordance (accord, similitude,. . . ) entre
2 techniques
2 jugements
2 tests
. . .
par rapport a un critere
quantitatif
→ Mesure biologique faite avec 2 appareils differents
qualitatif
→ Tests vivant/deces
Cette notion inclue celle de reproductibilite (ex : p mesures avec le meme appareil→ validation de l’appareil)
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 24 / 35
Concordance Introduction
Objectif
Evaluer la concordance (accord, similitude,. . . ) entre
2 techniques
2 jugements
2 tests
. . .
par rapport a un critere
quantitatif
→ Mesure biologique faite avec 2 appareils differents
qualitatif
→ Tests vivant/deces
Cette notion inclue celle de reproductibilite (ex : p mesures avec le meme appareil→ validation de l’appareil)
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 24 / 35
Concordance Introduction
Objectif
Evaluer la concordance (accord, similitude,. . . ) entre
2 techniques
2 jugements
2 tests
. . .
par rapport a un critere
quantitatif
→ Mesure biologique faite avec 2 appareils differents
qualitatif
→ Tests vivant/deces
Cette notion inclue celle de reproductibilite (ex : p mesures avec le meme appareil→ validation de l’appareil)
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 24 / 35
Concordance Introduction
Objectif
Evaluer la concordance (accord, similitude,. . . ) entre
2 techniques
2 jugements
2 tests
. . .
par rapport a un critere
quantitatif
→ Mesure biologique faite avec 2 appareils differents
qualitatif
→ Tests vivant/deces
Cette notion inclue celle de reproductibilite (ex : p mesures avec le meme appareil→ validation de l’appareil)
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 24 / 35
Concordance Introduction
Objectif
Evaluer la concordance (accord, similitude,. . . ) entre
2 techniques
2 jugements
2 tests
. . .
par rapport a un critere
quantitatif
→ Mesure biologique faite avec 2 appareils differents
qualitatif
→ Tests vivant/deces
Cette notion inclue celle de reproductibilite (ex : p mesures avec le meme appareil→ validation de l’appareil)
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 24 / 35
Concordance Introduction
Objectif
Evaluer la concordance (accord, similitude,. . . ) entre
2 techniques
2 jugements
2 tests
. . .
par rapport a un critere
quantitatif
→ Mesure biologique faite avec 2 appareils differents
qualitatif
→ Tests vivant/deces
Cette notion inclue celle de reproductibilite (ex : p mesures avec le meme appareil→ validation de l’appareil)
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 24 / 35
Concordance Introduction
Objectif
Evaluer la concordance (accord, similitude,. . . ) entre
2 techniques
2 jugements
2 tests
. . .
par rapport a un critere
quantitatif
→ Mesure biologique faite avec 2 appareils differents
qualitatif
→ Tests vivant/deces
Cette notion inclue celle de reproductibilite (ex : p mesures avec le meme appareil→ validation de l’appareil)
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 24 / 35
Concordance Introduction
Objectif
Evaluer la concordance (accord, similitude,. . . ) entre
2 techniques
2 jugements
2 tests
. . .
par rapport a un critere
quantitatif
→ Mesure biologique faite avec 2 appareils differents
qualitatif
→ Tests vivant/deces
Cette notion inclue celle de reproductibilite (ex : p mesures avec le meme appareil→ validation de l’appareil)
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 24 / 35
Concordance Introduction
Difference entre concordance et liaison
Exemple : Accord entre 2 radiologues R1 et R2 sur une meme serie deradiographies
R1\R2 Malade Non-MaladeMalade 95 8Non-Malade 5 92
Pour evaluer la concordance entre R1 et R2 un test du χ2 n’est pas suffisant car :
L’existence d’une liaison entre R1 et R2 n’implique pas forcement laconcordance entre eux
R1\R2 Malade Non-MaladeMalade 10 95Non-Malade 105 20
En revanche, une concordance importante → un liaison significative.
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 25 / 35
Concordance Introduction
Difference entre concordance et liaison
Exemple : Accord entre 2 radiologues R1 et R2 sur une meme serie deradiographies
R1\R2 Malade Non-MaladeMalade 95 8Non-Malade 5 92
Pour evaluer la concordance entre R1 et R2 un test du χ2 n’est pas suffisant car :
L’existence d’une liaison entre R1 et R2 n’implique pas forcement laconcordance entre eux
R1\R2 Malade Non-MaladeMalade 10 95Non-Malade 105 20
En revanche, une concordance importante → un liaison significative.
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 25 / 35
Concordance Introduction
Difference entre concordance et liaison
Exemple : Accord entre 2 radiologues R1 et R2 sur une meme serie deradiographies
R1\R2 Malade Non-MaladeMalade 95 8Non-Malade 5 92
Pour evaluer la concordance entre R1 et R2 un test du χ2 n’est pas suffisant car :
L’existence d’une liaison entre R1 et R2 n’implique pas forcement laconcordance entre eux
R1\R2 Malade Non-MaladeMalade 10 95Non-Malade 105 20
En revanche, une concordance importante → un liaison significative.
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 25 / 35
Concordance Introduction
Difference entre concordance et liaison
Exemple : Accord entre 2 radiologues R1 et R2 sur une meme serie deradiographies
R1\R2 Malade Non-MaladeMalade 95 8Non-Malade 5 92
Pour evaluer la concordance entre R1 et R2 un test du χ2 n’est pas suffisant car :
L’existence d’une liaison entre R1 et R2 n’implique pas forcement laconcordance entre eux
R1\R2 Malade Non-MaladeMalade 10 95Non-Malade 105 20
En revanche, une concordance importante → un liaison significative.
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 25 / 35
Concordance Coefficient kappa
Point etudie
...1 Introduction
...2 Evaluation d’un test diagnostique
...3 ConcordanceIntroductionCoefficient kappaTest de significativite du coefficientIntervalle de confiance du coefficient
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 26 / 35
Concordance Coefficient kappa
Concordance entre 2 jugements categoriels : Coefficient Kappa
Considerons 2 tests A et B effectues un echantillon de N individus.
A\B T+ T−
T+ a b nA+
T− c d nA−
nB+ nB− N
Idee : La concordance entre A et B peut etre decomposee en...1 Une concordance aleatoire (liee au hasard)...2 Une concordance reelle
La concordance observee est definie par
.
......po =
a+ d
N
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 27 / 35
Concordance Coefficient kappa
Concordance entre 2 jugements categoriels : Coefficient Kappa
Considerons 2 tests A et B effectues un echantillon de N individus.
A\B T+ T−
T+ a b nA+
T− c d nA−
nB+ nB− N
Idee : La concordance entre A et B peut etre decomposee en...1 Une concordance aleatoire (liee au hasard)...2 Une concordance reelle
La concordance observee est definie par
.
......po =
a+ d
N
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 27 / 35
Concordance Coefficient kappa
Concordance entre 2 jugements categoriels : Coefficient Kappa
Considerons 2 tests A et B effectues un echantillon de N individus.
A\B T+ T−
T+ a b nA+
T− c d nA−
nB+ nB− N
Idee : La concordance entre A et B peut etre decomposee en...1 Une concordance aleatoire (liee au hasard)...2 Une concordance reelle
La concordance observee est definie par
.
......po =
a+ d
N
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 27 / 35
Concordance Coefficient kappa
Concordance entre 2 jugements categoriels : Coefficient Kappa
Considerons 2 tests A et B effectues un echantillon de N individus.
A\B T+ T−
T+ a b nA+
T− c d nA−
nB+ nB− N
Idee : La concordance entre A et B peut etre decomposee en...1 Une concordance aleatoire (liee au hasard)...2 Une concordance reelle
La concordance observee est definie par
.
......po =
a+ d
N
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 27 / 35
Concordance Coefficient kappa
Concordance entre 2 jugements categoriels : Coefficient Kappa
Considerons 2 tests A et B effectues un echantillon de N individus.
A\B T+ T−
T+ a b nA+
T− c d nA−
nB+ nB− N
Idee : La concordance entre A et B peut etre decomposee en...1 Une concordance aleatoire (liee au hasard)...2 Une concordance reelle
La concordance observee est definie par
.
......po =
a+ d
N
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 27 / 35
Concordance Coefficient kappa
Concordance entre 2 jugements categoriels : Coefficient Kappa
Considerons 2 tests A et B effectues un echantillon de N individus.
A\B T+ T−
T+ a b nA+
T− c d nA−
nB+ nB− N
Idee : La concordance entre A et B peut etre decomposee en...1 Une concordance aleatoire (liee au hasard)...2 Une concordance reelle
La concordance observee est definie par
.
......po =
a+ d
N
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 27 / 35
Concordance Coefficient kappa
Concordance entre 2 jugements categoriels : Coefficient Kappa
Sous l’hypothese d’independance des tests, on peut reconstituer le tableau deseffectifs theoriques :
A\B T+ T−
T+ nA+ nB+
N
nA+ nB−
NnA+
T− nA− nB+
N
nA− n
B−N
nA−
nB+ nB− N
Et ainsi en deduire la concordance due au hasard :.
......pc =
nA+nB+
N +nA−nB−
N
N
Il faut corriger la concordance observee (po) en tenant compte de celle qui seraitdue au hasard (pc)
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 28 / 35
Concordance Coefficient kappa
Concordance entre 2 jugements categoriels : Coefficient Kappa
Sous l’hypothese d’independance des tests, on peut reconstituer le tableau deseffectifs theoriques :
A\B T+ T−
T+ nA+ nB+
N
nA+ nB−
NnA+
T− nA− nB+
N
nA− n
B−N
nA−
nB+ nB− N
Et ainsi en deduire la concordance due au hasard :.
......pc =
nA+nB+
N +nA−nB−
N
N
Il faut corriger la concordance observee (po) en tenant compte de celle qui seraitdue au hasard (pc)
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 28 / 35
Concordance Coefficient kappa
Concordance entre 2 jugements categoriels : Coefficient Kappa
Sous l’hypothese d’independance des tests, on peut reconstituer le tableau deseffectifs theoriques :
A\B T+ T−
T+ nA+ nB+
N
nA+ nB−
NnA+
T− nA− nB+
N
nA− n
B−N
nA−
nB+ nB− N
Et ainsi en deduire la concordance due au hasard :.
......pc =
nA+nB+
N +nA−nB−
N
N
Il faut corriger la concordance observee (po) en tenant compte de celle qui seraitdue au hasard (pc)
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 28 / 35
Concordance Coefficient kappa
Concordance entre 2 jugements categoriels : Coefficient Kappa
Sous l’hypothese d’independance des tests, on peut reconstituer le tableau deseffectifs theoriques :
A\B T+ T−
T+ nA+ nB+
N
nA+ nB−
NnA+
T− nA− nB+
N
nA− n
B−N
nA−
nB+ nB− N
Et ainsi en deduire la concordance due au hasard :.
......pc =
nA+nB+
N +nA−nB−
N
N
Il faut corriger la concordance observee (po) en tenant compte de celle qui seraitdue au hasard (pc)
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 28 / 35
Concordance Coefficient kappa
Concordance entre 2 jugements categoriels : Coefficient Kappa
Sous l’hypothese d’independance des tests, on peut reconstituer le tableau deseffectifs theoriques :
A\B T+ T−
T+ nA+ nB+
N
nA+ nB−
NnA+
T− nA− nB+
N
nA− n
B−N
nA−
nB+ nB− N
Et ainsi en deduire la concordance due au hasard :.
......pc =
nA+nB+
N +nA−nB−
N
N
Il faut corriger la concordance observee (po) en tenant compte de celle qui seraitdue au hasard (pc)
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 28 / 35
Concordance Coefficient kappa
Concordance entre 2 jugements categoriels : Coefficient Kappa
On definit ainsi le coefficient kappa k :
.
......k =
po − pc1− pc
Interpretation en termes de concordance :
k ≤ 0.2 → Negligeable
0.2 < k ≤ 0.4 → Faible
0.4 < k ≤ 0.6 → Moyenne
0.6 < k ≤ 0.8 → Bonne
0.8 < k ≤ 1 → Excellente
On montre que
.
......
E[K ] = κ
V[K ] =po(1− po)
N(1− pc)2
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 29 / 35
Concordance Coefficient kappa
Concordance entre 2 jugements categoriels : Coefficient Kappa
On definit ainsi le coefficient kappa k :
.
......k =
po − pc1− pc
Interpretation en termes de concordance :
k ≤ 0.2 → Negligeable
0.2 < k ≤ 0.4 → Faible
0.4 < k ≤ 0.6 → Moyenne
0.6 < k ≤ 0.8 → Bonne
0.8 < k ≤ 1 → Excellente
On montre que
.
......
E[K ] = κ
V[K ] =po(1− po)
N(1− pc)2
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 29 / 35
Concordance Coefficient kappa
Concordance entre 2 jugements categoriels : Coefficient Kappa
On definit ainsi le coefficient kappa k :
.
......k =
po − pc1− pc
Interpretation en termes de concordance :
k ≤ 0.2 → Negligeable
0.2 < k ≤ 0.4 → Faible
0.4 < k ≤ 0.6 → Moyenne
0.6 < k ≤ 0.8 → Bonne
0.8 < k ≤ 1 → Excellente
On montre que
.
......
E[K ] = κ
V[K ] =po(1− po)
N(1− pc)2
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 29 / 35
Concordance Coefficient kappa
Concordance entre 2 jugements categoriels : Coefficient Kappa
On definit ainsi le coefficient kappa k :
.
......k =
po − pc1− pc
Interpretation en termes de concordance :
k ≤ 0.2 → Negligeable
0.2 < k ≤ 0.4 → Faible
0.4 < k ≤ 0.6 → Moyenne
0.6 < k ≤ 0.8 → Bonne
0.8 < k ≤ 1 → Excellente
On montre que
.
......
E[K ] = κ
V[K ] =po(1− po)
N(1− pc)2
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 29 / 35
Concordance Coefficient kappa
Concordance entre 2 jugements categoriels : Coefficient Kappa
Exemple
Effectifs observes
A\B T+ T−
T+ 45 15 60
T− 5 35 40
50 50 100
po =45 + 35
100= 0.8
Effectifs theoriques
A\B T+ T−
T+ 30 30 60
T− 20 20 40
50 50 100
pc =30 + 20
100= 0.5
k =po − pc1− pc
=0.8− 0.5
0.5= 0.6
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 30 / 35
Concordance Coefficient kappa
Concordance entre 2 jugements categoriels : Coefficient Kappa
Exemple
Effectifs observes
A\B T+ T−
T+ 45 15 60
T− 5 35 40
50 50 100
po =45 + 35
100= 0.8
Effectifs theoriques
A\B T+ T−
T+ 30 30 60
T− 20 20 40
50 50 100
pc =30 + 20
100= 0.5
k =po − pc1− pc
=0.8− 0.5
0.5= 0.6
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 30 / 35
Concordance Coefficient kappa
Concordance entre 2 jugements categoriels : Coefficient Kappa
Exemple
Effectifs observes
A\B T+ T−
T+ 45 15 60
T− 5 35 40
50 50 100
po =45 + 35
100= 0.8
Effectifs theoriques
A\B T+ T−
T+ 30 30 60
T− 20 20 40
50 50 100
pc =30 + 20
100= 0.5
k =po − pc1− pc
=0.8− 0.5
0.5= 0.6
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 30 / 35
Concordance Coefficient kappa
Concordance entre 2 jugements categoriels : Coefficient Kappa
Exemple
Effectifs observes
A\B T+ T−
T+ 45 15 60
T− 5 35 40
50 50 100
po =45 + 35
100= 0.8
Effectifs theoriques
A\B T+ T−
T+ 30 30 60
T− 20 20 40
50 50 100
pc =30 + 20
100= 0.5
k =po − pc1− pc
=0.8− 0.5
0.5= 0.6
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 30 / 35
Concordance Test de significativite du coefficient
Point etudie
...1 Introduction
...2 Evaluation d’un test diagnostique
...3 ConcordanceIntroductionCoefficient kappaTest de significativite du coefficientIntervalle de confiance du coefficient
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 31 / 35
Concordance Test de significativite du coefficient
Test de significativite du coefficient kappa
Condition d’application : N ≥ 30
Les hypotheses de test sont les suivantes :
.
......
{H0 : κ = 0 Concordance aleatoire po = pc
H1 : κ > 0 Concordance non aleatoire po > pc
Sous H0, E[K ] = 0 et po = pc donc
V[K ] =po(1− po)
N(1− pc)2=
pc(1− pc)
N(1− pc)2=
pcN(1− pc)
. Sous H0, pour N ≥ 30, la statistique de test est
.
......Z =
K − E[K ]√V[K ]
=K√V[K ]
∼ N (0, 1)
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 32 / 35
Concordance Test de significativite du coefficient
Test de significativite du coefficient kappa
Condition d’application : N ≥ 30
Les hypotheses de test sont les suivantes :
.
......
{H0 : κ = 0 Concordance aleatoire po = pc
H1 : κ > 0 Concordance non aleatoire po > pc
Sous H0, E[K ] = 0 et po = pc donc
V[K ] =po(1− po)
N(1− pc)2=
pc(1− pc)
N(1− pc)2=
pcN(1− pc)
. Sous H0, pour N ≥ 30, la statistique de test est
.
......Z =
K − E[K ]√V[K ]
=K√V[K ]
∼ N (0, 1)
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 32 / 35
Concordance Test de significativite du coefficient
Test de significativite du coefficient kappa
Condition d’application : N ≥ 30
Les hypotheses de test sont les suivantes :
.
......
{H0 : κ = 0 Concordance aleatoire po = pc
H1 : κ > 0 Concordance non aleatoire po > pc
Sous H0, E[K ] = 0 et po = pc donc
V[K ] =po(1− po)
N(1− pc)2=
pc(1− pc)
N(1− pc)2=
pcN(1− pc)
. Sous H0, pour N ≥ 30, la statistique de test est
.
......Z =
K − E[K ]√V[K ]
=K√V[K ]
∼ N (0, 1)
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 32 / 35
Concordance Test de significativite du coefficient
Test de significativite du coefficient kappa
Condition d’application : N ≥ 30
Les hypotheses de test sont les suivantes :
.
......
{H0 : κ = 0 Concordance aleatoire po = pc
H1 : κ > 0 Concordance non aleatoire po > pc
Sous H0, E[K ] = 0 et po = pc donc
V[K ] =po(1− po)
N(1− pc)2=
pc(1− pc)
N(1− pc)2=
pcN(1− pc)
. Sous H0, pour N ≥ 30, la statistique de test est
.
......Z =
K − E[K ]√V[K ]
=K√V[K ]
∼ N (0, 1)
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 32 / 35
Concordance Test de significativite du coefficient
Test de significativite du coefficient kappa
Condition d’application : N ≥ 30
Les hypotheses de test sont les suivantes :
.
......
{H0 : κ = 0 Concordance aleatoire po = pc
H1 : κ > 0 Concordance non aleatoire po > pc
Sous H0, E[K ] = 0 et po = pc donc
V[K ] =po(1− po)
N(1− pc)2=
pc(1− pc)
N(1− pc)2=
pcN(1− pc)
. Sous H0, pour N ≥ 30, la statistique de test est
.
......Z =
K − E[K ]√V[K ]
=K√V[K ]
∼ N (0, 1)
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 32 / 35
Concordance Test de significativite du coefficient
Test de significativite du coefficient kappa
Condition d’application : N ≥ 30
Les hypotheses de test sont les suivantes :
.
......
{H0 : κ = 0 Concordance aleatoire po = pc
H1 : κ > 0 Concordance non aleatoire po > pc
Sous H0, E[K ] = 0 et po = pc donc
V[K ] =po(1− po)
N(1− pc)2=
pc(1− pc)
N(1− pc)2=
pcN(1− pc)
. Sous H0, pour N ≥ 30, la statistique de test est
.
......Z =
K − E[K ]√V[K ]
=K√V[K ]
∼ N (0, 1)
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 32 / 35
Concordance Test de significativite du coefficient
Test de significativite du coefficient kappa
Condition d’application : N ≥ 30
Les hypotheses de test sont les suivantes :
.
......
{H0 : κ = 0 Concordance aleatoire po = pc
H1 : κ > 0 Concordance non aleatoire po > pc
Sous H0, E[K ] = 0 et po = pc donc
V[K ] =po(1− po)
N(1− pc)2=
pc(1− pc)
N(1− pc)2=
pcN(1− pc)
. Sous H0, pour N ≥ 30, la statistique de test est
.
......Z =
K − E[K ]√V[K ]
=K√V[K ]
∼ N (0, 1)
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 32 / 35
Concordance Test de significativite du coefficient
Test de significativite du coefficient kappa
Retour a l’exemple : pc = 0.5√s2k =
√0.5
100× 0.5= 0.1
z =k
sk=
0.6
0.1= 6
Donc rejet de H0 → concordance statistiquement significative.
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 33 / 35
Concordance Intervalle de confiance du coefficient
Point etudie
...1 Introduction
...2 Evaluation d’un test diagnostique
...3 ConcordanceIntroductionCoefficient kappaTest de significativite du coefficientIntervalle de confiance du coefficient
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 34 / 35
Concordance Intervalle de confiance du coefficient
Intervalle de confiance du coefficient kappa
Si test est NS → STOP.
Sinon nous devons donner une estimation de la vraie valeur κ → IC.
L’intervalle de confiance de κ au niveau de confiance 1− α est donne par :
.
......
IC1−ακ =
[k ± z1−α/2
√po(1− po)
N(1− pc)2
]
Retour a l’exemple : po = 0.8, pc = 0.5, N = 100, k = 0.6
IC95%κ =
[0.6± 1.96
√0.8× 0.2
100× (1− 0.5)2
]
IC95%κ = [0.4432; 0.7568]
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 35 / 35
Concordance Intervalle de confiance du coefficient
Intervalle de confiance du coefficient kappa
Si test est NS → STOP.
Sinon nous devons donner une estimation de la vraie valeur κ → IC.
L’intervalle de confiance de κ au niveau de confiance 1− α est donne par :
.
......
IC1−ακ =
[k ± z1−α/2
√po(1− po)
N(1− pc)2
]
Retour a l’exemple : po = 0.8, pc = 0.5, N = 100, k = 0.6
IC95%κ =
[0.6± 1.96
√0.8× 0.2
100× (1− 0.5)2
]
IC95%κ = [0.4432; 0.7568]
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 35 / 35
Concordance Intervalle de confiance du coefficient
Intervalle de confiance du coefficient kappa
Si test est NS → STOP.
Sinon nous devons donner une estimation de la vraie valeur κ → IC.
L’intervalle de confiance de κ au niveau de confiance 1− α est donne par :
.
......
IC1−ακ =
[k ± z1−α/2
√po(1− po)
N(1− pc)2
]
Retour a l’exemple : po = 0.8, pc = 0.5, N = 100, k = 0.6
IC95%κ =
[0.6± 1.96
√0.8× 0.2
100× (1− 0.5)2
]
IC95%κ = [0.4432; 0.7568]
Michael Genin (Universite de Lille 2) Evaluation d’un test diagnostique - Concordance Version - 18 avril 2014 35 / 35