kurva receiver operating characteristic
DESCRIPTION
Kurva ROCcatatan kuliah Pa Iwan Ariawan, MSTRANSCRIPT
Kurva Receiver operating Characteristic (Bagian 1)
Catatan materi kuliah dr Iwan Ariawan, MS “Pengukuran Skala Sikap” By : [email protected]
ROC Curve adalah grafik antara sensitifitas (true positive rate) pada sumbu Y dengan 1-spesifisitas pada
sumbu X (false positive rate), seakan-akan menggambarkan tawar menawar antara sensitivitas dan
spesifisitas.
Tujuan
1. Untuk menilai seberapa akuratkah sebuah uji dapat mengidentifikasi ada-tidaknya penyakit atau
dengan kata lain untuk menilai kualitas suatu uji dalam membedakan antara kasus dan bukan kasus
(Metz, 1978; Zweig & Campbell,1993).
2. untuk menentukan cut off point pada uji diagnostic yang bersifat kontinyu (ariawan,2009).
3. untuk membandingkan kualitas dari dua atau lebih uji diagnostik (Griner, et. Al,1981).
Review Uji Diagnostik
Pengukuran Pada Uji Diagnostik
1. Sensitivity
Probabilitas hasil tes+ jika hasil baku emas +
2. Specificity
Probabilitas hasil tes- jika hasil baku emas -
3. Positive predictive value (+PV)
Probabilitas hasil baku emas + jika tes+
4. Negative predictive value (-PV)
Probabilitas hasil baku emas – jika tes -
5. Likelihood ratio positive (LR+)
Rasio hasil tes+ jika baku emas + dengan tes+ jika baku emas -
6. Likelihood ratio negative (LR-)
Rasio hasil tes- jika baku emas + dengan tes- jika baku emas -
“Sebagaimana tidak ada Area Under Curve yang mencapai nilai 1, maka manusia juga tidak ada yang sempurna”
Jangan membusung dada, membuat hati orang Sakit. Di atas langit masih ada langit…
Bismillah….
Tentang Cut-Off Point
Titik potong atau Cut-off point adalah nilai batas antara kelompok dengan penyakit dan kelompok tanpa
penyakit, atau nilai batas hasil uji positif dan hasil uji negative. Dalam menentukan titik potong ini harus
dilakukan tawar-menawar, karena peningkatan sensivitas akan menyebabkan penurunan spesifitas, dan
sebaliknya. Untuk itu, peneliti harus memperhatikan kepentingan uji dignostik tersebut dalam keadaan
sebenarnya.
Ilustarsi distribusi hasil uji pada kelompok dengan dan tanpa penyakit sbb :
Kelompok merah=penyakit+, kelompok
biru=penyakit- berdasarkan hasil uji baku
emas
Garis hijau adalah batas nilai untuk nilai
uji diagnostic
Dampak perubahan cut off point
1. Menggeser batas cut-off point untuk meningkatkan sensitifitas akan berdampak pada meningkatnya
hasil positif palsu
2. Sebaliknya menggeser cut-off point untuk meningkatkan spesifisitas akan berdampak pada
meningkatnya hasil negatif
Simulasi Sederhana ROC (sebagai alat bantu menetapkan cut-off point).
Dimisalkan ada 10 orang, 4 di antaranya positif (+) sakit dengan baku emas, selanjutnya dilakukan
penilaian terhadap ke 10 orang tersebut (dimisalkan
nilai 1 - 10) hasilnya 6, 5, 3…2
Selanjutnya dilakukan uji dengan cut-off point >5,
begitu pula dilakukan uji dengan cut-off point >6.
Apabila ditabulasi 2 x 2, maka hasilnya sebagaimana di
bawah :
COP = >5
Test
Gold Standar
+ -
+ 3 1
- 1 5
4 6
sen = 3/4 = 0.75 spe = 5/6 = 0.83 1-spe = 1-0.83 = 0.17
COP = >6
Test
Gold Standar
+ -
+ 2 0
- 2 6
4 6
sen = 2/4 = 0.5 spe = 6/6 = 1 1-spe = 1-1= 0
Apabila diplot maka visualisasinya (bentuk kurvanya) sbb :
Demikian seterusnya dibuat untuk COP dengan nilai yang lain ….
Contoh ROC dengan MedCalc
1. Buka aplikasi MedCalc
2. Pilh File open, lalu cari alamat file anda (mis untuk contoh kali ini, di
C:\Program Files/MedCalc/Sample Files/Data for ROC curve analysis.mc1)
No Sakit Uji >5 >6
1 + 6 + +
2 + 5 + -
3 + 3 - -
4 - 3 - -
5 - 5 + -
6 - 4 - -
7 + 7 + +
8 - 3 - -
9 - 2 - -
10 - 2 - -
1
1
COP >5
COP >6
0 1-spe
Sen
3. Selanjutnya pilih Statistics ROC curves ROC curve analysis…
Variable : berisi uji yang akan diukur kualitasnya (nilai uji
haruslah berbentuk numerik, apabila masih dalam bentuk
kategorik harus dikoding terlebih dahulu).
Classification variable : berisi variabel dikotomis yang
menunjukkan hasil diagnosis tiap pasien. Kode untuk kasus
dengan penyakit = 1, kasus tanpa penyakit = 0
Select : kolom ini bersifat opsional, berisi kriteria untuk
menyeleksi kelompok subjek agar lebih spesifik (mis
AGE>21,SEX=”Laki-laki”)
Options : Apabila data kasus dan non kasus
menggambarkan prevalensi penyakit yang sebenarnya di
populasi maka berikan tanda centang, atau apabila tidak
bisa dengan mengetikkan langsung prevalensinya, atau
abaikan saja bila prevalensinya tidak diketahui.
4. Setelah mengklik OK maka hasinya sebagai berikut :
5. Dari output pertama diketahui :
a. Jumlah sampel untuk kelompok
kasus dan non kasus 55:45
b. Prevalensi penyakit = 55%
c. Luas area di bawah kurva (AUC) =
0.947 (very good).
AUC dapat diinterpretasikan
sebagai rata-rata sensifitas untuk
semua nilai spesifitas yang
mungkin. Nilai AUC ini dipakai
untuk mengukur akurasi uji
diagnostic secara umum.
Nilai AUC 0 s/d 1, semakin mendekati 1 maka semakin baik uji diagnostic tersebut.
Pedoman instrumentasi nilai AUC sbb :
0.50 - 0.75 = Fair
0.75 - 0.92 = Good
0.92 - 0.97 = Very good
0.97 - 1.00 = Excellent
Batas bawah nilai AUC = 0.5, jadi apabila AUC < 0.5 berarti hanya hasil tebak-tebakan saja. Uji
dengan nilai AUC demikian “mendingan dilupakan saja or di cut-off saja” kata Pa Iwan.
d. Nilai p = 0.0001.
Diketahui : Ho = Nilai AUC sama dengan 0.5
Ha = Nilai AUC tidak sama dengan 0.5
Karena nilai p<0.05 maka hipotesis null ditolak, maka terdapat perbedaan yang signifikan AUC
dengan 0.5 atau dengan kata lain uji tersebut terbukti memiliki kemampuan untuk membedakan
antara dua kelompok (kasus-non kasus).
e. Nilai sensitivitas, spesifisitas, keduanya pada CI tertentu, likelihood ratio, PPV, NPV pada masing-
masing kriteria cut-off point.
f. Tanda * pada nilai kriteria cut-off point 108.9 * menunujukkan hubungan antara sensitivitas dan
spesifisitas pada rata-rata tertinggi.
Apabila kita memilih cut-off point yang nilainya rendah, maka TPF dan sensitivitas akan naik.
Selanjutnya FPF akan ikut naik, sehingga TNF dan spesifisitas akan menurun.
Sebaliknya apabila kita memilih cut-off point yang tinggi, maka FPF akan turun bersamaan
dengan meningkatnya spesifisitas akan tetapi TPF dan sensitivitas akan naik.
Untuk tujuan skrining, maka digunakan cut-off point dengan sensitivitas dan spesifisitas pada
rata-rata tertinggi seperti contoh kasus di atas. Untuk mengkonfirmasi hasil skrining, maka
pada objek yang sudah terseleksi sebelumnya dilakukan uji lagi, kali ini dengan spesifisitas
dan PPV yang lebih tinggi.
6. Dari output kedua terlihat kurva yang merupakan hasil plot-an true positive rate (Sensitivitas) di
sumbu Y dengan false positive rate (1-spesifisitas) di sumbu X pada nilai cut-off point yang berbeda-
beda.
Garis merah diagonal menunjukkan AUC = 0.5 uji diagnostic tidak berguna
Garis biru menunjukkan AUC uji pada contoh kasus = 0.947
Walhamdulillah…
(Bersambung)