uji icc korelasi antar rater.pdf

5

Upload: matthew-richardson

Post on 26-Dec-2015

98 views

Category:

Documents


26 download

TRANSCRIPT

Page 1: uji ICC Korelasi antar rater.pdf

1

Berkenalan dengan Korelasi Intrakelas Wahyu Widhiarso Fakultas Psikologi Universitas Gadjah Mada Pengukuran tidak hanya dilakukan dengan menggunakan aitemaitem pada angket pelaporan mandiri (self-report), akan tetapi juga kadang menggunakan hasil pengamatan (observasi). Kalau di angket pertanyaannya adalah sejauh mana antar aitem konsisten dalam mengukur, maka di observasi pertanyaannya adalah seberapa jauh antar observer/rater memberikan penilaian yang konsisten. Untuk menghitung konsistensi para rater ini kita memerlukan korelasi intrakelas.

1 Korelasi Intrakelas dan Korelasi Pearson Misalnya, satu kolom diisi tinggi badan dan satunya berat badan. Tinggi dan berat badan pada baris pertama adalah atribut dari Si A sedangkan untuk baris kedua adalah atribut dari si A, dan seterusnya.

Subjek Berat Badan (kg) Tinggi Badan (cm) A 57 156 B 45 146 C 78 173 D 79 180

Jika ada pertanyaan, apakah ada hubungan antara berat badan antara suami dan istri? Maka kita harus menyediakan dua kolom lagi, satu kolom dinamakan dengan dilabel suami dan satunya dilabel istri.

Pasangan Berat Badan Suami(kg) Berat Badan Istri(kg) A 73 50 B 69 54 C 70 67 D 79 43

Tapi bagaimana jika penelitiannya adalah hubungan berat badan siswa dalam satu bangku? Dalam kasus ini maka dua kolom data kita tidak dikhususkan untuk individu dengan karakteristik tertentu. Karena tidak ada kekhususan maka kita namakan kolom 1 dengan nama Anggota I dan kolom 2 dengan nama Anggota II. Antara kolom satu dengan kolom lainnya bisa saling bertukaran.

Pasangan Berat Badan Anggota I (kg) Berat Badan Anggota II (kg) A 73 50 B 69 54 C 70 67 D 79 43

Page 2: uji ICC Korelasi antar rater.pdf

2

Misalnya, berat badan si Amin dan Ali yang keduanya merupakan teman satu bangku, bisa dimasukkan dalam kolom mana saja. Berat badan Si Amin yang masuk dalam Anggota I atau berat badan si Ali yang masuk ke Anggota I. Pada kasus ini kita tidak bisa menggunakan korelasi Pearson karena tidak ada kekhususan data mana yang masuk dalam variabel X atau Y. Statistik yang bisa menguji korelasi untuk data seperti ini salah satunya adalah korelasi intrakelas (intraclass correlation).

Keluarga IQ Anak 1 IQ Anak 2 1 100 105 2 110 115 3 105 99 4 95 110 5 120 130

2 ModelModel ICC Fleksibilitas ICC membuatnya sedikit lebih rumit dibanding dengan koefisien lainnya. Berikut ini modelmodel yang dapat dipakai oleh ICC.

2.1 Model ICC Ada tiga model ICC yang disediakan oleh SPSS. Berikut ini bagan untuk menentukan model yang sesuai dengan data anda.

Model 1 (one-way random). Setiap subjek yang dinilai oleh penilai yang berbeda yang dipilih secara acak. Misalnya, pasien P diobservasi oleh dokter A dan B, akan tetapi pasien Q diobservasi oleh dokter C dan D. Model 2 (one-way random). Model ini mengasumsikan bahwa rater yang dilibatkan dalam penelitian ini dipilih secara acak dari populasi rater. Misalnya kita memiliki populasi individu yang dapat kita libatkan sebagai rater akan

Page 3: uji ICC Korelasi antar rater.pdf

3

tetapi kita hanya melibatkan beberapa diantara mereka untuk memberikan penilaian. Model 3 (two-way mixed). Model ini mengasumsikan bahwa rater yang dilibatkan dalam penelitian ini merupakan rater pilihan yang tidak merepresentasikan populasi rater. Misalnya kita telah menentukan bahwa rater yang kita libatkan telah ditetapkan sejak awal.

2.2 Tipe ICC : Kesepakatan vs Konsistensi Kesepakatan (Agreement). Setiap subjek dinilai oleh setiap rater. Model ini menekankan pada kesepakatan penilaian. Karena menekankan pada kesepakatan, maka tidak masalah ketika ada rater yang kita libatkan memberikan nilai yang terlalu murah atau terlalu mahal. Yang penting, nilai mereka sesuai dengan urutan individu atribut yang diukur. Si Badu yang paling agresif di antara temantemannya idealnya memiliki skor agresi tertinggi diantara temantemannya. Meski skor dia 15 atau bahkan 75, tidak masalah. Asalkan skor individu yang kurang agresif di bawah Badu. Dalam bidang psikologi, model ini cocok untuk pengamatan terhadap atribut kepribadian yang menekankan pada perbedaan individual saja. Konsistensi (Consistency). Setiap subjek dinilai oleh setiap rater. Model ini menekankan pada kesamaan penilaian antar rater. Nilai ICC akan tinggi ketika antar rater memberikan penilaian yang mirip. Misalnya guru A memberikan nilai 90 kompetensi Budi dalam membaca, diharapkan guru B juga memberikan nilai yang tidak jauh dari 90. Model ini cocok untuk pengukuran kompetensi, karena menekankan pada perbedaan individual, juga menekankan pada pencapaian individu terhadap kriteria yang telah ditetapkan. Perbandingan hasil analisis antara tipe kesepakatan dan konsistensi dapat dilihat pada Tabel di bawah ini. Misalnya X adalah rater yang kita libatkan. Ada dua rater, yaitu X1 dan X2. Seperti yang terlihat di gambar, ketika penilaian rater X2 tiga poin lebih banyak dibanding dengan X1, maka nilai ICCkonsistensi akan menghasilkan nilai sempurna (ICC=1) sedangkan ICCkesepakatan nilainya mendekati sempurna (ICC=0.97). Kondisi yang berbeda terjadi ketika penilaian X2 tiga kali lebih besar dibanding dengan X1. Nilai ICCkonsistensi masih tetap tinggi

Apakah rater berasal dari populasi

Twoway Mixed(Model 3)

Apakah setiap rater menilai subjek yang sama

Ya Tidak

Twoway Random(Model 2)

Oneway Random(Model 1)

Ya Tidak

Page 4: uji ICC Korelasi antar rater.pdf

4

dibanding dengan ICCkesepakatan. Hal ini dikarenakan ICCkesepakatan lebih ketat dibanding ICCkonsistensi.

Pola X1 X2 Nilai ICC

Konsistensi (consistency)

Kesepakatan (agreement)

X2=3+X1 7 10 5 8 1.00 0.97 … …

X2=2*X1 5 6 8 9 0.89 0.10 … …

3 Praktek ! Misalnya kita hendak menguji reliabilitas antar rater pada penelitian kita. Jumlah rater yang dilibatkan ada 5. Berikut ini data yang tersedia.

Pada program SPSS, buka ANALYZE > SCALE > RELIABILITY. Lalu masukkan semua variabel ke dalam kotak yang akan di analisis.

Klik menu STATISTICS. Lalu klik Interclass Correlation. Pilih model yang sesuai dengan desain penelitian anda. Misalnya, penelitian kita menggunakan desain yang kebanyakan dipakai dalam penelitian, yaitu Model TWO WAY RANDOM dan Tipe Agreement. Klik Continue lalu OK. Hasil analisis akan muncul seperti pada gambar di bawah ini.

Page 5: uji ICC Korelasi antar rater.pdf

5

Nilai ICC yang kita dapatkan untuk keseluruhan rater cukup besar, yaitu 0.920. Namun demikian ketika hanya menggunakan satu orang rater, maka nilai ICC yang didapatkan cukup kecil, yaitu 0.698.

4 Penutup Korelasi ICC banyak dipakai untuk menguji reliabilitas antar rater. Namun demikian korelasi ini bisa dipakai pada banyak konteks. Misalnya untuk keperluan validasi isi sebuah angket, seberapa besar kesepakatan penilaian antar ahli dalam menilai butirbutir alat ukur bisa juga dilihat melalui ICC. Dalam konteks ini rater yang kita libatkan adalah panelis ahli yang kita minta menilai butir di dalam skala kita. ICC juga dapat diterapkan pada uji korelasi dua variabel yang tidak ditentukan mana variabel dependen dan independennya. Seperti contoh yang telah disinggung di atas, ICC cocok untuk menguji korelasi skor dari anggota sebuah pasangan, dimana posisi skor tersebut pada kolom data tidak ditentukan secara pasti.