Rahmat Hidayat , Ph .D.
FAKULTAS PSIKOLOGI UGM
Validitas experiment
Sekedar penyegaran kembali dasar-dasarmetodologi eksperimen
Workshop Nasional EksperimenPeneliti Ilmu Sosial IndonesiaJogjakarta 19-20 Januari 2017
www.SSBRN.com
Rahmat Hidayat , Ph .D.
FAKULTAS PSIKOLOGI UGM
Ancaman terhadap eksperimen
• Hal-hal yang dapat mengurangi dampak, kredibilitas, ataukemampuan generalisasi hasil-hasil sebuah eksperimen …
• .. terutama yang terkait dengan hal-hal yang semestinya dapatdikendalikan sebelum dan pada saat dilakukanya eksperimen
• Fungsi pengenalan sumber ancama: peneliti bisamengantisipasi kritik yang akan muncul, dengan caramembuat rancangan eksperimen yang memperhitungkansumber-sumber dari ancaman validitas
Rahmat Hidayat , Ph .D.
FAKULTAS PSIKOLOGI UGM
Mengapa validitas penting
• Setiap peneliti ingin hasil kerjanya diterima dan dihargaiorang lain
• Validitas = derajad kebenaran dari kesimpulan yang diajukan peneliti
• Validitas merupakan bagian yang melekat dengankesimpulan / penyimpulan hasil eksperimen, bukandesain atau metode eksperimen:
– Sebagian dari validiitas eksperimen dapat ditegakkan melaluirancangan atau metode eksperimen
– … namun ada banyak sumber ancaman validitas yang tidakdapat ditangani semata dengan rancangan dan metodeeksperimen
Rahmat Hidayat , Ph .D.
FAKULTAS PSIKOLOGI UGM
Jenis-jenis validitas
• Validitas kesimpulan statistika:
– Validitas dari penerimaan atau penolakan hipotesis secara statistika
• Internal validity:
– Validitas kesimpulan sebab-akibat
• Construct validity: – Validitas operasionalisasi variabel-variabel penelitian
– Operasionalisasi variabel bebas dalam manipulasi eksperimen
– Operasionalisasi variabel tergantung dalam pengukuran
• External validity:
– Validitas generalisasi pada *UTOS
Rahmat Hidayat , Ph .D.
FAKULTAS PSIKOLOGI UGM
Validitas konstruk
• … sejauh mana kesimpulan tentang hasil pengukuranmencerminkan kondisi yang sesungguhnya (terkaitdengan apa yang diukur)
• … dengan kata lain, perlakukan di dalam eksperimensungguh-sungguh mencerminkan kondisi tritmen yang diinginkan; dan pengukuran pada variabel tergantungsungguh-sungguh mencerminkan hal yang ingin diukursebagai dampak dari perlakukan eksperimen
Rahmat Hidayat , Ph .D.
FAKULTAS PSIKOLOGI UGM
Sumber ancaman (beberapa saja)
• Rancangan yang tidak sempurna
• Penggunaan alat pengukuran yang baru atau tidakreliabel
• Pengukuran yang terpengaruh oleh petugas yang melakukan pengukuran
• Batas yang tidak jelas antara pengukuran dan tritmenyang dilakukan
• Batasan yang tidak jelas antara sejumlah perlakuanekspermen
Rahmat Hidayat , Ph .D.
FAKULTAS PSIKOLOGI UGM
Pengendalian ancaman validitas konstruk
• Rancangan eksperimen yang cermat
• Meminta koreksi dari orang lain
• Penggunaan alat ukur yang reliabel; pengambil data yang kompeten
• Kalau ada standar alat ukur yang lain (“gold standard”), hasil pengukuran mestinya memiliki korelasi yang tinggidengan standar tersebut
Rahmat Hidayat , Ph .D.
FAKULTAS PSIKOLOGI UGM
Validitas kesimpulan (statistika)
• … sejauh mana kesimpulan statistika atas hipotesispenelitian (diterima atau ditolak) memenuhi kaidah-kaidah penyimpulan yang telah diketahui
• … dengan kata lain, sejauh mana kesimpulan tentang adaatau tidaknya keterkaitan (covariance) pada variabeltergantung (dengan kelompok pembanding, atau denganpre-test)
Rahmat Hidayat , Ph .D.
FAKULTAS PSIKOLOGI UGM
Kesimpulan statistika
Kesimpulanstatistika
Fakta yg sebenarnya
Tidak adaperbedaan
(H0)
Ada perbedaan(H1)
Tidak adaperbedaan
(H0)
Penolakan yang valid ttg. adanyaperbedaan
Penolakan yang keliru
Error Tipe II
Ada perbedaan(H1)
Penerimaan yang keliru
Error Tipe I
Penerimaan yg valid ttg adanyaperbedaan
Rahmat Hidayat , Ph .D.
FAKULTAS PSIKOLOGI UGM
Bentuk kesalahan kesimpulan statistika
• Menyimpulkan bahwa ada hubungan (atau adaperbedaan) antara dua variabel, ketika sesungguhnyatidak ada – Type I Error
• Menyimpulkan bahwa tidak ada hubungan (atautidak ada perbedaan) antara dua variabel, ketikasesungguhnya ada – Type II Error
Rahmat Hidayat , Ph .D.
FAKULTAS PSIKOLOGI UGM
Sumber kesalahan penyimpulan
Shadish, Cook & Campbell (2002, p. 45)
• Low statistical power
• Violated assumptions of statistical tests
• Fishing and the error rate problem
• Unreliability of measures
• Restriction of range
• Unreliability of treatment implementation
• Extraneous variance in experimental setting
• Hetoregeneity of units
• Inaccurate effect size estimation
Rahmat Hidayat , Ph .D.
FAKULTAS PSIKOLOGI UGM
Mengendalikan ancaman validitas kesimpulan
Sebagian yang bisa dilakukan:
• Gunakan alat pengukuran yang reliabel
• Tingkatkan power statistika
• Gunakan teknik statistika yang tepat, dan lakukan dengansempurna
• Sesuaikan galat baku (standard of error) ketikamelakukan pengujian hipotesis berganda
Rahmat Hidayat , Ph .D.
FAKULTAS PSIKOLOGI UGM
Validitas internal
• … sejauh mana kita dapat menyimpulkan bahwaperubahan (atau manipulasi) dalam variabel bebasmenyebabkan perubahan pada variabel tergantung
• Ingat: … keterkaitan (perbedaan atau korelasi) secarastatistika tidak selalu bermakna hubungan sebab-akibat!!
Rahmat Hidayat , Ph .D.
FAKULTAS PSIKOLOGI UGM
Sumber ancaman validitas internal
Lebih lengkap di Shadish, Cook & Campbell (2002, p. 55)
• Confounding: … adanya variabel lain (yg tdk dikontrol) yg turutberpengaruh
• Selection bias: adanya perbedaan (antar kelompok) yang bermaknabahkan sebelum eksperimen dilakukan
• History: kejadian selama tritmen berlangsung (tidak dikontrol) ikutberpengaruh
• Maturation: pengukuran pada waktu yang berbeda2 dapat berpengaruh
• Instrument change: penggunaan alat ukur yg berbeda antar subjek
• Repeated testing: pengukuran berulang-2 menimbulkan dampak belajarpada subjek
• Experimenter bias: perlakuan yang tidak seragam dari eksperimenterterhadap subjek penelitian
Rahmat Hidayat , Ph .D.
FAKULTAS PSIKOLOGI UGM
Mengendalikan ancaman validitas internal
• Randomization: penempatan subjek dalamkelompok eksperimen secara acak
• Blinding: subjek dibuat sedemikian sehingga tidakmemahami tritmen apa yang akan diterimanya
• Double blinding: baik (asisten) peneliti maupunsubjek tidak memahami tritmen apa yang akandilakukan / diterimanya
Rahmat Hidayat , Ph .D.
FAKULTAS PSIKOLOGI UGM
Validitas eksternal
• … sejauh mana peneliti dapat melakukan generalisasiatas hasil penelitian (tentang adanya hubungan sebab-akibat) pada orang, tempat, waktu, dan kondisi yang berbeda (ingat *UTOS) dengan apa yang dilakukannya didalam penelitian (utos)
• … singkatnya: generalitas eksperimen
Rahmat Hidayat , Ph .D.
FAKULTAS PSIKOLOGI UGM
Sumber ancaman validitas eksternal
Kekhasan pada
• Orang yang menjadi subjek
• Tempat dan kondisi dalam penelitian
• Waktu ketika dilakukannya eksperimen
Rahmat Hidayat , Ph .D.
FAKULTAS PSIKOLOGI UGM
Pengedalian ancaman validitas eksternal
• Pastikan sampel yang digunakan benar-benarmewakili populasi
• Lakukan eksperimen di tempat yang berbeda-2, dengan subjek yang berbeda, dan dalam frame waktu yang berbeda
Rahmat Hidayat , Ph .D.
FAKULTAS PSIKOLOGI UGM
Tugas minggu depan
• Review dua artikel jurnal (Indonesia dan APA journals):
– Tugas kelompok, dikumpulkan & dipresentasikan minggudepan (20 November 2012).
– Review dengan fokus isu-isu validitas: statistical inference, internal, construct, dan external.
– Buat paper dan presentasi di depan kelas.