Reliabilitas dan validitas: bedanya, dengan contoh

Setiap hasil tes berujung pada keputusan: lulus atau tidak, diterima kerja atau tidak, masuk kelas yang mana. Reliabilitas dan validitas adalah dua pertanyaan yang menentukan apakah keputusan itu bisa dipercaya. Keduanya mudah tertukar karena sama-sama terdengar seperti "tes yang baik", jadi artikel ini membahasnya satu per satu, dengan angka yang bisa Anda periksa pada ujian Anda sendiri.

Bedanya dalam satu contoh

Bayangkan timbangan badan yang selalu menunjukkan dua kilogram lebih berat dari berat Anda yang sebenarnya. Anda naik lima kali dan angkanya sama lima kali: timbangan itu reliabel. Tetapi angkanya salah, jadi memakainya saat pemeriksaan kesehatan untuk menentukan apakah berat Anda turun tidak valid. Sekarang bayangkan timbangan yang rata-ratanya tepat, tetapi meleset tiga kilogram setiap kali Anda naik. Timbangan itu tidak reliabel, dan karena itulah tidak ada satu pun hasil timbangnya yang bisa valid.

Tes pun begitu. Kuis kosakata yang dipakai sebagai ujian "pemahaman bacaan" bisa memberi skor yang sangat stabil, tetapi tetap mengukur hal yang keliru. Ujian yang tepat sasaran tetapi hanya berisi delapan soal bisa mengukur hal yang benar, tetapi dengan begitu banyak gangguan sehingga dua peserta yang sama mampunya jatuh di sisi berbeda dari batas lulus.

Reliabilitas: seberapa konsisten skornya?

Tidak ada tes yang mengukur dengan sempurna. Skor seorang peserta adalah kemampuan sebenarnya ditambah sejumlah galat: soal yang kebetulan keluar, tebakan yang beruntung, sore yang melelahkan, penilai yang ketat atau longgar. Reliabilitas menggambarkan seberapa besar sebaran skor berasal dari perbedaan nyata antarpeserta, bukan dari galat itu. Reliabilitas 0,80 kira-kira berarti 80% variasi skor mencerminkan perbedaan nyata dan 20% adalah gangguan.

Cara memperkirakannya

• Konsistensi internal: apakah soal-soal dalam satu tes saling sejalan? Cukup satu kali pelaksanaan, karena itu angka ini paling umum. Alfa Cronbach adalah rumus umumnya; KR-20 adalah gagasan yang sama untuk soal yang dinilai benar atau salah, dan pada soal seperti itu nilainya sama dengan alfa.
• Tes ulang: peserta yang sama mengerjakan tes yang sama dua kali dengan selang waktu, lalu kedua skor dikorelasikan.
• Bentuk paralel: peserta mengerjakan dua versi yang disusun dari kisi-kisi yang sama. Ini penting setiap kali peserta berbeda mendapat paket soal berbeda.
• Antarpenilai: untuk esai dan tugas praktik, dua penilai menilai jawaban yang sama secara terpisah lalu kesesuaian mereka diukur.

Galat baku pengukuran

Koefisien reliabilitas itu abstrak. Galat baku pengukuran (SEM) mengubahnya menjadi poin pada skala Anda sendiri:

SEM = SD × √(1 − reliabilitas)

Misalkan skor ujian Anda punya simpangan baku 10 poin dan reliabilitas 0,84. Maka SEM = 10 × √0,16 = 4 poin. Peserta yang mendapat 62 memiliki skor sebenarnya yang, sekitar dua dari tiga kali, berada antara 58 dan 66, dan sekitar 19 dari 20 kali, antara 54 dan 70. Jika batas lulusnya 60, peserta itu belum jelas berada di atasnya. Inilah alasan praktis mengapa reliabilitas penting: ia menunjukkan berapa banyak peserta di sekitar batas lulus yang bisa saja jatuh ke sisi lain karena kebetulan.

Seberapa reliabel yang cukup?

Tidak ada satu ambang, karena bergantung pada seberapa penting keputusannya. Patokan berikut banyak dipakai, dan inilah rentang yang diterapkan laporan analisis ExamQR pada alfa Cronbach:

Alfa yang sangat tinggi, di atas sekitar 0,95 pada tes yang pendek, belum tentu kabar baik: bisa jadi soal-soalnya hampir salinan satu sama lain dan hanya mencakup bagian sempit dari materi.

Cara membuat tes lebih reliabel

• Tambahkan soal yang baik. Reliabilitas naik seiring panjang tes. Menurut rumus Spearman-Brown, menggandakan tes berreliabilitas 0,70 dengan soal serupa menaikkannya menjadi sekitar 0,82 (2 × 0,70 ÷ 1,70).
• Buang atau tulis ulang soal yang tidak membedakan. Soal yang dijawab benar sama seringnya oleh peserta kuat dan lemah hanya menambah gangguan, bukan informasi. Daya beda soal, biasanya korelasi point-biserial antara soal dan skor total, harus positif; di atas sekitar 0,20 umumnya dapat diterima dan di atas 0,30 baik. Nilai negatif biasanya menandakan kunci jawaban salah atau soal yang menyesatkan. Selengkapnya di analisis butir soal: tingkat kesukaran dan daya beda.
• Perbaiki pengecoh. Pilihan salah yang tidak dipilih siapa pun tidak menjalankan fungsinya; pilihan salah yang menarik banyak peserta kuat mungkin juga bisa dibela sebagai benar.
• Nilai secara konsisten. Untuk jawaban uraian, gunakan rubrik dan minta penilai kedua memeriksa sebagian jawaban.
• Samakan kondisi. Waktu sama, petunjuk sama, tidak ada bantuan untuk sebagian peserta saja.

Validitas: apakah skornya bermakna seperti yang Anda klaim?

Pandangan profesional saat ini, yang dirumuskan dalam Standards for Educational and Psychological Testing (standar acuan untuk tes pendidikan dan psikologi), adalah bahwa validitas bukan sifat sebuah tes. Validitas melekat pada tafsiran dan penggunaan tertentu atas skornya. Tes bahasa Inggris yang sama bisa valid untuk menempatkan siswa di kelas, tetapi tidak valid untuk memutuskan apakah seorang perawat bisa bekerja dengan aman di rumah sakit berbahasa Inggris. Jadi pertanyaan yang tepat bukan "apakah tes ini valid?", melainkan "apakah valid memakai skor ini untuk mengambil keputusan ini tentang orang-orang ini?".

Pertanyaan itu dijawab dengan beberapa jenis bukti:

• Isi: apakah soal-soal mencakup pengetahuan dan keterampilan yang menjadi dasar keputusan, dalam proporsi yang wajar? Alat utamanya adalah kisi-kisi tertulis (topik × tingkat kesulitan atau tingkat kemampuan, dengan jumlah soal di setiap sel), dan bukti utamanya adalah telaah soal oleh ahli materi berdasarkan kisi-kisi itu.
• Proses menjawab: apakah peserta menjawab dengan keterampilan yang ingin Anda ukur? Soal matematika yang banyak dijawab salah karena kalimatnya panjang dan berbelit sedang mengukur kemampuan membaca, bukan matematika.
• Struktur internal: apakah soal-soal berperilaku sesuai struktur yang diklaim? Jika tes melaporkan skor terpisah untuk menyimak dan membaca, soal menyimak semestinya lebih erat berkaitan satu sama lain daripada dengan soal membaca.
• Hubungan dengan ukuran lain: apakah skor selaras dengan bukti lain tentang keterampilan yang sama, dan memprediksi apa yang seharusnya diprediksi? Tes rekrutmen semestinya berkaitan dengan kinerja kerja di kemudian hari; tes penempatan, dengan hasil belajar siswa di kelas tempat mereka ditempatkan.
• Konsekuensi: apakah penggunaan tes menghasilkan dampak yang diinginkan tanpa merugikan kelompok tertentu secara tidak adil?

Ancaman umum terhadap validitas

• Mengukur hal yang keliru: hanya soal hafalan dalam ujian yang seharusnya menyatakan bahwa seseorang mampu menerapkan suatu prosedur.
• Kesulitan yang tidak relevan: bacaan terlalu banyak, format yang asing, atau waktu begitu sempit sehingga kecepatan menentukan hasil padahal kecepatan bukan yang diukur.
• Petunjuk jawaban: pilihan yang benar selalu paling panjang, atau tata bahasanya membocorkan jawaban. Peserta yang menangkap polanya mendapat skor lebih tinggi tanpa lebih paham.
• Kecurangan dan soal bocor: jika jawaban beredar, skor mengukur akses ke jawaban. Paket soal berbeda untuk setiap peserta, bank soal yang cukup besar untuk divariasikan, dan pengawasan melindungi validitas secara langsung.
• Skor yang tidak reliabel: setiap sumber gangguan di atas juga mengancam validitas.

Bagaimana keduanya berkaitan

Reliabilitas perlu bagi validitas, tetapi tidak cukup. Hubungannya bisa dinyatakan dengan tepat: korelasi antara skor tes dan hal lain apa pun, misalnya kinerja kerja kemudian hari, tidak bisa lebih tinggi daripada akar kuadrat reliabilitas tes. Dengan reliabilitas 0,64, skor tidak akan pernah berkorelasi di atas 0,80 dengan hasil yang hendak diprediksi, sebaik apa pun soalnya dipilih. Meningkatkan reliabilitas menaikkan batas atasnya; hanya rancangan yang baik dan bukti yang membawa Anda mendekati batas itu.

Dalam praktik, kerjakan dengan urutan ini: tentukan untuk apa skor dipakai, susun kisi-kisi yang sesuai dengan tujuan itu, tulis dan telaah soal berdasarkan kisi-kisi, laksanakan tes dalam kondisi yang seragam, lalu periksa statistiknya dan perbaiki apa yang ditunjukkannya.

Periksa tes Anda sendiri

Setelah setiap ujian, sebelum mengumumkan hasil atau memakai ulang soal, lihat empat angka:

1. Alfa Cronbach atau KR-20, dibandingkan dengan tabel di atas sesuai bobot keputusannya.
2. SEM, dan berapa banyak peserta yang berada dalam jarak satu SEM dari batas lulus.
3. Daya beda setiap soal: tulis ulang atau buang soal di bawah sekitar 0,20, dan untuk nilai negatif periksa kunci jawabannya lebih dulu.
4. Pilihan pengecoh: pilihan yang tidak dipilih siapa pun, dan pilihan salah yang dipilih banyak peserta kuat.

Pertanyaan yang sering diajukan

Bisakah tes valid tetapi tidak reliabel?

Pada dasarnya tidak. Jika skor sebagian besar berisi gangguan, skor itu tidak bisa menjadi dasar yang baik untuk keputusan apa pun, sehingga reliabilitas yang rendah selalu membatasi validitas. Sebaliknya, tes bisa reliabel tetapi tidak valid: skor yang konsisten tetapi mengukur hal yang keliru.

Apakah alfa Cronbach mengukur validitas?

Tidak. Alfa hanya menunjukkan seberapa konsisten soal-soal bersama-sama mengukur sesuatu. Alfa tidak memberi tahu apa sesuatu itu, atau apakah itu yang ingin Anda ukur.

Apa beda KR-20 dan alfa Cronbach?

KR-20 adalah kasus khusus alfa untuk soal yang dinilai benar atau salah. Pada tes seperti itu keduanya memberi nilai yang sama; alfa juga bisa dipakai untuk soal dengan skor parsial.

Berapa peserta yang dibutuhkan untuk menghitung reliabilitas?

Rumusnya tetap berjalan pada kelompok kecil, tetapi perkiraannya tidak stabil jika pesertanya kurang dari beberapa puluh. Anggap hasil dari kelas kecil sebagai petunjuk kasar, dan periksa lagi ketika lebih banyak peserta telah mengerjakan soal yang sama.

Sumber

• American Educational Research Association, American Psychological Association and National Council on Measurement in Education (2014). Standards for Educational and Psychological Testing. Washington, DC: AERA.
• Cronbach, L. J. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, 16(3), 297–334.
• Kuder, G. F. and Richardson, M. W. (1937). The theory of the estimation of test reliability. Psychometrika, 2(3), 151–160.
• Messick, S. (1989). Validity. In R. L. Linn (Ed.), Educational Measurement (3rd ed.). New York: American Council on Education and Macmillan.