Analisis butir soal: tingkat kesukaran dan daya beda

Sebuah soal bisa tampak sempurna di atas kertas tetapi gagal di ruang ujian: kunci jawabannya salah, dua pilihan sama-sama bisa dibela, atau petunjuk dalam kalimat membocorkan jawaban. Membaca ulang soal jarang menemukan masalah seperti ini. Jawaban peserta yang akan menunjukkannya. Artikel ini menjelaskan angka-angkanya, menunjukkan cara menghitungnya secara manual pada contoh kecil, dan memberi patokan yang lazim dipakai untuk bertindak.

Tingkat kesukaran: nilai p

Indeks kesukaran, biasanya ditulis p, adalah proporsi peserta yang menjawab soal dengan benar. Jika 22 dari 40 peserta menjawab benar, p = 22 ÷ 40 = 0,55. Namanya agak menyesatkan: p yang lebih tinggi berarti soal lebih mudah.

Inilah rentang yang dipakai laporan analisis ExamQR. Rentang yang diinginkan bergantung pada tujuan tes:

• Tes yang memeringkat atau menyeleksi, seperti tes rekrutmen dan seleksi masuk, membutuhkan soal yang membedakan peserta. Soal dengan kesukaran sedang paling baik untuk itu, karena soal yang hampir semua orang jawab benar, atau hampir tidak ada yang benar, tidak membedakan siapa pun. Untuk soal pilihan ganda empat opsi, ketika menebak acak menghasilkan 25% benar, rekomendasi klasiknya adalah rata-rata p sekitar 0,62, di tengah antara peluang menebak dan 1.
• Tes penguasaan dan sertifikasi memeriksa apakah peserta tahu apa yang wajib mereka ketahui. Nilai p 0,95 pada soal keselamatan yang penting bukan cacat; bisa jadi memang itu yang Anda inginkan. Jangan buang soal seperti itu hanya karena mudah.

Ingat bahwa p menggambarkan soal pada kelompok ini. Soal yang sama lebih mudah bagi kelas yang lebih kuat. Nilai p dari dua puluh peserta hanya petunjuk kasar; dari dua ratus peserta sudah dapat diandalkan.

Daya beda: apakah soal memisahkan peserta kuat dan lemah?

Soal yang baik lebih sering dijawab benar oleh peserta yang menguasai materi daripada yang tidak. Daya beda mengukur tepat hal itu. Ada dua cara umum menghitungnya.

Indeks daya beda D (kelompok atas dan bawah)

Ini cara yang bisa Anda hitung secara manual:

1. Urutkan peserta berdasarkan skor total.
2. Ambil 27% teratas sebagai kelompok atas dan 27% terbawah sebagai kelompok bawah. (27% adalah pilihan klasik: kelompok cukup besar agar stabil, cukup berjauhan agar perbedaan terlihat.)
3. Untuk setiap soal, D = (jumlah benar kelompok atas − jumlah benar kelompok bawah) ÷ jumlah anggota satu kelompok.

Dengan 40 peserta, setiap kelompok berisi 11 orang. Jika 9 orang kelompok atas dan 3 orang kelompok bawah menjawab benar, D = (9 − 3) ÷ 11 = 0,55. D berkisar dari −1 sampai +1.

Korelasi point-biserial

Perangkat lunak biasanya melaporkan korelasi point-biserial (r_pb): korelasi antara menjawab benar soal ini (1 atau 0) dan skor total, memakai seluruh peserta, bukan hanya kelompok atas dan bawah. Cara ini lebih tepat, dan inilah yang dilaporkan ExamQR sebagai daya beda. Untuk soal yang sama, nilainya biasanya sedikit lebih rendah daripada D, jadi jangan bandingkan kedua skala secara langsung.

Nilai negatif berarti peserta dengan skor total rendah lebih sering menjawab benar daripada peserta dengan skor tinggi. Penyebab paling umum sederhana: kunci jawabannya salah. Penyebab lain adalah soal dengan dua jawaban benar, kalimat menjebak yang membuat peserta kuat berpikir terlalu jauh, atau materi yang belum diajarkan. Periksa hal ini lebih dulu, karena kunci yang salah juga mengubah skor semua peserta.

Tingkat kesukaran membatasi daya beda. Soal yang dijawab benar oleh 98% peserta hampir tidak bisa membedakan, karena hampir tidak ada lagi yang bisa dipisahkan. Jadi bacalah kedua angka bersama-sama.

Analisis pengecoh: apa yang diungkap pilihan yang salah

Dalam soal pilihan ganda, pilihan yang salah, disebut pengecoh (distraktor), punya tugas: menarik peserta yang tidak tahu jawabannya. Menghitung berapa kali setiap pilihan dipilih, dipisah antara kelompok atas dan bawah, menunjukkan apakah tugas itu berjalan.

Pengecoh yang baik:

• dipilih oleh bagian peserta yang wajar. Pilihan yang hampir tidak dipilih siapa pun tidak berfungsi, dan soal itu praktis kehilangan satu pilihan sehingga menebak jadi lebih mudah. ExamQR menandai pengecoh yang dipilih kurang dari 5% peserta jika pesertanya paling sedikit 30;
• lebih banyak dipilih kelompok bawah daripada kelompok atas. Dalam bahasa korelasi, point-biserial-nya negatif. Pengecoh yang menarik peserta kuat (korelasi positif) biasanya berarti pilihan itu juga bisa dibela sebagai benar, atau soalnya ambigu. ExamQR menandai pengecoh yang korelasinya dengan skor total di atas 0,05.

Contoh perhitungan

Empat puluh peserta mengikuti tes; kelompok atas dan bawah masing-masing berisi 11 peserta. Berikut dua soal empat pilihan. Kunci jawaban dicetak tebal.

p = 22 ÷ 40 = 0,55, sedang. D = (9 − 3) ÷ 11 = 0,55, tinggi. Pengecoh A dan C terutama menarik kelompok bawah, sebagaimana mestinya. Hanya pilihan D yang lemah: hanya 2 dari 40 peserta (5%) memilihnya, tepat di ambang yang lazim. Kesimpulan: pertahankan soal ini dan tulis pilihan D yang lebih masuk akal lain kali.

p = 17 ÷ 40 = 0,43, yang jika dilihat sendiri tampak wajar. Tetapi D = (3 − 6) ÷ 11 = −0,27: kelompok bawah lebih baik daripada kelompok atas. Tujuh dari sebelas peserta terkuat memilih C. Entah C jawaban yang benar dan kuncinya salah, atau soal memiliki dua jawaban yang bisa dibela. Kesimpulan: periksa kunci dan kalimat soal sebelum menilai, lalu perbaiki atau buang soal itu.

Pertahankan, perbaiki, atau buang

Laporan ExamQR menggabungkan tingkat kesukaran dan daya beda menjadi satu rekomendasi per soal, dengan aturan berikut:

Anggap ini titik awal keputusan manusia, bukan vonis. Sebelum membuang soal, tanyakan apakah soal itu mencakup sesuatu yang wajib dicakup tes. Membuang semua soal sukar dari satu topik membuat statistik tampak lebih baik tetapi validitas tes menurun. Jika soal itu diperlukan, tulis ulang alih-alih membuangnya.

Kesalahan yang sering terjadi

• Memercayai sampel kecil. Dengan kurang dari sekitar 30 peserta, satu orang saja bisa menggeser p beberapa poin dan membuat daya beda naik-turun tajam. Gunakan statistik kelas kecil untuk menemukan soal yang patut dicurigai, bukan untuk memvonisnya.
• Membuang soal mudah dari tes penguasaan. Daya beda rendah pada soal yang semua orang tahu adalah hal wajar dan tidak berbahaya.
• Mengabaikan soal terakhir yang tidak terjawab. Jika banyak peserta tidak sempat sampai ke soal-soal terakhir, soal itu tampak sukar karena waktu, bukan karena isinya.
• Membaca daya beda pada tes yang mengukur beberapa hal berbeda. Daya beda membandingkan setiap soal dengan skor total. Jika tes mencampur, misalnya, tata bahasa dan menyimak, soal menyimak yang baik bisa tampak lemah terhadap skor total yang didominasi tata bahasa. Analisis setiap bagian secara terpisah bila memungkinkan.
• Lupa memperbaiki nilai. Jika menemukan kunci yang salah, perbaiki dan nilai ulang ujiannya, bukan hanya bank soalnya.

Melampaui analisis klasik

Semua yang di atas termasuk teori tes klasik (CTT), di mana setiap statistik bergantung pada kelompok yang mengikuti tes. Teori respons butir (IRT) memperkirakan tingkat kesukaran (b), daya beda (a), dan pada model tiga parameter, tingkat tebakan (c) untuk setiap soal pada skala bersama yang kurang bergantung pada kelompok tertentu. IRT membutuhkan lebih banyak peserta, biasanya beberapa ratus untuk perkiraan tiga parameter yang stabil, dan paling berguna untuk bank soal besar dan tes adaptif. Untuk sebagian besar tes di kelas, pelatihan, dan rekrutmen, statistik klasik dalam artikel ini sudah cukup untuk menemukan soal yang perlu perhatian. Hubungan antara statistik soal ini dan reliabilitas tes secara keseluruhan dijelaskan dalam reliabilitas dan validitas.

Analisis butir soal tes Anda sendiri

Pertanyaan yang sering diajukan

Berapa tingkat kesukaran yang baik?

Untuk tes yang memeringkat peserta, sebagian besar soal antara 0,30 dan 0,80, dengan rata-rata sekitar 0,6 untuk soal empat pilihan. Untuk tes penguasaan, soal mudah tentang materi pokok itu wajar.

Berapa daya beda yang baik?

Point-biserial 0,20 atau lebih dapat diterima dan 0,30 atau lebih baik. Untuk indeks D kelompok atas dan bawah, panduan yang umum adalah 0,40 atau lebih sangat baik, 0,30 sampai 0,39 baik, 0,20 sampai 0,29 cukup, dan di bawah 0,20 jelek.

Bisakah daya beda bernilai negatif?

Bisa. Artinya peserta yang lebih lemah lebih sering menjawab benar daripada yang lebih kuat. Periksa kunci jawaban lebih dulu, lalu cari dua pilihan yang benar atau kalimat yang menyesatkan.

Berapa peserta yang dibutuhkan?

Perhitungan berjalan mulai dari sepuluh peserta, tetapi anggap hasilnya sebagai petunjuk jika kurang dari sekitar 30 dan dapat diandalkan mulai sekitar 100. IRT membutuhkan lebih banyak.

Sumber

• Ebel, R. L. and Frisbie, D. A. (1991). Essentials of Educational Measurement (5th ed.). Englewood Cliffs, NJ: Prentice Hall.
• Haladyna, T. M., Downing, S. M. and Rodriguez, M. C. (2002). A review of multiple-choice item-writing guidelines for classroom assessment. Applied Measurement in Education, 15(3), 309–333.
• Kelley, T. L. (1939). The selection of upper and lower groups for the validation of test items. Journal of Educational Psychology, 30(1), 17–24.
• Lord, F. M. (1952). The relation of the reliability of multiple-choice tests to the distribution of item difficulties. Psychometrika, 17(2), 181–194.