Phân tích câu hỏi: độ khó và độ phân biệt
Phân tích câu hỏi (item analysis) là bộ thống kê tính cho từng câu sau một bài kiểm tra, cho biết câu đó "hoạt động" thế nào. Ba chỉ số cần biết là độ khó (tỷ lệ thí sinh trả lời đúng), độ phân biệt (thí sinh làm tốt cả bài có hay làm đúng câu này hơn không) và phân tích phương án nhiễu (ai đã chọn từng phương án sai).
Gộp lại, chúng cho biết câu nào nên giữ, câu nào cần sửa và câu nào nên bỏ trước khi dùng lại.
Một câu hỏi có thể trông rất ổn trên giấy mà vẫn hỏng trong phòng thi: đáp án sai, hai phương án cùng đúng, hoặc câu chữ vô tình để lộ đáp án. Đọc lại câu hỏi hiếm khi phát hiện được những lỗi này. Bạn sẽ thấy chúng trong chính bài làm của thí sinh. Bài này giải thích các con số, chỉ cách tính tay trên một ví dụ nhỏ, và đưa ra các ngưỡng tham khảo để biết phải làm gì.
Độ khó: chỉ số p
Độ khó, thường ký hiệu p, đơn giản là tỷ lệ thí sinh trả lời đúng câu hỏi. Nếu 22 trong 40 thí sinh làm đúng, p = 22 ÷ 40 = 0,55. Tên gọi hơi ngược: p càng cao thì câu càng dễ.
| Chỉ số p | Đánh giá |
|---|---|
| Trên 0,90 | Rất dễ |
| 0,71 đến 0,90 | Dễ |
| 0,30 đến 0,70 | Trung bình |
| 0,10 đến 0,29 | Khó |
| Dưới 0,10 | Rất khó |
Đây là các mức mà báo cáo phân tích của ExamQR sử dụng. Mức nào là phù hợp tùy vào mục đích bài kiểm tra:
- Bài kiểm tra để xếp hạng hoặc tuyển chọn, như kiểm tra tuyển dụng hay thi tuyển, cần câu hỏi phân loại được thí sinh. Câu độ khó trung bình làm việc này tốt nhất, vì câu gần như ai cũng đúng, hoặc gần như không ai đúng, thì không phân biệt được ai với ai. Với câu trắc nghiệm bốn phương án, nơi đoán bừa đúng được 25%, khuyến nghị kinh điển là p trung bình khoảng 0,62, ở giữa mức đoán mò và 1.
- Bài kiểm tra mức thành thạo và cấp chứng chỉ kiểm tra xem thí sinh có nắm được điều bắt buộc phải biết không. Một câu về an toàn thiết yếu có p bằng 0,95 không phải là lỗi; có khi đó chính là điều bạn muốn. Đừng bỏ câu như vậy chỉ vì nó dễ.
Lưu ý p mô tả câu hỏi với nhóm thí sinh này. Cùng một câu sẽ dễ hơn với một lớp giỏi hơn. Chỉ số p từ hai mươi thí sinh chỉ là tín hiệu sơ bộ; từ hai trăm thí sinh thì đáng tin.
Độ phân biệt: câu hỏi có tách được thí sinh giỏi và yếu không?
Câu hỏi tốt được thí sinh nắm vững môn học làm đúng nhiều hơn thí sinh chưa nắm vững. Độ phân biệt đo đúng điều đó. Có hai cách tính phổ biến.
Chỉ số phân biệt D (nhóm cao và nhóm thấp)
Đây là cách bạn có thể tính tay:
- Xếp thí sinh theo tổng điểm.
- Lấy 27% cao nhất làm nhóm cao và 27% thấp nhất làm nhóm thấp. (27% là lựa chọn kinh điển: nhóm đủ lớn để ổn định, đủ xa nhau để thấy khác biệt.)
- Với mỗi câu, D = (số người nhóm cao làm đúng − số người nhóm thấp làm đúng) ÷ số người của một nhóm.
Với 40 thí sinh, mỗi nhóm có 11 người. Nếu 9 người nhóm cao và 3 người nhóm thấp làm đúng một câu, D = (9 − 3) ÷ 11 = 0,55. D chạy từ −1 đến +1.
Hệ số tương quan điểm-nhị phân
Phần mềm thường báo hệ số tương quan điểm-nhị phân (point-biserial, rpb): tương quan giữa việc làm đúng câu này (1 hoặc 0) và tổng điểm, dùng toàn bộ thí sinh chứ không chỉ nhóm cao và nhóm thấp. Cách này chính xác hơn, và là chỉ số ExamQR báo cáo làm độ phân biệt. Với cùng một câu, giá trị của nó thường thấp hơn D một chút, nên đừng so trực tiếp hai thang đo.
| Độ phân biệt (rpb) | Đánh giá | Nên làm gì |
|---|---|---|
| Từ 0,40 | Rất tốt | Giữ |
| 0,30 đến 0,39 | Tốt | Giữ |
| 0,20 đến 0,29 | Trung bình | Giữ |
| 0,10 đến 0,19 | Thấp | Cân nhắc sửa câu chữ và phương án nhiễu |
| 0 đến 0,09 | Rất thấp | Sửa trước khi dùng lại |
| Dưới 0 | Âm | Kiểm tra đáp án trước tiên |
Giá trị âm nghĩa là thí sinh có tổng điểm thấp lại làm đúng câu này nhiều hơn thí sinh điểm cao. Nguyên nhân thường gặp nhất rất đơn giản: đáp án sai. Các nguyên nhân khác là câu có hai đáp án đúng, câu chữ đánh đố khiến thí sinh giỏi nghĩ quá lên, hoặc nội dung chưa được dạy. Kiểm tra những điều này trước tiên, vì đáp án sai còn làm sai điểm của mọi thí sinh.
Độ khó giới hạn độ phân biệt. Câu mà 98% thí sinh làm đúng không thể phân biệt nhiều, vì gần như chẳng còn ai để tách ra. Vì vậy hãy đọc hai con số cùng nhau, không tách riêng.
Phân tích phương án nhiễu: phương án sai cho bạn biết điều gì
Trong câu trắc nghiệm, các phương án sai, gọi là phương án nhiễu, có nhiệm vụ thu hút thí sinh không biết đáp án. Đếm số lần mỗi phương án được chọn, tách theo nhóm cao và nhóm thấp, sẽ cho thấy chúng có làm tốt việc đó không.
Một phương án nhiễu tốt:
- được một tỷ lệ thí sinh hợp lý chọn. Phương án gần như không ai chọn là không hoạt động, và câu hỏi thực chất bớt đi một phương án, khiến đoán mò dễ hơn. ExamQR gắn cờ phương án nhiễu được dưới 5% thí sinh chọn khi có từ 30 thí sinh trở lên;
- được nhóm thấp chọn nhiều hơn nhóm cao. Theo cách nói tương quan, hệ số point-biserial của nó âm. Phương án nhiễu thu hút thí sinh giỏi (tương quan dương) thường có nghĩa nó cũng có thể coi là đúng, hoặc câu hỏi mơ hồ. ExamQR gắn cờ phương án nhiễu có tương quan với tổng điểm trên 0,05.
Ví dụ cụ thể
Bốn mươi thí sinh làm một bài kiểm tra; nhóm cao và nhóm thấp mỗi nhóm 11 người. Dưới đây là hai câu bốn phương án. Đáp án được in đậm.
| Câu 7 | A | B | C | D |
|---|---|---|---|---|
| Nhóm cao (11) | 1 | 9 | 1 | 0 |
| Nhóm thấp (11) | 3 | 3 | 4 | 1 |
| Toàn bộ (40) | 6 | 22 | 10 | 2 |
p = 22 ÷ 40 = 0,55, trung bình. D = (9 − 3) ÷ 11 = 0,55, mạnh. Phương án nhiễu A và C chủ yếu thu hút nhóm thấp, đúng như mong đợi. Chỉ phương án D yếu: chỉ 2 trong 40 thí sinh (5%) chọn, sát ngưỡng thường dùng. Kết luận: giữ câu này, và lần sau viết phương án D hợp lý hơn.
| Câu 12 | A | B | C | D |
|---|---|---|---|---|
| Nhóm cao (11) | 3 | 0 | 7 | 1 |
| Nhóm thấp (11) | 6 | 2 | 2 | 1 |
| Toàn bộ (40) | 17 | 4 | 16 | 3 |
p = 17 ÷ 40 = 0,43, nhìn riêng thì ổn. Nhưng D = (3 − 6) ÷ 11 = −0,27: nhóm thấp làm tốt hơn nhóm cao. Bảy trong mười một thí sinh giỏi nhất chọn C. Hoặc C mới là đáp án đúng và đáp án đã nhập sai, hoặc câu có hai đáp án đều bảo vệ được. Kết luận: kiểm tra đáp án và câu chữ trước khi chấm, rồi sửa hoặc bỏ câu.
Giữ, sửa hay bỏ
Báo cáo của ExamQR gộp độ khó và độ phân biệt thành một khuyến nghị cho từng câu, theo các quy tắc sau:
| Khuyến nghị | Khi nào |
|---|---|
| Giữ (xuất sắc) | Độ phân biệt từ 0,30 và p từ 0,20 đến 0,80 |
| Giữ (tốt) | Độ phân biệt từ 0,20 và p từ 0,10 đến 0,90 |
| Cân nhắc cải thiện | Chỉ số chấp nhận được nhưng dưới hai dòng trên, thường kèm một phương án nhiễu yếu |
| Cần sửa | Độ phân biệt dưới 0,10, hoặc p trên 0,95 hay dưới 0,05 |
| Loại bỏ | Độ phân biệt âm, hoặc độ phân biệt dưới 0,10 đồng thời p trên 0,95 hay dưới 0,05 |
Hãy coi đây là điểm khởi đầu cho quyết định của con người, không phải phán quyết. Trước khi bỏ một câu, hãy hỏi nó có bao phủ nội dung mà bài kiểm tra bắt buộc phải bao phủ không. Bỏ hết các câu khó của một chủ đề sẽ làm thống kê đẹp hơn nhưng bài kiểm tra kém giá trị hơn. Khi câu đó cần thiết, hãy viết lại chứ đừng bỏ.
Những sai lầm thường gặp
- Tin vào mẫu nhỏ. Dưới khoảng 30 thí sinh, chỉ một người cũng làm p lệch vài điểm và làm độ phân biệt dao động mạnh. Dùng thống kê của lớp nhỏ để tìm câu đáng ngờ, không phải để kết luận.
- Bỏ câu dễ khỏi bài kiểm tra mức thành thạo. Câu ai cũng biết thì độ phân biệt thấp là chuyện bình thường và vô hại.
- Bỏ qua các câu cuối không ai kịp làm. Nếu nhiều thí sinh không làm tới các câu cuối, những câu đó trông khó vì thời gian chứ không phải vì nội dung.
- Đọc độ phân biệt trên một bài đo nhiều thứ khác nhau. Độ phân biệt so từng câu với tổng điểm. Nếu bài trộn, chẳng hạn ngữ pháp và nghe, một câu nghe tốt có thể trông yếu khi so với tổng điểm chủ yếu là ngữ pháp. Nếu được, hãy phân tích từng phần riêng.
- Quên sửa điểm. Khi phát hiện đáp án sai, hãy sửa và chấm lại kỳ thi, không chỉ sửa trong ngân hàng câu hỏi.
Xa hơn phân tích cổ điển
Mọi thứ ở trên thuộc lý thuyết trắc nghiệm cổ điển (CTT), nơi mọi chỉ số phụ thuộc vào nhóm đã làm bài. Lý thuyết ứng đáp câu hỏi (IRT) ước lượng độ khó (b), độ phân biệt (a) và, trong mô hình ba tham số, mức đoán mò (c) của từng câu trên một thang chung, ít phụ thuộc vào nhóm cụ thể hơn. IRT cần nhiều thí sinh hơn, thường vài trăm người để ước lượng ba tham số ổn định, và hữu ích nhất cho ngân hàng câu hỏi lớn và bài thi thích ứng. Với phần lớn bài kiểm tra trên lớp, đào tạo và tuyển dụng, các chỉ số cổ điển trong bài này đã đủ để tìm ra câu cần chú ý. Mối liên hệ giữa các chỉ số câu hỏi này và độ tin cậy của cả bài được giải thích trong bài độ tin cậy và độ giá trị.
Phân tích câu hỏi cho đề của bạn
Công cụ phân tích đề thi miễn phí của ExamQR làm mọi việc trong bài này cho bất kỳ bài trắc nghiệm nào, kể cả bài không tổ chức trên ExamQR. Dán đáp án và bài làm của thí sinh, mỗi thí sinh một dòng (5 đến 200 câu, 10 đến 5.000 thí sinh). Bạn sẽ có độ khó và độ phân biệt của từng câu kèm khuyến nghị như trên, tỷ lệ chọn và tương quan của từng phương án với các phương án nhiễu yếu được gắn cờ, alpha của Cronbach cho cả bài và mô hình IRT. Kết quả chỉ nằm trong phiên trình duyệt và bị xóa sau hai giờ. Với kỳ thi tổ chức trên ExamQR, trang phân tích của mỗi môn thi hiển thị độ khó và độ phân biệt của từng câu. Tìm hiểu thêm về phân tích đề thi.
Câu hỏi thường gặp
Độ khó bao nhiêu là tốt?
Với bài kiểm tra để xếp hạng thí sinh, phần lớn câu nên nằm trong khoảng 0,30 đến 0,80, trung bình khoảng 0,6 với câu bốn phương án. Với bài kiểm tra mức thành thạo, câu dễ về nội dung thiết yếu là bình thường.
Độ phân biệt bao nhiêu là tốt?
Hệ số point-biserial từ 0,20 là chấp nhận được và từ 0,30 là tốt. Với chỉ số D theo nhóm cao, nhóm thấp, hướng dẫn thường dùng là từ 0,40 rất tốt, 0,30 đến 0,39 tốt, 0,20 đến 0,29 tạm được và dưới 0,20 kém.
Độ phân biệt có thể âm không?
Có. Nghĩa là thí sinh yếu làm đúng nhiều hơn thí sinh giỏi. Kiểm tra đáp án trước; sau đó tìm xem có hai phương án đúng hay câu chữ gây hiểu nhầm không.
Cần bao nhiêu thí sinh?
Phép tính chạy được từ mười thí sinh, nhưng dưới khoảng 30 thì chỉ nên xem là tham khảo, và từ khoảng 100 thì đáng tin. IRT cần nhiều hơn.
Nguồn tham khảo
- Ebel, R. L. and Frisbie, D. A. (1991). Essentials of Educational Measurement (5th ed.). Englewood Cliffs, NJ: Prentice Hall.
- Haladyna, T. M., Downing, S. M. and Rodriguez, M. C. (2002). A review of multiple-choice item-writing guidelines for classroom assessment. Applied Measurement in Education, 15(3), 309–333.
- Kelley, T. L. (1939). The selection of upper and lower groups for the validation of test items. Journal of Educational Psychology, 30(1), 17–24.
- Lord, F. M. (1952). The relation of the reliability of multiple-choice tests to the distribution of item difficulties. Psychometrika, 17(2), 181–194.