Độ tin cậy và độ giá trị: khác nhau thế nào, kèm ví dụ

Mỗi kết quả kiểm tra đều dẫn tới một quyết định: đạt hay không đạt, tuyển hay không, xếp vào lớp nào. Độ tin cậy và độ giá trị là hai câu hỏi cho biết quyết định đó có đáng tin hay không. Hai khái niệm dễ bị nhầm vì nghe đều giống "một đề thi tốt", nên bài này lần lượt đi qua từng khái niệm, với những con số bạn tự kiểm được trên kỳ thi của mình.

Khác nhau qua một ví dụ

Hãy hình dung một chiếc cân luôn hiện nhiều hơn cân nặng thật của bạn 2 kg. Bước lên năm lần, nó hiện cùng một con số năm lần: chiếc cân tin cậy. Nhưng con số sai, nên dùng nó để kết luận bạn đã giảm cân trong một lần khám bệnh là không có giá trị. Giờ hình dung một chiếc cân trung bình thì đúng, nhưng mỗi lần bước lên lại lệch tới 3 kg. Nó không tin cậy, và chính vì thế không lần cân nào có giá trị.

Bài kiểm tra cũng vậy. Một bài kiểm tra từ vựng được dùng làm đề "đọc hiểu" có thể cho điểm rất ổn định mà vẫn đo sai thứ cần đo. Một đề nhắm đúng mục tiêu nhưng chỉ có tám câu có thể đo đúng thứ cần đo, nhưng nhiễu tới mức hai thí sinh giỏi ngang nhau lại rơi về hai phía của điểm đạt.

Độ tin cậy: điểm số ổn định đến đâu?

Không bài kiểm tra nào đo hoàn hảo. Điểm của thí sinh là năng lực thật cộng với một phần sai số: bộ câu hỏi tình cờ được chọn, một lần đoán trúng, một buổi chiều mệt mỏi, người chấm khắt khe hay dễ dãi. Độ tin cậy cho biết bao nhiêu phần trong sự chênh lệch điểm giữa các thí sinh đến từ khác biệt thật, chứ không phải từ sai số. Độ tin cậy 0,80 có nghĩa gần đúng là 80% chênh lệch điểm phản ánh khác biệt thật và 20% là nhiễu.

Các cách ước lượng

• Nhất quán nội tại: các câu trong cùng một đề có "đồng thuận" với nhau không? Cách này chỉ cần một lần thi nên là con số phổ biến nhất. Alpha của Cronbach là công thức tổng quát; KR-20 là cùng ý tưởng cho câu chấm đúng/sai, và với loại câu này hai hệ số cho cùng một giá trị.
• Thi lại (test-retest): cùng thí sinh làm cùng một đề hai lần, cách nhau một thời gian, rồi tính tương quan giữa hai lần.
• Đề tương đương: thí sinh làm hai đề xây theo cùng một ma trận. Điều này quan trọng mỗi khi bạn phát cho các thí sinh những đề khác nhau.
• Giữa người chấm: với bài tự luận và bài thực hành, hai người chấm độc lập cùng một bài và đo mức độ khớp nhau.

Sai số chuẩn của phép đo

Hệ số tin cậy khá trừu tượng. Sai số chuẩn của phép đo (SEM) chuyển nó thành số điểm trên chính thang điểm của bạn:

SEM = SD × √(1 − độ tin cậy)

Giả sử điểm kỳ thi của bạn có độ lệch chuẩn 10 điểm và độ tin cậy 0,84. Khi đó SEM = 10 × √0,16 = 4 điểm. Một thí sinh được 62 điểm thì điểm thật, khoảng hai lần trong ba, nằm giữa 58 và 66; khoảng 19 lần trong 20, nằm giữa 54 và 70. Nếu điểm đạt là 60, thí sinh đó chưa chắc đã vượt qua. Đây là lý do thực tế khiến độ tin cậy quan trọng: nó cho biết có bao nhiêu thí sinh quanh điểm đạt có thể rơi sang phía bên kia chỉ vì may rủi.

Bao nhiêu là đủ tin cậy?

Không có một ngưỡng duy nhất, vì nó tùy vào quyết định quan trọng đến đâu. Các mức dưới đây được dùng rộng rãi, và cũng là các mức mà báo cáo phân tích của ExamQR áp dụng cho hệ số alpha:

Alpha quá cao, khoảng trên 0,95 với một đề ngắn, chưa chắc là tin tốt: có thể các câu hỏi gần như sao chép nhau và chỉ bao phủ một mảng rất hẹp của môn học.

Làm sao để đề tin cậy hơn

• Thêm câu hỏi tốt. Độ tin cậy tăng theo độ dài đề. Theo công thức Spearman-Brown, nhân đôi một đề có độ tin cậy 0,70 bằng các câu tương tự sẽ nâng lên khoảng 0,82 (2 × 0,70 ÷ 1,70).
• Bỏ hoặc viết lại câu không phân biệt được. Câu mà thí sinh giỏi và yếu làm đúng như nhau chỉ thêm nhiễu, không thêm thông tin. Độ phân biệt của câu, thường là hệ số tương quan điểm-nhị phân (point-biserial) giữa câu đó và tổng điểm, phải dương; trên khoảng 0,20 thường chấp nhận được và trên 0,30 là tốt. Giá trị âm thường do sai đáp án hoặc câu gây hiểu nhầm. Xem thêm phân tích câu hỏi: độ khó và độ phân biệt.
• Sửa phương án nhiễu. Phương án sai mà không ai chọn thì không làm được việc của nó; phương án sai thu hút nhiều thí sinh giỏi có thể là phương án cũng đúng.
• Chấm thống nhất. Với bài viết, dùng thang chấm (rubric) và cho người chấm thứ hai kiểm tra một phần bài.
• Chuẩn hóa điều kiện thi. Cùng thời gian, cùng hướng dẫn, không thí sinh nào được trợ giúp mà người khác không có.

Độ giá trị: điểm số có mang đúng ý nghĩa không?

Quan điểm chuyên môn hiện nay, trình bày trong bộ Standards for Educational and Psychological Testing (Tiêu chuẩn về đo lường giáo dục và tâm lý), là độ giá trị không phải thuộc tính của một bài kiểm tra. Nó thuộc về một cách diễn giải và sử dụng điểm số cụ thể. Cùng một bài kiểm tra tiếng Anh có thể có giá trị để xếp lớp cho học viên, nhưng không có giá trị để quyết định một điều dưỡng có làm việc an toàn trong bệnh viện nói tiếng Anh hay không. Vì vậy câu hỏi đúng không bao giờ là "bài kiểm tra này có giá trị không?" mà là "dùng điểm này để đưa ra quyết định này về những người này có giá trị không?"

Câu hỏi đó được trả lời bằng nhiều loại bằng chứng:

• Nội dung: các câu hỏi có bao phủ kiến thức và kỹ năng mà quyết định phụ thuộc vào, theo tỷ lệ hợp lý không? Công cụ chính ở đây là một ma trận đề bằng văn bản (chủ đề × mức độ nhận thức hoặc độ khó, kèm số câu ở mỗi ô), và bằng chứng chính là việc chuyên gia môn học rà soát câu hỏi theo ma trận đó.
• Quá trình trả lời: thí sinh có trả lời bằng chính kỹ năng bạn muốn đo không? Một câu toán mà phần lớn người làm sai vì câu chữ dài và rắc rối thì đang đo khả năng đọc, không phải toán.
• Cấu trúc bên trong: các câu hỏi có hành xử đúng như cấu trúc được tuyên bố không? Nếu bài kiểm tra báo điểm riêng cho nghe và đọc, các câu nghe phải liên quan với nhau chặt hơn so với các câu đọc.
• Quan hệ với thước đo khác: điểm có khớp với những bằng chứng khác về cùng kỹ năng, và dự báo đúng thứ cần dự báo không? Bài kiểm tra tuyển dụng nên liên quan đến hiệu quả công việc sau này; bài xếp lớp nên liên quan đến kết quả học viên ở lớp được xếp.
• Hệ quả: việc dùng bài kiểm tra có đem lại kết quả mong muốn mà không gây bất công cho nhóm người nào không?

Những mối đe dọa thường gặp với độ giá trị

• Đo sai thứ cần đo: chỉ có câu hỏi ghi nhớ trong một kỳ thi nhằm chứng nhận người ta biết thực hiện một quy trình.
• Độ khó không liên quan: lượng chữ phải đọc quá lớn, hình thức lạ, hoặc thời gian gấp tới mức tốc độ quyết định kết quả trong khi tốc độ không phải kỹ năng cần đo.
• Gợi ý đáp án: phương án đúng luôn dài nhất, hoặc ngữ pháp để lộ đáp án. Thí sinh nhận ra quy luật sẽ được điểm cao hơn mà không biết nhiều hơn.
• Gian lận và lộ đề: nếu đáp án lan truyền, điểm số đo khả năng tiếp cận đáp án. Mỗi thí sinh một đề, ngân hàng câu hỏi đủ lớn để thay đổi, và giám sát là những cách trực tiếp bảo vệ độ giá trị.
• Điểm không tin cậy: mọi nguồn nhiễu kể trên cũng là mối đe dọa với độ giá trị.

Hai khái niệm liên hệ thế nào

Độ tin cậy là điều kiện cần cho độ giá trị nhưng chưa đủ. Mối liên hệ này có thể nói chính xác: tương quan giữa điểm bài kiểm tra và bất cứ điều gì khác, như hiệu quả công việc sau này, không thể cao hơn căn bậc hai của độ tin cậy. Với độ tin cậy 0,64, điểm số không bao giờ tương quan quá 0,80 với kết quả mà nó cần dự báo, dù câu hỏi được chọn tốt đến đâu. Nâng độ tin cậy là nâng trần; chỉ thiết kế tốt và bằng chứng mới đưa bạn tới gần trần đó.

Trong thực tế, hãy làm theo thứ tự: xác định điểm số dùng để làm gì, lập ma trận đề khớp với mục đích đó, viết và rà soát câu hỏi theo ma trận, tổ chức thi trong điều kiện thống nhất, rồi xem thống kê và sửa những gì chúng chỉ ra.

Tự kiểm tra đề của bạn

Sau mỗi kỳ thi, trước khi công bố kết quả hay dùng lại câu hỏi, hãy xem bốn con số:

1. Alpha của Cronbach hoặc KR-20, đối chiếu bảng trên theo mức quan trọng của quyết định.
2. SEM, và có bao nhiêu thí sinh nằm trong khoảng một SEM quanh điểm đạt.
3. Độ phân biệt của từng câu: viết lại hoặc bỏ các câu dưới khoảng 0,20, và với câu có giá trị âm thì kiểm tra đáp án trước tiên.
4. Tỷ lệ chọn phương án nhiễu: phương án không ai chọn, và phương án sai được nhiều thí sinh giỏi chọn.

Câu hỏi thường gặp

Bài kiểm tra có thể có giá trị mà không tin cậy không?

Thực chất là không. Nếu điểm số phần lớn là nhiễu, nó không thể làm cơ sở tốt cho bất kỳ quyết định nào, nên độ tin cậy thấp luôn giới hạn độ giá trị. Ngược lại, bài kiểm tra có thể tin cậy mà không có giá trị: điểm ổn định nhưng đo sai thứ cần đo.

Alpha của Cronbach có phải là thước đo độ giá trị không?

Không. Alpha chỉ cho biết các câu hỏi cùng đo một điều gì đó nhất quán đến đâu. Nó không cho biết điều đó là gì, hay có phải điều bạn định đo không.

KR-20 và alpha của Cronbach khác nhau thế nào?

KR-20 là trường hợp riêng của alpha cho câu chấm đúng/sai. Với loại đề này, hai hệ số cho cùng một giá trị; alpha còn dùng được cho câu có điểm từng phần.

Cần bao nhiêu thí sinh để tính độ tin cậy?

Công thức vẫn chạy với nhóm nhỏ, nhưng kết quả ước lượng không ổn định khi dưới vài chục thí sinh. Hãy xem kết quả của một lớp nhỏ là tín hiệu sơ bộ, và xem lại khi có thêm thí sinh làm cùng bộ câu hỏi.

Nguồn tham khảo

• American Educational Research Association, American Psychological Association and National Council on Measurement in Education (2014). Standards for Educational and Psychological Testing. Washington, DC: AERA.
• Cronbach, L. J. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, 16(3), 297–334.
• Kuder, G. F. and Richardson, M. W. (1937). The theory of the estimation of test reliability. Psychometrika, 2(3), 151–160.
• Messick, S. (1989). Validity. In R. L. Linn (Ed.), Educational Measurement (3rd ed.). New York: American Council on Education and Macmillan.