Análisis de ítems: dificultad y discriminación explicadas

Una pregunta puede parecer impecable sobre el papel y fallar en el examen: la clave está mal, dos opciones son defendibles o una pista en el enunciado delata la respuesta. Releer la pregunta rara vez descubre estos problemas. Los descubren las respuestas de los candidatos. Este artículo explica las cifras, muestra cómo calcularlas a mano con un ejemplo pequeño y da las pautas habituales para actuar.

Dificultad del ítem: el valor p

El índice de dificultad, que suele escribirse p, es simplemente la proporción de candidatos que respondieron bien. Si 22 de 40 candidatos acertaron, p = 22 ÷ 40 = 0,55. El nombre engaña: un p más alto significa una pregunta más fácil.

Son las bandas que usa el informe de análisis de ExamQR. El rango deseable depende del propósito de la prueba:

• Las pruebas que ordenan o seleccionan candidatos, como las de selección de personal o las oposiciones, necesitan preguntas que separen a las personas. Las de dificultad media lo hacen mejor, porque una pregunta que casi todos aciertan, o casi nadie, no distingue a nadie. En preguntas de cuatro opciones, donde quien responde al azar acierta un 25 %, la recomendación clásica es un p medio de alrededor de 0,62, a medio camino entre el azar y 1.
• Las pruebas de dominio y certificación comprueban que los candidatos saben lo que deben saber. Un p de 0,95 en una pregunta esencial de seguridad no es un defecto; puede ser justo lo que buscas. No elimines esa pregunta por fácil.

Recuerda que p describe la pregunta con este grupo. La misma pregunta es más fácil para un grupo más fuerte. Un valor p de veinte candidatos es orientativo; de doscientos, fiable.

Discriminación: ¿separa la pregunta a los candidatos fuertes de los débiles?

Una buena pregunta la aciertan más a menudo quienes dominan la materia que quienes no. La discriminación mide exactamente eso. Hay dos formas habituales de calcularla.

El índice de discriminación D (grupos superior e inferior)

Es el método que puedes hacer a mano:

1. Ordena a los candidatos por puntuación total.
2. Toma el 27 % superior como grupo superior y el 27 % inferior como grupo inferior. (El 27 % es la elección clásica: grupos lo bastante grandes para ser estables y lo bastante alejados para mostrar diferencias.)
3. Para cada pregunta, D = (aciertos del grupo superior − aciertos del grupo inferior) ÷ tamaño de un grupo.

Con 40 candidatos, cada grupo tiene 11 personas. Si 9 del grupo superior y 3 del inferior aciertan una pregunta, D = (9 − 3) ÷ 11 = 0,55. D va de −1 a +1.

La correlación biserial puntual

El software suele dar en su lugar la correlación biserial puntual (r_pb): la correlación entre acertar esta pregunta (1 o 0) y la puntuación total, con todos los candidatos y no solo los grupos extremos. Es más precisa y es lo que ExamQR muestra como discriminación. Para una misma pregunta suele dar valores algo más bajos que D, así que no compares directamente las dos escalas.

Un valor negativo significa que los candidatos con puntuación total baja acertaron la pregunta más a menudo que los de puntuación alta. La causa más común es sencilla: la clave está mal. Otras causas son una pregunta con dos respuestas correctas, un enunciado con trampa que hace dudar a los mejores, o contenido que no se enseñó. Compruébalo antes que nada, porque una clave errónea también altera la nota de todos.

La dificultad limita la discriminación. Una pregunta que acierta el 98 % de los candidatos apenas puede discriminar, porque casi no queda nadie a quien separar. Por eso hay que leer las dos cifras juntas.

Análisis de distractores: lo que dicen las opciones incorrectas

En una pregunta de opción múltiple, las opciones incorrectas, llamadas distractores, tienen una función: atraer a quien no sabe la respuesta. Contar cuántas veces se eligió cada opción, separando grupo superior e inferior, muestra si la cumplen.

Un buen distractor:

• lo elige una proporción razonable de candidatos. Una opción que casi nadie marca no funciona y la pregunta tiene en la práctica una opción menos, lo que facilita acertar al azar. ExamQR señala un distractor elegido por menos del 5 % de los candidatos cuando hay al menos 30;
• lo elige más el grupo inferior que el superior. En términos de correlación, su biserial puntual es negativa. Un distractor que atrae a candidatos fuertes (correlación positiva) suele indicar que es defendible como correcto o que la pregunta es ambigua. ExamQR señala los distractores cuya correlación con la puntuación total supera 0,05.

Un ejemplo resuelto

Cuarenta candidatos hicieron una prueba; los grupos superior e inferior tienen 11 candidatos cada uno. Estas son dos preguntas de cuatro opciones. La clave va en negrita.

p = 22 ÷ 40 = 0,55, media. D = (9 − 3) ÷ 11 = 0,55, alta. Los distractores A y C atraen sobre todo al grupo inferior, como debe ser. Solo la opción D es débil: la eligieron 2 de 40 candidatos (5 %), justo en el umbral habitual. Veredicto: conservar la pregunta y redactar una opción D más verosímil la próxima vez.

p = 17 ÷ 40 = 0,43, que por sí solo parece correcto. Pero D = (3 − 6) ÷ 11 = −0,27: el grupo inferior lo hizo mejor que el superior. Siete de los once mejores candidatos eligieron C. O C es la respuesta correcta y la clave está mal, o la pregunta tiene dos respuestas defendibles. Veredicto: revisar la clave y el enunciado antes de calificar, y luego corregir o eliminar la pregunta.

Conservar, corregir o eliminar

El informe de ExamQR combina dificultad y discriminación en una recomendación por pregunta, con estas reglas:

Tómalo como punto de partida para una decisión humana, no como un veredicto. Antes de eliminar una pregunta, pregúntate si cubre algo que la prueba debe cubrir. Quitar todas las preguntas difíciles de un tema mejora los estadísticos y empeora la validez de la prueba. Si la pregunta es necesaria, reescríbela en lugar de eliminarla.

Errores frecuentes

• Fiarse de muestras pequeñas. Con menos de unos 30 candidatos, una sola persona mueve p varios puntos y hace oscilar mucho la discriminación. Usa los estadísticos de un grupo pequeño para encontrar sospechosas, no para condenarlas.
• Eliminar preguntas fáciles de una prueba de dominio. Una discriminación baja en una pregunta que todos saben es esperable e inofensiva.
• Ignorar las preguntas finales sin responder. Si muchos candidatos no llegaron a las últimas preguntas, estas parecen difíciles por el tiempo, no por su contenido.
• Leer la discriminación en una prueba que mide cosas distintas. La discriminación compara cada pregunta con la puntuación total. Si la prueba mezcla, por ejemplo, gramática y comprensión oral, una buena pregunta de comprensión oral puede parecer débil frente a un total dominado por la gramática. Analiza cada parte por separado cuando puedas.
• Olvidar las notas. Si encuentras una clave errónea, corrígela y vuelve a calificar el examen, no solo el banco de preguntas.

Más allá del análisis clásico

Todo lo anterior pertenece a la teoría clásica de los tests (TCT), donde cada estadístico depende del grupo que hizo la prueba. La teoría de respuesta al ítem (TRI) estima una dificultad (b), una discriminación (a) y, en el modelo de tres parámetros, un nivel de acierto por azar (c) para cada pregunta en una escala común que depende menos del grupo concreto. Necesita más candidatos, normalmente varios cientos para estimaciones estables de tres parámetros, y es más útil en bancos de preguntas grandes y pruebas adaptativas. Para la mayoría de las pruebas de aula, formación y selección, los estadísticos clásicos de este artículo bastan para encontrar las preguntas que requieren atención. La relación entre estos estadísticos y la fiabilidad de la prueba completa se explica en fiabilidad y validez.

Analiza los ítems de tu propia prueba

Preguntas frecuentes

¿Qué es un buen índice de dificultad?

En pruebas que ordenan candidatos, la mayoría de las preguntas entre 0,30 y 0,80, con una media de alrededor de 0,6 en preguntas de cuatro opciones. En pruebas de dominio, las preguntas fáciles sobre contenido esencial están bien.

¿Qué es un buen índice de discriminación?

Una biserial puntual de 0,20 o más es aceptable y de 0,30 o más, buena. Con el índice D de grupos extremos, una guía habitual es 0,40 o más muy bueno, de 0,30 a 0,39 bueno, de 0,20 a 0,29 marginal y por debajo de 0,20 deficiente.

¿Puede ser negativa la discriminación?

Sí. Significa que los candidatos más débiles acertaron más que los más fuertes. Revisa primero la clave; después busca dos opciones correctas o un enunciado engañoso.

¿Cuántos candidatos necesito?

El cálculo funciona desde diez candidatos, pero toma los resultados como orientativos por debajo de unos 30 y como fiables a partir de unos 100. La TRI necesita más.

Fuentes

• Ebel, R. L. and Frisbie, D. A. (1991). Essentials of Educational Measurement (5th ed.). Englewood Cliffs, NJ: Prentice Hall.
• Haladyna, T. M., Downing, S. M. and Rodriguez, M. C. (2002). A review of multiple-choice item-writing guidelines for classroom assessment. Applied Measurement in Education, 15(3), 309–333.
• Kelley, T. L. (1939). The selection of upper and lower groups for the validation of test items. Journal of Educational Psychology, 30(1), 17–24.
• Lord, F. M. (1952). The relation of the reliability of multiple-choice tests to the distribution of item difficulties. Psychometrika, 17(2), 181–194.