Fiabilidad y validez: en qué se diferencian, con ejemplos

Todo resultado de una prueba termina en una decisión: aprobar o suspender, contratar o no, a qué grupo asignar a alguien. La fiabilidad y la validez son las dos preguntas que dicen si esa decisión merece confianza. Se confunden con facilidad porque las dos suenan a "una buena prueba", así que este artículo las trata por separado, con cifras que puedes comprobar en tus propios exámenes.

La diferencia en un ejemplo

Imagina una báscula que siempre marca dos kilos más que tu peso real. Te subes cinco veces y marca cinco veces lo mismo: es fiable. Pero la cifra es errónea, así que usarla para decidir en una revisión médica si has adelgazado no es válido. Ahora imagina una báscula que acierta de media pero salta tres kilos cada vez que te subes. No es fiable y, por eso mismo, ninguna lectura suelta puede ser válida.

Las pruebas funcionan igual. Un test de vocabulario usado como examen de "comprensión lectora" puede dar puntuaciones muy estables y aun así medir otra cosa. Un examen bien orientado pero con solo ocho preguntas puede medir lo correcto, pero con tanto ruido que dos candidatos igual de capaces acaben a cada lado del aprobado.

Fiabilidad: ¿qué tan consistentes son las puntuaciones?

Ninguna prueba mide a la perfección. La puntuación de un candidato es su nivel real más algo de error: las preguntas concretas que tocaron, un acierto por azar, una tarde de cansancio, un corrector severo o benévolo. La fiabilidad describe qué parte de la dispersión de las puntuaciones se debe a diferencias reales entre candidatos y no a ese error. Una fiabilidad de 0,80 significa, a grandes rasgos, que el 80 % de la variación refleja diferencias reales y el 20 % es ruido.

Formas de estimarla

• Consistencia interna: ¿concuerdan entre sí las preguntas de una misma prueba? Solo requiere una aplicación, por eso es la cifra más habitual. El alfa de Cronbach es la fórmula general; el KR-20 es la misma idea para preguntas que se puntúan como acierto o error, y en ellas da el mismo valor que alfa.
• Test-retest: los mismos candidatos hacen la misma prueba dos veces, con un tiempo de separación, y se correlacionan ambas puntuaciones.
• Formas paralelas: los candidatos hacen dos versiones construidas con la misma tabla de especificaciones. Importa siempre que des pruebas distintas a distintos candidatos.
• Entre correctores: en redacciones y tareas prácticas, dos correctores puntúan las mismas respuestas por separado y se mide su acuerdo.

El error típico de medida

Un coeficiente de fiabilidad es abstracto. El error típico de medida (SEM) lo convierte en puntos de tu propia escala:

SEM = DT × √(1 − fiabilidad)

Supón que las puntuaciones de tu examen tienen una desviación típica de 10 puntos y una fiabilidad de 0,84. Entonces SEM = 10 × √0,16 = 4 puntos. Un candidato que sacó 62 tiene una puntuación verdadera que, unas dos veces de cada tres, está entre 58 y 66, y unas 19 de cada 20, entre 54 y 70. Si el aprobado está en 60, ese candidato no lo supera con claridad. Esta es la razón práctica por la que importa la fiabilidad: indica cuántos candidatos cerca del punto de corte podrían haber caído del otro lado por azar.

¿Cuánta fiabilidad es suficiente?

No hay un único umbral, porque depende de lo que esté en juego. Estas pautas se usan mucho y son las bandas que aplican los informes de análisis de ExamQR al alfa de Cronbach:

Un alfa muy alto, por encima de 0,95 en una prueba corta, no siempre es buena noticia: puede indicar que las preguntas son casi copias unas de otras y cubren una parte estrecha de la materia.

Cómo hacer más fiable una prueba

• Añade buenas preguntas. La fiabilidad sube con la longitud. Según la fórmula de Spearman-Brown, duplicar una prueba de fiabilidad 0,70 con preguntas similares la lleva a unos 0,82 (2 × 0,70 ÷ 1,70).
• Elimina o reescribe las preguntas que no discriminan. Una pregunta que aciertan por igual candidatos fuertes y débiles añade ruido, no información. Su discriminación, normalmente la correlación biserial puntual entre la pregunta y la puntuación total, debe ser positiva; por encima de 0,20 suele ser aceptable y por encima de 0,30, buena. Un valor negativo suele indicar una clave de respuestas errónea o una pregunta engañosa. Más en análisis de ítems: dificultad y discriminación.
• Revisa los distractores. Una opción incorrecta que nadie elige no cumple su función; una que atrae a muchos candidatos fuertes quizá también sea defendible como correcta.
• Corrige de forma coherente. En respuestas escritas, usa una rúbrica y que un segundo corrector revise una muestra.
• Estandariza las condiciones. Mismo tiempo, mismas instrucciones, sin ayudas para unos candidatos y no para otros.

Validez: ¿significan las puntuaciones lo que afirmas?

La visión profesional actual, recogida en los Standards for Educational and Psychological Testing (Estándares para pruebas educativas y psicológicas), es que la validez no es una propiedad de la prueba. Pertenece a una interpretación y un uso concretos de sus puntuaciones. La misma prueba de inglés puede ser válida para asignar alumnos a grupos y no serlo para decidir si una enfermera puede trabajar con seguridad en un hospital anglófono. Así que la pregunta correcta nunca es "¿es válida esta prueba?", sino "¿es válido usar estas puntuaciones para tomar esta decisión sobre estas personas?".

Esa pregunta se responde con evidencias de varios tipos:

• Contenido: ¿cubren las preguntas los conocimientos y habilidades de los que depende la decisión, en proporciones razonables? La herramienta principal es una tabla de especificaciones escrita (temas × nivel de dificultad o de habilidad, con el número de preguntas en cada celda), y la evidencia principal es que expertos en la materia revisen las preguntas frente a ella.
• Procesos de respuesta: ¿responden los candidatos usando la habilidad que pretendes medir? Una pregunta de matemáticas que casi todos fallan por su enunciado largo y enrevesado está midiendo lectura, no matemáticas.
• Estructura interna: ¿se comportan las preguntas como dice la estructura declarada? Si una prueba da puntuaciones separadas de comprensión oral y lectora, las preguntas de comprensión oral deberían relacionarse más entre sí que con las de lectura.
• Relación con otras medidas: ¿concuerdan las puntuaciones con otras evidencias de la misma habilidad y predicen lo que deben predecir? Una prueba de selección debería relacionarse con el desempeño posterior en el puesto; una de nivel, con cómo rinden después los alumnos en el grupo asignado.
• Consecuencias: ¿produce el uso de la prueba los resultados buscados sin efectos injustos para determinados grupos?

Amenazas habituales a la validez

• Medir otra cosa: solo preguntas de memoria en un examen que debe certificar que alguien sabe aplicar un procedimiento.
• Dificultad irrelevante: mucha carga de lectura, formatos desconocidos o un tiempo tan justo que la velocidad decide el resultado cuando la velocidad no es lo que se mide.
• Pistas de la respuesta: la opción correcta es siempre la más larga, o la gramática la delata. Quien detecta el patrón saca más nota sin saber más.
• Copia y preguntas filtradas: si las respuestas circulan, la puntuación mide el acceso a las respuestas. Una prueba distinta por candidato, bancos de preguntas lo bastante grandes para variar y la supervisión protegen la validez directamente.
• Puntuaciones poco fiables: cualquier fuente de ruido de las anteriores amenaza también la validez.

Cómo encajan las dos

La fiabilidad es necesaria para la validez, pero no suficiente. El vínculo puede precisarse: la correlación entre las puntuaciones de la prueba y cualquier otra cosa, como el desempeño laboral posterior, no puede superar la raíz cuadrada de la fiabilidad. Con una fiabilidad de 0,64, las puntuaciones nunca correlacionarán por encima de 0,80 con el resultado que deben predecir, por bien elegidas que estén las preguntas. Mejorar la fiabilidad sube el techo; solo un buen diseño y la evidencia te acercan a él.

En la práctica, sigue este orden: decide para qué sirven las puntuaciones, escribe una tabla de especificaciones acorde con ese fin, redacta y revisa las preguntas según ella, aplica la prueba en condiciones homogéneas y después revisa los estadísticos y corrige lo que muestren.

Revisa tu propia prueba

Después de cada examen, antes de publicar resultados o reutilizar preguntas, mira cuatro cifras:

1. El alfa de Cronbach o el KR-20, frente a la tabla anterior según lo que esté en juego.
2. El SEM, y cuántos candidatos quedan a menos de un SEM del aprobado.
3. La discriminación de cada pregunta: reescribe o elimina las que estén por debajo de 0,20 y, ante una negativa, revisa primero la clave.
4. La elección de distractores: opciones que nadie elige y opciones incorrectas que eligen muchos candidatos fuertes.

Preguntas frecuentes

¿Puede una prueba ser válida pero no fiable?

En realidad, no. Si las puntuaciones son sobre todo ruido, no pueden respaldar bien ninguna decisión, así que una fiabilidad baja siempre limita la validez. Una prueba sí puede ser fiable pero no válida: puntuaciones consistentes que miden otra cosa.

¿Es el alfa de Cronbach una medida de validez?

No. El alfa solo dice con qué consistencia miden algo las preguntas en conjunto. No dice qué es ese algo, ni si es lo que pretendías medir.

¿Qué diferencia hay entre el KR-20 y el alfa de Cronbach?

El KR-20 es el caso particular del alfa para preguntas puntuadas como acierto o error. En esas pruebas ambos dan el mismo valor; el alfa sirve además para preguntas con puntuación parcial.

¿Cuántos candidatos hacen falta para calcular la fiabilidad?

La fórmula funciona con grupos pequeños, pero la estimación es inestable por debajo de unas pocas decenas de candidatos. Toma los resultados de un grupo pequeño como una señal aproximada y vuelve a mirarlos cuando más candidatos hayan hecho las mismas preguntas.

Fuentes

• American Educational Research Association, American Psychological Association and National Council on Measurement in Education (2014). Standards for Educational and Psychological Testing. Washington, DC: AERA.
• Cronbach, L. J. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, 16(3), 297–334.
• Kuder, G. F. and Richardson, M. W. (1937). The theory of the estimation of test reliability. Psychometrika, 2(3), 151–160.
• Messick, S. (1989). Validity. In R. L. Linn (Ed.), Educational Measurement (3rd ed.). New York: American Council on Education and Macmillan.