Fidélité et validité : la différence, avec des exemples

Tout résultat de test aboutit à une décision : admis ou non, recruté ou non, dans quel groupe placer quelqu'un. Fidélité et validité sont les deux questions qui disent si cette décision est digne de confiance. On les confond facilement, car toutes deux évoquent « un bon test » ; cet article les traite donc l'une après l'autre, avec des chiffres que vous pouvez vérifier sur vos propres examens.

La différence en un exemple

Imaginez une balance qui affiche toujours deux kilos de plus que votre poids réel. Montez dessus cinq fois : elle affiche cinq fois le même chiffre. Elle est fidèle. Mais le chiffre est faux, donc s'en servir lors d'un bilan médical pour décider si vous avez maigri n'est pas valide. Imaginez maintenant une balance juste en moyenne mais qui varie de trois kilos à chaque pesée. Elle n'est pas fidèle et, pour cette raison même, aucune lecture isolée ne peut être valide.

Les tests se comportent de la même façon. Un quiz de vocabulaire utilisé comme examen de « compréhension écrite » peut donner des scores très stables tout en mesurant autre chose. Un examen bien ciblé mais de huit questions seulement peut mesurer la bonne chose, mais avec tant de bruit que deux candidats de même niveau se retrouvent de part et d'autre du seuil de réussite.

La fidélité : les scores sont-ils constants ?

Aucun test ne mesure parfaitement. Le score d'un candidat, c'est son niveau réel plus une part d'erreur : les questions tombées ce jour-là, une réponse devinée, un après-midi de fatigue, un correcteur sévère ou indulgent. La fidélité décrit quelle part de la dispersion des scores vient de vraies différences entre candidats plutôt que de cette erreur. Une fidélité de 0,80 signifie, en gros, que 80 % de la variation reflète des différences réelles et 20 % du bruit.

Les façons de l'estimer

• Cohérence interne : les questions d'un même test vont-elles dans le même sens ? Une seule passation suffit, d'où sa popularité. L'alpha de Cronbach est la formule générale ; le KR-20 applique la même idée aux questions notées juste ou faux, et donne alors la même valeur que l'alpha.
• Test-retest : les mêmes candidats passent deux fois le même test, à quelque temps d'intervalle, et l'on corrèle les deux séries de scores.
• Formes parallèles : les candidats passent deux versions construites selon le même plan de test. C'est important dès que des candidats différents reçoivent des sujets différents.
• Inter-correcteurs : pour les rédactions et les épreuves pratiques, deux correcteurs notent les mêmes copies séparément et l'on mesure leur accord.

L'erreur type de mesure

Un coefficient de fidélité reste abstrait. L'erreur type de mesure (SEM) le traduit en points sur votre propre échelle :

SEM = écart type × √(1 − fidélité)

Supposons que les scores de votre examen aient un écart type de 10 points et une fidélité de 0,84. Alors SEM = 10 × √0,16 = 4 points. Pour un candidat qui a obtenu 62, le score vrai se situe environ deux fois sur trois entre 58 et 66, et environ 19 fois sur 20 entre 54 et 70. Si le seuil de réussite est à 60, ce candidat n'est pas nettement au-dessus. C'est la raison pratique pour laquelle la fidélité compte : elle indique combien de candidats proches du seuil auraient pu tomber de l'autre côté par hasard.

Quel niveau de fidélité suffit ?

Il n'y a pas de seuil unique : tout dépend de l'enjeu de la décision. Ces repères sont largement utilisés, et ce sont les niveaux qu'appliquent les rapports d'analyse d'ExamQR à l'alpha de Cronbach :

Un alpha très élevé, au-delà d'environ 0,95 sur un test court, n'est pas toujours une bonne nouvelle : les questions sont peut-être des quasi-copies et ne couvrent qu'une petite partie de la matière.

Rendre un test plus fidèle

• Ajoutez de bonnes questions. La fidélité augmente avec la longueur du test. D'après la formule de Spearman-Brown, doubler un test de fidélité 0,70 avec des questions similaires la porte à environ 0,82 (2 × 0,70 ÷ 1,70).
• Supprimez ou réécrivez les questions qui ne discriminent pas. Une question que les bons et les moins bons candidats réussissent autant ajoute du bruit, pas de l'information. Sa discrimination, en général la corrélation bisériale de point entre la question et le score total, doit être positive ; au-delà d'environ 0,20 elle est en général acceptable, au-delà de 0,30 bonne. Une valeur négative signale souvent un corrigé erroné ou une question trompeuse. Pour aller plus loin : analyse d'items, difficulté et discrimination.
• Revoyez les distracteurs. Une mauvaise réponse que personne ne choisit ne sert à rien ; une qui attire beaucoup de bons candidats est peut-être défendable.
• Corrigez de façon homogène. Pour les réponses rédigées, utilisez une grille et faites vérifier un échantillon par un second correcteur.
• Standardisez les conditions. Même durée, mêmes consignes, aucune aide pour certains candidats seulement.

La validité : les scores signifient-ils ce que vous affirmez ?

La position professionnelle actuelle, exposée dans les Standards for Educational and Psychological Testing (normes de référence pour les tests en éducation et en psychologie), est que la validité n'est pas une propriété du test. Elle porte sur une interprétation et un usage précis de ses scores. Le même test d'anglais peut être valide pour répartir des élèves en groupes et non valide pour décider si une infirmière peut exercer en sécurité dans un hôpital anglophone. La bonne question n'est donc jamais « ce test est-il valide ? » mais « est-il valide d'utiliser ces scores pour prendre cette décision au sujet de ces personnes ? ».

On y répond avec plusieurs types de preuves :

• Contenu : les questions couvrent-elles les connaissances et compétences dont dépend la décision, dans des proportions raisonnables ? L'outil principal est un plan de test écrit (thèmes × niveau de difficulté ou de compétence, avec le nombre de questions par case), et la preuve principale est la relecture des questions par des experts au regard de ce plan.
• Processus de réponse : les candidats répondent-ils en mobilisant la compétence visée ? Une question de mathématiques que la plupart ratent à cause d'un énoncé long et alambiqué mesure la lecture, pas les mathématiques.
• Structure interne : les questions se comportent-elles comme le prévoit la structure annoncée ? Si un test donne des scores séparés pour la compréhension orale et écrite, les questions d'oral doivent être plus liées entre elles qu'avec celles d'écrit.
• Liens avec d'autres mesures : les scores concordent-ils avec d'autres indices de la même compétence, et prédisent-ils ce qu'ils doivent prédire ? Un test de recrutement doit être lié à la performance ultérieure au poste ; un test de positionnement, aux résultats des élèves dans le groupe où ils ont été placés.
• Conséquences : l'usage du test produit-il les effets recherchés sans effets injustes pour certains groupes ?

Menaces fréquentes pour la validité

• Mesurer autre chose : uniquement des questions de mémoire dans un examen censé certifier que l'on sait appliquer une procédure.
• Difficulté hors sujet : beaucoup de lecture, des formats inhabituels ou une durée si serrée que la vitesse décide du résultat alors qu'elle n'est pas la compétence visée.
• Indices de la réponse : la bonne option est toujours la plus longue, ou la grammaire la trahit. Ceux qui repèrent le schéma gagnent des points sans en savoir plus.
• Fraude et fuites de questions : si les réponses circulent, le score mesure l'accès aux réponses. Un sujet différent par candidat, des banques de questions assez grandes pour varier et la surveillance protègent directement la validité.
• Scores peu fidèles : chaque source de bruit citée plus haut menace aussi la validité.

Comment les deux s'articulent

La fidélité est nécessaire à la validité, mais pas suffisante. Le lien peut être précisé : la corrélation entre les scores du test et toute autre mesure, comme la performance professionnelle ultérieure, ne peut pas dépasser la racine carrée de la fidélité du test. Avec une fidélité de 0,64, les scores ne corréleront jamais au-delà de 0,80 avec ce qu'ils doivent prédire, aussi bien choisies que soient les questions. Améliorer la fidélité relève le plafond ; seuls une bonne conception et des preuves permettent de s'en approcher.

En pratique, procédez dans cet ordre : décidez à quoi servent les scores, rédigez un plan de test adapté à cet objectif, écrivez et relisez les questions selon ce plan, faites passer le test dans des conditions homogènes, puis examinez les statistiques et corrigez ce qu'elles révèlent.

Vérifiez votre propre test

Après chaque examen, avant de publier les résultats ou de réutiliser des questions, regardez quatre chiffres :

1. L'alpha de Cronbach ou le KR-20, à comparer au tableau ci-dessus selon l'enjeu.
2. La SEM, et le nombre de candidats à moins d'une SEM du seuil de réussite.
3. La discrimination de chaque question : réécrivez ou retirez celles en dessous d'environ 0,20 et, pour une valeur négative, vérifiez d'abord le corrigé.
4. Le choix des distracteurs : options que personne ne choisit, et mauvaises options choisies par beaucoup de bons candidats.

Questions fréquentes

Un test peut-il être valide sans être fidèle ?

Pas vraiment. Si les scores sont surtout du bruit, ils ne peuvent bien justifier aucune décision : une faible fidélité limite toujours la validité. En revanche, un test peut être fidèle sans être valide : des scores constants qui mesurent autre chose.

L'alpha de Cronbach mesure-t-il la validité ?

Non. L'alpha indique seulement avec quelle constance les questions mesurent ensemble quelque chose. Il ne dit pas ce qu'est ce quelque chose, ni si c'est ce que vous vouliez mesurer.

Quelle différence entre le KR-20 et l'alpha de Cronbach ?

Le KR-20 est le cas particulier de l'alpha pour des questions notées juste ou faux. Sur ces tests, les deux donnent la même valeur ; l'alpha s'applique aussi aux questions à crédit partiel.

Combien de candidats faut-il pour calculer la fidélité ?

La formule fonctionne avec de petits groupes, mais l'estimation est instable en dessous de quelques dizaines de candidats. Considérez le résultat d'une petite classe comme une indication et revoyez-le quand davantage de candidats auront passé les mêmes questions.

Sources

• American Educational Research Association, American Psychological Association and National Council on Measurement in Education (2014). Standards for Educational and Psychological Testing. Washington, DC: AERA.
• Cronbach, L. J. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, 16(3), 297–334.
• Kuder, G. F. and Richardson, M. W. (1937). The theory of the estimation of test reliability. Psychometrika, 2(3), 151–160.
• Messick, S. (1989). Validity. In R. L. Linn (Ed.), Educational Measurement (3rd ed.). New York: American Council on Education and Macmillan.