Analyse d'items : difficulté et discrimination expliquées

Une question peut sembler irréprochable sur le papier et échouer en salle d'examen : corrigé erroné, deux options défendables, ou un indice dans l'énoncé qui trahit la réponse. Relire la question révèle rarement ces défauts. Les réponses des candidats, si. Cet article explique les chiffres, montre comment les calculer à la main sur un petit exemple et donne les repères habituels pour agir.

La difficulté d'un item : l'indice p

L'indice de difficulté, noté en général p, est simplement la proportion de candidats qui ont répondu juste. Si 22 candidats sur 40 ont réussi, p = 22 ÷ 40 = 0,55. Le nom est trompeur : plus p est élevé, plus la question est facile.

Ce sont les niveaux utilisés par le rapport d'analyse d'ExamQR. La plage souhaitable dépend de l'objectif du test :

• Les tests qui classent ou sélectionnent, comme les tests de recrutement ou les concours, ont besoin de questions qui départagent. Les questions de difficulté moyenne le font le mieux, car une question que presque tout le monde réussit, ou presque personne, ne distingue personne. Pour un QCM à quatre options, où le hasard donne 25 % de bonnes réponses, la recommandation classique est un p moyen d'environ 0,62, à mi-chemin entre le hasard et 1.
• Les tests de maîtrise et de certification vérifient que les candidats savent ce qu'ils doivent savoir. Un p de 0,95 sur une question de sécurité essentielle n'est pas un défaut ; c'est peut-être exactement ce que vous voulez. Ne retirez pas une telle question parce qu'elle est facile.

N'oubliez pas que p décrit la question pour ce groupe. La même question est plus facile pour un groupe plus fort. Un indice p calculé sur vingt candidats est indicatif ; sur deux cents, il est fiable.

La discrimination : la question sépare-t-elle les bons candidats des moins bons ?

Une bonne question est plus souvent réussie par ceux qui maîtrisent la matière que par les autres. La discrimination mesure précisément cela. Il existe deux façons courantes de la calculer.

L'indice de discrimination D (groupes supérieur et inférieur)

C'est la méthode que l'on peut appliquer à la main :

1. Classez les candidats selon leur score total.
2. Prenez les 27 % les meilleurs comme groupe supérieur et les 27 % les plus faibles comme groupe inférieur. (27 % est le choix classique : des groupes assez grands pour être stables, assez éloignés pour montrer une différence.)
3. Pour chaque question, D = (bonnes réponses du groupe supérieur − bonnes réponses du groupe inférieur) ÷ effectif d'un groupe.

Avec 40 candidats, chaque groupe compte 11 personnes. Si 9 personnes du groupe supérieur et 3 du groupe inférieur réussissent une question, D = (9 − 3) ÷ 11 = 0,55. D va de −1 à +1.

La corrélation bisériale de point

Les logiciels donnent plutôt la corrélation bisériale de point (r_pb) : la corrélation entre la réussite à cette question (1 ou 0) et le score total, sur tous les candidats et pas seulement les groupes extrêmes. Elle est plus précise, et c'est ce qu'ExamQR affiche comme discrimination. Pour une même question, elle donne en général des valeurs un peu plus basses que D : ne comparez pas directement les deux échelles.

Une valeur négative signifie que les candidats au score total faible ont réussi la question plus souvent que les meilleurs. La cause la plus fréquente est simple : le corrigé est faux. Autres causes possibles : deux bonnes réponses, un énoncé piège qui fait douter les meilleurs, ou un contenu qui n'a pas été enseigné. Vérifiez cela avant tout, car un corrigé faux change aussi la note de chaque candidat.

La difficulté limite la discrimination. Une question réussie par 98 % des candidats ne peut presque pas discriminer, puisqu'il ne reste presque personne à départager. Lisez donc les deux chiffres ensemble.

L'analyse des distracteurs : ce que disent les mauvaises réponses

Dans un QCM, les mauvaises options, appelées distracteurs, ont un rôle : attirer ceux qui ne connaissent pas la réponse. Compter combien de fois chaque option a été choisie, en séparant groupe supérieur et inférieur, montre s'ils le remplissent.

Un bon distracteur :

• est choisi par une part raisonnable de candidats. Une option que presque personne ne coche ne fonctionne pas, et la question compte en pratique une option de moins, ce qui facilite le hasard. ExamQR signale un distracteur choisi par moins de 5 % des candidats dès qu'il y en a au moins 30 ;
• est davantage choisi par le groupe inférieur que par le groupe supérieur. En termes de corrélation, sa bisériale de point est négative. Un distracteur qui attire les bons candidats (corrélation positive) signifie souvent qu'il est défendable ou que la question est ambiguë. ExamQR signale les distracteurs dont la corrélation avec le score total dépasse 0,05.

Un exemple chiffré

Quarante candidats ont passé un test ; les groupes supérieur et inférieur comptent 11 candidats chacun. Voici deux questions à quatre options. La bonne réponse est en gras.

p = 22 ÷ 40 = 0,55, moyenne. D = (9 − 3) ÷ 11 = 0,55, élevée. Les distracteurs A et C attirent surtout le groupe inférieur, comme il se doit. Seule l'option D est faible : 2 candidats sur 40 (5 %) l'ont choisie, juste au seuil habituel. Verdict : garder la question et rédiger une option D plus plausible la prochaine fois.

p = 17 ÷ 40 = 0,43, ce qui semble correct isolément. Mais D = (3 − 6) ÷ 11 = −0,27 : le groupe inférieur a mieux réussi que le groupe supérieur. Sept des onze meilleurs candidats ont choisi C. Soit C est la bonne réponse et le corrigé est faux, soit la question a deux réponses défendables. Verdict : vérifier le corrigé et l'énoncé avant de noter, puis corriger ou retirer la question.

Garder, corriger ou retirer

Le rapport d'ExamQR combine difficulté et discrimination en une recommandation par question, selon ces règles :

Voyez-y le point de départ d'une décision humaine, pas un verdict. Avant de retirer une question, demandez-vous si elle couvre quelque chose que le test doit couvrir. Retirer toutes les questions difficiles d'un thème améliore les statistiques et dégrade la validité du test. Si la question est nécessaire, réécrivez-la plutôt que de la retirer.

Erreurs fréquentes

• Se fier à de petits effectifs. En dessous d'une trentaine de candidats, une seule personne déplace p de plusieurs points et fait varier fortement la discrimination. Servez-vous des statistiques d'un petit groupe pour repérer des suspects, pas pour les condamner.
• Retirer les questions faciles d'un test de maîtrise. Une faible discrimination sur une question que tout le monde connaît est normale et sans conséquence.
• Ignorer les dernières questions restées sans réponse. Si beaucoup de candidats n'ont pas atteint les dernières questions, celles-ci paraissent difficiles à cause du temps, pas de leur contenu.
• Lire la discrimination sur un test qui mesure plusieurs choses. La discrimination compare chaque question au score total. Si le test mélange par exemple grammaire et compréhension orale, une bonne question d'oral peut sembler faible face à un total dominé par la grammaire. Analysez chaque partie séparément quand c'est possible.
• Oublier les notes. Si vous trouvez un corrigé faux, corrigez-le et recalculez les notes de l'examen, pas seulement la banque de questions.

Au-delà de l'analyse classique

Tout ce qui précède relève de la théorie classique des tests (TCT), où chaque statistique dépend du groupe qui a passé le test. La théorie de la réponse à l'item (TRI) estime pour chaque question une difficulté (b), une discrimination (a) et, dans le modèle à trois paramètres, un niveau de réussite par hasard (c), sur une échelle commune qui dépend moins du groupe. Elle demande plus de candidats, souvent plusieurs centaines pour des estimations stables à trois paramètres, et sert surtout pour les grandes banques de questions et les tests adaptatifs. Pour la plupart des tests en classe, en formation et en recrutement, les statistiques classiques de cet article suffisent à repérer les questions à revoir. Le lien entre ces statistiques et la fidélité du test entier est expliqué dans fidélité et validité.

Analysez les items de votre propre test

Questions fréquentes

Qu'est-ce qu'un bon indice de difficulté ?

Pour un test qui classe les candidats, la plupart des questions entre 0,30 et 0,80, avec une moyenne autour de 0,6 pour des questions à quatre options. Pour un test de maîtrise, des questions faciles sur l'essentiel sont normales.

Qu'est-ce qu'un bon indice de discrimination ?

Une bisériale de point de 0,20 ou plus est acceptable, de 0,30 ou plus bonne. Avec l'indice D des groupes extrêmes, un repère courant est 0,40 ou plus très bon, 0,30 à 0,39 bon, 0,20 à 0,29 limite et moins de 0,20 faible.

La discrimination peut-elle être négative ?

Oui. Cela signifie que les candidats les plus faibles ont mieux réussi que les meilleurs. Vérifiez d'abord le corrigé, puis cherchez deux bonnes options ou un énoncé trompeur.

Combien de candidats faut-il ?

Le calcul fonctionne dès dix candidats, mais considérez les résultats comme indicatifs en dessous d'une trentaine et comme fiables à partir d'une centaine. La TRI en demande davantage.

Sources

• Ebel, R. L. and Frisbie, D. A. (1991). Essentials of Educational Measurement (5th ed.). Englewood Cliffs, NJ: Prentice Hall.
• Haladyna, T. M., Downing, S. M. and Rodriguez, M. C. (2002). A review of multiple-choice item-writing guidelines for classroom assessment. Applied Measurement in Education, 15(3), 309–333.
• Kelley, T. L. (1939). The selection of upper and lower groups for the validation of test items. Journal of Educational Psychology, 30(1), 17–24.
• Lord, F. M. (1952). The relation of the reliability of multiple-choice tests to the distribution of item difficulties. Psychometrika, 17(2), 181–194.