Banque de questions : bâtir une banque qui fait de bons tests

La plupart des banques de questions commencent comme un dossier d'anciens sujets. Cela fonctionne jusqu'au jour où il faut une deuxième version, un rattrapage ou un test équitable pour un groupe qui a déjà vu le sujet de l'an dernier. On découvre alors qu'on ne peut pas chercher par thème, qu'on ignore quelles questions ont déjà servi et qu'on ne sait pas si deux versions sont aussi difficiles l'une que l'autre. Cet article explique ce qui transforme un tas de questions en une banque qui produit de bons tests, et comment la bâtir à partir de ce que vous avez déjà.

Une banque de questions n'est pas un dossier d'anciens sujets

Ce qu'il faut noter pour chaque question

Une question ne vaut que par les informations qui l'accompagnent. Au minimum, notez :

• Le thème : le chapitre, l'unité ou l'objectif d'apprentissage évalué. Utilisez la même liste de thèmes que le programme, organisée en arbre (matière → chapitre → thème), pour pouvoir tirer dans un chapitre entier ou dans un seul thème.
• Le niveau : une difficulté ou un niveau cognitif visé, comme mémoriser, comprendre et appliquer, ou facile, moyen et difficile. Gardez peu de niveaux ; trois à cinq suffisent en général pour des tests équilibrés.
• Le type : choix unique, réponses multiples, vrai/faux, texte à compléter, rédaction, ou un groupe de questions sur un texte ou un audio commun.
• Le corrigé et, idéalement, une courte justification : pourquoi la réponse est juste et pourquoi le distracteur le plus fort est faux. Elle accélère les relectures et aide la personne qui modifiera la question dans deux ans.
• Le statut : brouillon, en service ou retirée. Une question en brouillon est écrite mais pas relue ; une question retirée reste dans la banque pour l'historique, mais n'est jamais tirée.
• L'utilisation : combien de fois la question est apparue dans un test. Les questions très utilisées risquent davantage d'avoir été mémorisées ou partagées.

Après chaque examen, ajoutez ce que vous avez appris : la difficulté et la discrimination issues de l'analyse d'items, et toute réclamation ou correction. Avec le temps, l'étiquette « moyen » cesse d'être une supposition et devient une mesure.

Le plan de test : comment la banque devient un test

Un plan de test (ou tableau de spécification) indique combien de questions de chaque thème et de chaque niveau contient un test. Pour un test de 20 questions, il pourrait ressembler à ceci :

Chaque case est un petit tirage : « prendre 3 questions moyennes sur les pourcentages ». Toutes les versions construites à partir du même plan couvrent le même contenu aux mêmes niveaux ; c'est ce qui rend les versions comparables et le test valide pour son objectif. Rédigez d'abord le plan, à partir du programme et de la décision que le test éclaire, puis vérifiez que la banque contient assez de questions dans chaque case.

Combien de questions faut-il ?

Raisonnez par case, pas pour la banque entière. Pour des versions sans aucune question commune, chaque case doit contenir au moins le nombre de questions qu'elle demande multiplié par le nombre de versions. Dans le plan ci-dessus, trois versions sans question « pourcentages, moyen » commune demandent 3 × 3 = 9 questions de ce type dans la banque.

En pratique :

• Pour un contrôle en classe, une banque de deux à trois fois la longueur du test fournit une nouvelle version pour les absents et un rattrapage.
• Pour des tests passés par de nombreux groupes au fil du temps, comme les examens finaux, les tests de recrutement ou les certifications, visez cinq fois la longueur du test ou plus et surveillez l'utilisation, car les questions fuitent par ceux qui ont déjà passé le test.
• Les cases trop maigres sont le goulot d'étranglement habituel. Une banque de 400 questions peut ne pas produire deux versions si elle ne contient que trois questions difficiles sur un thème. Comptez par case avant l'examen, pas après.

Écrire des questions qui durent

Une question réutilisée pendant des années mérite plus de soin qu'une question écrite pour un seul test. Les recommandations les plus citées pour les QCM se résument à quelques règles :

• Posez un problème clair dans l'énoncé, de sorte qu'une personne qui maîtrise le sujet puisse répondre avant de lire les options.
• Écrivez une réponse clairement juste et des distracteurs plausibles pour qui ne maîtrise pas le thème, idéalement tirés d'erreurs réelles.
• Gardez des options de longueur et de grammaire semblables ; évitez « toutes les réponses ci-dessus » et les négations comme « laquelle n'est PAS » sauf si la négation est l'objet de la question.
• Rendez chaque question indépendante : aucune ne doit donner la réponse d'une autre, ce qui compte quand les questions sont tirées dans des combinaisons différentes.
• Évitez les faits qui se périment, comme les prix actuels ou « cette année », ou notez une date de révision avec la question.
• Évitez les références à la position, comme « l'option ci-dessus », car questions et options peuvent être mélangées.

Entretenir la banque

• Relisez après chaque examen. Faites une analyse d'items et agissez : corrigez aussitôt les corrigés faux, réécrivez les questions peu discriminantes et remplacez les distracteurs que personne ne choisit. Les statistiques sont expliquées dans analyse d'items : difficulté et discrimination.
• Retirez, ne supprimez pas. Les questions divulguées, périmées ou peu performantes doivent être marquées comme retirées pour ne plus jamais être tirées, tout en gardant intact l'historique des tests passés.
• Surveillez l'exposition. Privilégiez les questions les moins utilisées lors du tirage et renouvelez les cases les plus sollicitées.
• Gardez les brouillons hors des examens. Les nouvelles questions, y compris celles rédigées par l'IA, doivent être relues par un spécialiste du sujet avant de pouvoir servir.
• Limitez l'accès. Une banque n'est sûre que si les personnes qui la lisent le sont. Ne laissez pas les corrigés dans des dossiers partagés ou des copies imprimées.

Bâtir une banque à partir de l'existant

1. Rédigez la liste des thèmes et des niveaux, en cohérence avec le plan des tests que vous faites passer le plus souvent.
2. Importez vos tests existants, puis indiquez pour chaque question son thème et son niveau. Attendez-vous à corriger ou écarter certaines questions ; les anciens sujets contiennent souvent des doublons et du contenu périmé.
3. Comptez les questions par case et comblez les manques : écrivez de nouvelles questions, ou faites rédiger des brouillons par l'IA et relisez chacun avant usage.
4. Construisez votre prochain test à partir du plan, faites-le passer, analysez-le et réinjectez les résultats dans la banque.

Questions fréquentes

Quelle différence entre une banque de questions et une « test bank » ?

Les termes se recoupent. En anglais, « test bank » désigne souvent les questions toutes prêtes qu'un éditeur fournit avec un manuel ; « banque de questions » ou « banque d'items » désigne plutôt une collection que vous construisez et entretenez vous-même, organisée pour tirer des tests.

Combien de questions doit contenir une banque ?

Assez pour chaque case du plan : au moins le nombre de questions de la case multiplié par le nombre de versions voulues sans recouvrement. En règle générale, deux à trois fois la longueur du test pour une classe, cinq fois ou plus pour des tests répétés.

Les candidats doivent-ils voir la banque ?

Pas pour un examen noté. Si les candidats peuvent apprendre les vraies questions, la note mesure leur mémoire de la banque et non la matière. Pour s'entraîner, publiez plutôt une série de questions d'entraînement distincte.

L'IA peut-elle écrire les questions ?

L'IA rédige vite des brouillons, notamment pour remplir les cases maigres, mais elle commet des erreurs de fond et écrit des distracteurs faibles. Traitez ses questions comme des brouillons et faites relire chacune par un spécialiste avant qu'elle puisse être tirée dans un test.

Sources

• American Educational Research Association, American Psychological Association and National Council on Measurement in Education (2014). Standards for Educational and Psychological Testing, chapter 4: Test design and development. Washington, DC: AERA.
• Haladyna, T. M., Downing, S. M. and Rodriguez, M. C. (2002). A review of multiple-choice item-writing guidelines for classroom assessment. Applied Measurement in Education, 15(3), 309–333.
• Vale, C. D. (2006). Computerized item banking. In S. M. Downing and T. M. Haladyna (Eds.), Handbook of Test Development. Mahwah, NJ: Lawrence Erlbaum.