Évaluation formative et sommative : différences et exemples

Enseignants, formateurs et services d'examen utilisent les deux chaque semaine, souvent sans les nommer. Les nommer aide, car elles servent des buts différents et doivent être conçues différemment. Un test conçu pour certifier des compétences fait un mauvais quiz d'entraînement, et une vérification rapide de la compréhension fait un mauvais examen final. Cet article explique la différence, donne des exemples en classe, en formation et en entreprise, résume la recherche et donne des conseils pratiques pour concevoir chacune.

D'où viennent les termes

Michael Scriven a introduit « formative » et « sommative » en 1967 pour décrire deux rôles de l'évaluation des programmes éducatifs : améliorer un programme en cours d'élaboration, et le juger une fois terminé. Benjamin Bloom et ses collègues ont appliqué la distinction à l'apprentissage des élèves en 1971. L'idée est restée parce qu'elle traduit un choix réel pour tout évaluateur : cette évaluation doit-elle aider à apprendre, ou certifier ce qui a été appris ?

Les différences en un coup d'œil

Exemples dans différents contextes

• École et université. Formative : un quiz de cinq questions en début de cours, une question « charnière » à mi-séance pour décider de passer à la suite, des commentaires sur un premier brouillon. Sommative : l'examen de fin de semestre, la note du projet final.
• Organismes de formation. Formative : des tests d'entraînement entre les modules, un examen blanc deux semaines avant le vrai avec la correction de chaque erreur. Sommative : le test de fin de formation qui décide qui reçoit l'attestation de réussite.
• Entreprise et RH. Formative : des vérifications de connaissances dans un parcours d'intégration qui renvoient chacun à la partie qu'il n'a pas comprise. Sommative : le test de conformité à réussir chaque année, ou un test de compétences pour une promotion.
• Organismes certificateurs. L'examen de certification lui-même est sommatif. L'évaluation formative prend la forme de tests d'entraînement officiels et de questions d'exemple pour aider les candidats à se préparer.

Deux autres termes apparaissent souvent. L'évaluation diagnostique a lieu avant l'enseignement, pour savoir ce que les apprenants savent déjà ; elle est formative dans l'esprit. Les évaluations intermédiaires ou de référence ont lieu quelques fois par an pour suivre les progrès ; elles peuvent servir l'un ou l'autre but, selon que quelqu'un modifie ou non son enseignement à cause d'elles.

L'évaluation formative fonctionne-t-elle ?

L'intérêt actuel pour l'évaluation formative vient en grande partie de la synthèse d'environ 250 études publiée en 1998 par Paul Black et Dylan Wiliam, qui concluait que renforcer l'évaluation formative améliore les résultats, avec des tailles d'effet souvent citées entre 0,4 et 0,7. Les travaux ultérieurs sont plus prudents. Une méta-analyse de 2011 de Neal Kingston et Brooke Nash a trouvé un effet moyen plus faible, autour de 0,2, et souligné la faiblesse de nombreuses études. Le résumé honnête : l'évaluation formative aide, de façon appréciable mais pas miraculeuse, et l'effet dépend de la manière de la pratiquer.

Deux constats expliquent l'essentiel de la différence :

• Le retour doit être utilisé. La synthèse de John Hattie et Helen Timperley décrit un bon retour comme celui qui répond à trois questions : où vais-je, où en suis-je, et quelle est la suite ? Une note seule ne répond bien à aucune.
• Se remémorer renforce la mémoire. Dans les expériences de Henry Roediger et Jeffrey Karpicke, les étudiants qui passaient des tests d'entraînement se souvenaient mieux une semaine plus tard que ceux qui avaient consacré le même temps à relire. Les quiz à faible enjeu ne sont donc pas qu'une mesure : ils font partie de l'apprentissage.

Concevoir une bonne évaluation formative

Dylan Wiliam et Marnie Thompson décrivent cinq stratégies qui résument la pratique :

1. Clarifier et partager ce que les apprenants doivent atteindre et à quoi ressemble la réussite.
2. Concevoir des tâches et des questions qui produisent des preuves de compréhension.
3. Donner des retours qui font progresser les apprenants.
4. Amener les apprenants à s'entraider.
5. Amener les apprenants à prendre en main leur propre apprentissage.

Concrètement, pour les quiz et les tests d'entraînement :

• Courts et fréquents. Cinq questions à chaque cours en disent plus que cinquante à la fin du mois.
• Écrivez des distracteurs qui révèlent les erreurs de compréhension. Si chaque mauvaise option correspond à une erreur typique, la répartition des réponses indique quoi réexpliquer, et pas seulement combien ont réussi. La méthode est expliquée dans analyse d'items.
• Montrez la bonne réponse et pourquoi. Une courte explication par question transforme un test d'entraînement en leçon.
• Gardez l'enjeu faible. Dans l'expérience de Ruth Butler en 1988, les élèves qui recevaient des commentaires progressaient davantage que ceux qui recevaient des notes, et ceux qui recevaient les deux ne faisaient pas mieux que ceux qui n'avaient que des notes. Si un test d'entraînement pèse lourd dans la note finale, les apprenants le traiteront comme sommatif, et copier deviendra rentable.
• Agissez sur les résultats. Une évaluation n'est formative que si quelque chose change grâce à elle.

Concevoir une bonne évaluation sommative

• Partez d'un plan de test aligné sur le programme, pour que le test échantillonne ce que la note prétend certifier. Voir banque de questions pour la façon dont un plan devient un test.
• Prévoyez assez de questions pour que les scores soient fidèles, surtout près du seuil de réussite. Les chiffres sont expliqués dans fidélité et validité.
• Des conditions homogènes et sûres : même durée et mêmes consignes pour tous, surveillance, et des versions différentes pour des candidats voisins.
• Vérifiez les statistiques avant de publier les résultats. Un corrigé faux à un examen final touche tous les candidats ; l'analyse d'items le repère.
• Décidez ce que les candidats voient ensuite. Pour un examen à fort enjeu, montrer toutes les bonnes réponses peut faire fuiter la banque de questions ; une note par partie suffit souvent.

Questions fréquentes

Un quiz est-il formatif ou sommatif ?

Cela dépend de l'usage des résultats. Un quiz qui conduit l'enseignant à réexpliquer un thème, ou l'apprenant à le réviser, est formatif. Un quiz dont la note s'ajoute simplement à la note finale est sommatif, même s'il est court.

Peut-on utiliser des résultats sommatifs de façon formative ?

Oui. Un examen de fin de semestre peut montrer quels thèmes ont posé problème à toute une classe, ce qui peut orienter l'enseignement de l'année suivante. On parle parfois d'usage formatif des évaluations sommatives.

Faut-il noter l'évaluation formative ?

En général non, ou seulement légèrement. Les notes détournent l'attention de l'apprentissage vers le score et encouragent la triche. Gardez les résultats pour guider l'enseignement, et donnez des commentaires ou des explications plutôt que des notes.

Les tests d'entraînement sont-ils une évaluation formative ?

Oui, quand les apprenants reçoivent vite leurs résultats et s'en servent, idéalement avec les bonnes réponses et des explications. Les tests d'entraînement améliorent aussi directement la mémoire, grâce à l'effet de test (testing effect).

Sources

• Black, P. and Wiliam, D. (1998). Assessment and classroom learning. Assessment in Education: Principles, Policy & Practice, 5(1), 7–74.
• Bloom, B. S., Hastings, J. T. and Madaus, G. F. (1971). Handbook on Formative and Summative Evaluation of Student Learning. New York: McGraw-Hill.
• Butler, R. (1988). Enhancing and undermining intrinsic motivation: the effects of task-involving and ego-involving evaluation on interest and performance. British Journal of Educational Psychology, 58(1), 1–14.
• Hattie, J. and Timperley, H. (2007). The power of feedback. Review of Educational Research, 77(1), 81–112.
• Kingston, N. and Nash, B. (2011). Formative assessment: a meta-analysis and a call for research. Educational Measurement: Issues and Practice, 30(4), 28–37.
• Roediger, H. L. and Karpicke, J. D. (2006). Test-enhanced learning: taking memory tests improves long-term retention. Psychological Science, 17(3), 249–255.
• Scriven, M. (1967). The methodology of evaluation. In R. W. Tyler, R. M. Gagné and M. Scriven (Eds.), Perspectives of Curriculum Evaluation. Chicago: Rand McNally.
• Wiliam, D. and Thompson, M. (2008). Integrating assessment with learning: what will it take to make it work? In C. A. Dwyer (Ed.), The Future of Assessment: Shaping Teaching and Learning. New York: Lawrence Erlbaum.