Avaliação formativa e somativa: diferenças e exemplos

Professores, instrutores e equipes de avaliação usam os dois tipos toda semana, muitas vezes sem dar nome a eles. Dar nome ajuda, porque eles servem a objetivos diferentes e devem ser elaborados de forma diferente. Uma prova feita para certificar competências é um mau questionário de treino, e uma checagem rápida de compreensão é uma má prova final. Este artigo explica a diferença, mostra exemplos na sala de aula, em treinamentos e nas empresas, resume o que diz a pesquisa e dá dicas práticas para elaborar cada uma.

De onde vêm os termos

Michael Scriven introduziu "formativa" e "somativa" em 1967 para descrever dois papéis da avaliação de programas educacionais: melhorar um programa enquanto ele é desenvolvido e julgá-lo depois de pronto. Benjamin Bloom e colegas aplicaram a distinção à aprendizagem dos alunos em 1971. A ideia pegou porque traduz uma escolha real de quem avalia: esta avaliação serve para ajudar a aprender ou para certificar o que foi aprendido?

As diferenças em resumo

Exemplos em diferentes contextos

• Escola e universidade. Formativa: um questionário de cinco questões no início da aula, uma pergunta "de dobradiça" no meio da aula para decidir se dá para avançar, comentários num primeiro rascunho. Somativa: a prova de fim de semestre, a nota do projeto final.
• Empresas de treinamento. Formativa: simulados entre os módulos, uma prova simulada duas semanas antes da real com a revisão de cada erro. Somativa: a prova de fim de curso que define quem recebe o certificado de conclusão.
• Empresas e RH. Formativa: checagens de conhecimento dentro do treinamento de integração que mandam cada pessoa de volta à parte que ficou faltando. Somativa: o teste de compliance obrigatório todo ano, ou um teste de habilidades para promoção.
• Entidades certificadoras. O exame de certificação em si é somativo. A avaliação formativa aparece como simulados oficiais e questões de exemplo para os candidatos se prepararem.

Outros dois termos aparecem com frequência. A avaliação diagnóstica acontece antes do ensino, para saber o que os alunos já sabem; no espírito, é formativa. As avaliações intermediárias ou de acompanhamento acontecem algumas vezes por ano para acompanhar o progresso; podem servir a qualquer dos dois objetivos, dependendo de alguém mudar o ensino por causa delas.

A avaliação formativa funciona?

O interesse atual pela avaliação formativa vem em grande parte da revisão de cerca de 250 estudos publicada em 1998 por Paul Black e Dylan Wiliam, que concluiu que fortalecer a avaliação formativa melhora o desempenho, com tamanhos de efeito muitas vezes citados entre 0,4 e 0,7. Trabalhos posteriores foram mais cautelosos. Uma meta-análise de 2011 de Neal Kingston e Brooke Nash encontrou um efeito médio menor, em torno de 0,2, e apontou que muitos estudos eram fracos. O resumo justo é que a avaliação formativa ajuda, numa medida relevante mas não milagrosa, e que o efeito depende de como ela é feita.

Duas descobertas explicam a maior parte da diferença:

• O retorno precisa ser usado. A revisão de John Hattie e Helen Timperley descreve um bom retorno como aquele que responde a três perguntas: aonde estou indo, como estou indo e qual o próximo passo? Uma nota sozinha não responde bem a nenhuma.
• Recuperar informações fortalece a memória. Nos experimentos de Henry Roediger e Jeffrey Karpicke, estudantes que fizeram testes de prática lembravam mais uma semana depois do que os que usaram o mesmo tempo para reestudar. Questionários de baixo peso não são só medida: fazem parte da aprendizagem.

Como elaborar uma boa avaliação formativa

Dylan Wiliam e Marnie Thompson descrevem cinco estratégias que resumem a prática:

1. Esclarecer e compartilhar o que os alunos devem alcançar e como é o sucesso.
2. Elaborar tarefas e perguntas que produzam evidências de compreensão.
3. Dar retorno que faça os alunos avançarem.
4. Levar os alunos a ajudarem uns aos outros.
5. Levar os alunos a assumirem a própria aprendizagem.

Na prática, para questionários e simulados:

• Curtos e frequentes. Cinco questões por aula dizem mais do que cinquenta no fim do mês.
• Escreva distratores que revelem erros de compreensão. Se cada alternativa errada corresponde a um erro típico, o padrão de respostas mostra o que reensinar, não só quantos acertaram. O método é explicado em análise de itens.
• Mostre a resposta correta e o porquê. Uma breve explicação em cada questão transforma um simulado numa aula.
• Mantenha o peso baixo. No experimento de Ruth Butler, de 1988, os alunos que receberam comentários melhoraram mais do que os que receberam notas, e os que receberam os dois não foram melhores do que os que só receberam notas. Se um simulado pesa muito na nota final, os alunos vão tratá-lo como somativo, e colar passa a compensar.
• Aja com base nos resultados. Uma avaliação só é formativa se algo muda por causa dela.

Como elaborar uma boa avaliação somativa

• Comece por uma matriz de referência alinhada ao currículo, para que a prova cubra o que a nota diz certificar. Veja banco de questões para saber como uma matriz vira prova.
• Use questões suficientes para que as notas sejam confiáveis, sobretudo perto da nota de corte. Os números são explicados em confiabilidade e validade.
• Condições padronizadas e seguras: o mesmo tempo e as mesmas instruções para todos, fiscalização e versões diferentes para candidatos vizinhos.
• Confira as estatísticas antes de divulgar resultados. Um gabarito errado numa prova final afeta todos os candidatos; a análise de itens detecta.
• Decida o que os candidatos veem depois. Num exame de alto peso, mostrar todas as respostas corretas pode vazar o banco de questões; uma nota por parte costuma bastar.

Perguntas frequentes

Um questionário é formativo ou somativo?

Depende do uso dos resultados. Um questionário que leva o professor a reensinar um tema, ou o aluno a revisá-lo, é formativo. Um questionário cuja nota só entra na média final é somativo, mesmo que seja curto.

Resultados somativos podem ser usados de forma formativa?

Sim. Uma prova de fim de semestre pode mostrar quais temas a turma inteira achou difíceis, e isso pode orientar o ensino do ano seguinte. Isso às vezes é chamado de uso formativo das avaliações somativas.

A avaliação formativa deve valer nota?

Em geral não, ou só um pouco. Notas desviam a atenção da aprendizagem para a pontuação e incentivam a cola. Registre os resultados para orientar o ensino e dê comentários ou explicações em vez de notas.

Simulados são avaliação formativa?

Sim, quando os alunos recebem os resultados rápido e os usam, de preferência com as respostas corretas e explicações. Simulados também melhoram diretamente a memória, pelo efeito de testagem (testing effect).

Fontes

• Black, P. and Wiliam, D. (1998). Assessment and classroom learning. Assessment in Education: Principles, Policy & Practice, 5(1), 7–74.
• Bloom, B. S., Hastings, J. T. and Madaus, G. F. (1971). Handbook on Formative and Summative Evaluation of Student Learning. New York: McGraw-Hill.
• Butler, R. (1988). Enhancing and undermining intrinsic motivation: the effects of task-involving and ego-involving evaluation on interest and performance. British Journal of Educational Psychology, 58(1), 1–14.
• Hattie, J. and Timperley, H. (2007). The power of feedback. Review of Educational Research, 77(1), 81–112.
• Kingston, N. and Nash, B. (2011). Formative assessment: a meta-analysis and a call for research. Educational Measurement: Issues and Practice, 30(4), 28–37.
• Roediger, H. L. and Karpicke, J. D. (2006). Test-enhanced learning: taking memory tests improves long-term retention. Psychological Science, 17(3), 249–255.
• Scriven, M. (1967). The methodology of evaluation. In R. W. Tyler, R. M. Gagné and M. Scriven (Eds.), Perspectives of Curriculum Evaluation. Chicago: Rand McNally.
• Wiliam, D. and Thompson, M. (2008). Integrating assessment with learning: what will it take to make it work? In C. A. Dwyer (Ed.), The Future of Assessment: Shaping Teaching and Learning. New York: Lawrence Erlbaum.