Banco de questões: como montar um que gere boas provas

A maioria dos bancos de questões começa como uma pasta de provas antigas. Funciona até você precisar de uma segunda versão, de uma prova de recuperação ou de uma prova justa para uma turma que já viu a do ano passado. Aí você descobre que não consegue achar questões por tema, não sabe quais já foram usadas e não tem como dizer se duas versões são igualmente difíceis. Este artigo explica o que transforma um monte de questões em um banco que gera boas provas, e como montar um com o que você já tem.

Banco de questões não é uma pasta de provas antigas

O que registrar em cada questão

Uma questão só é tão útil quanto as informações que a acompanham. No mínimo, registre:

• Tema: o capítulo, a unidade ou o objetivo de aprendizagem avaliado. Use a mesma lista de temas do currículo, organizada em árvore (disciplina → capítulo → tema), para poder sortear de um capítulo inteiro ou de um único tema.
• Nível: uma dificuldade ou nível cognitivo pretendido, como lembrar, compreender e aplicar, ou fácil, média e difícil. Use poucos níveis; de três a cinco costumam bastar para provas equilibradas.
• Tipo: resposta única, múltiplas respostas, verdadeiro/falso, completar lacunas, dissertativa ou um grupo de questões sobre um texto ou áudio comum.
• Gabarito e, de preferência, uma breve justificativa: por que a resposta está certa e por que o distrator mais forte está errado. Ela agiliza revisões e ajuda quem for editar a questão daqui a dois anos.
• Situação: rascunho, em uso ou eliminada. Questões em rascunho estão escritas, mas não revisadas; as eliminadas ficam no banco como registro, mas nunca são sorteadas.
• Uso: quantas vezes a questão apareceu em uma prova. Questões muito usadas têm mais chance de ter sido decoradas ou compartilhadas.

Depois de cada exame, acrescente o que aprendeu: a dificuldade e a discriminação da análise de itens e qualquer recurso ou correção. Com o tempo, o rótulo "média" deixa de ser palpite e vira medida.

A matriz de referência: como o banco vira prova

Uma matriz de referência (ou tabela de especificação) diz quantas questões de cada tema e nível a prova contém. Para uma prova de 20 questões, poderia ser assim:

Cada célula é um pequeno sorteio: "pegue 3 questões médias de porcentagem". Todas as versões montadas com a mesma matriz cobrem o mesmo conteúdo nos mesmos níveis, e é isso que torna as versões comparáveis e a prova válida para seu propósito. Escreva primeiro a matriz, a partir do currículo e da decisão que a prova apoia, e depois confira se o banco tem questões suficientes em cada célula.

De quantas questões um banco precisa?

Pense por célula, não pelo banco inteiro. Se você quer versões sem questões em comum, cada célula precisa de pelo menos o número de questões que ela pede multiplicado pelo número de versões. Na matriz acima, três versões sem questões "porcentagem, média" em comum precisam de 3 × 3 = 9 questões desse tipo no banco.

Na prática:

• Para uma prova de uma turma, um banco de duas a três vezes o tamanho da prova dá uma versão nova para quem faltou e para a recuperação.
• Para provas aplicadas a muitos grupos ao longo do tempo, como provas finais, testes de seleção ou de certificação, mire em cinco vezes o tamanho da prova ou mais e acompanhe o uso, porque as questões vazam por quem já fez a prova.
• Células magras são o gargalo de sempre. Um banco com 400 questões pode não gerar duas versões se tiver só três questões difíceis de um tema. Conte por célula antes do exame, não depois.

Escreva questões que durem

Uma questão que será reaproveitada por anos merece mais cuidado do que uma escrita para uma única prova. As orientações mais citadas para questões de múltipla escolha se resumem a poucas regras:

• Coloque um problema claro no enunciado, de modo que quem domina o conteúdo consiga responder antes de ler as alternativas.
• Escreva uma resposta claramente correta e distratores plausíveis para quem não domina o tema, de preferência baseados em erros reais.
• Mantenha as alternativas com tamanho e gramática parecidos; evite "todas as anteriores" e negativas como "qual NÃO é" a menos que a negação seja o ponto.
• Faça cada questão independente: nenhuma deve entregar a resposta de outra, o que importa quando as questões são sorteadas em combinações diferentes.
• Evite fatos que vencem, como preços atuais ou "este ano", ou registre uma data de revisão junto à questão.
• Evite referências à posição, como "a alternativa acima", porque questões e alternativas podem ser embaralhadas.

Mantenha o banco saudável

• Revise depois de cada exame. Faça a análise de itens e aja: corrija na hora gabaritos errados, reescreva questões com baixa discriminação e troque distratores que ninguém escolhe. As estatísticas são explicadas em análise de itens: dificuldade e discriminação.
• Elimine, não apague. Questões vazadas, desatualizadas ou de mau desempenho devem ser marcadas como eliminadas para nunca mais serem sorteadas, mantendo intacto o registro das provas anteriores.
• Acompanhe a exposição. Dê preferência às questões menos usadas no sorteio e renove as células mais usadas.
• Mantenha rascunhos fora das provas. Questões novas, inclusive as geradas por IA, devem ser revisadas por quem domina o conteúdo antes de poderem ser usadas.
• Limite o acesso. Um banco só é tão seguro quanto as pessoas que podem lê-lo. Não deixe gabaritos em pastas compartilhadas nem em cópias impressas.

Montar um banco com o que você já tem

1. Escreva a lista de temas e níveis, de acordo com a matriz das provas que você mais aplica.
2. Importe suas provas existentes e marque o tema e o nível de cada questão. Algumas questões terão de ser corrigidas ou descartadas; provas antigas costumam ter duplicatas e conteúdo desatualizado.
3. Conte as questões por célula e preencha as lacunas: escreva questões novas, ou gere rascunhos com IA e revise cada um antes de usar.
4. Monte a próxima prova pela matriz, aplique, analise e leve os resultados de volta ao banco.

Perguntas frequentes

Qual a diferença entre banco de questões e "test bank"?

Os termos se sobrepõem. Em inglês, "test bank" costuma ser o conjunto de questões prontas que uma editora fornece com um livro didático; "banco de questões" ou "banco de itens" costuma ser uma coleção que você mesmo monta e mantém, organizada para sortear provas.

Quantas questões um banco deve ter?

O suficiente para cada célula da matriz: pelo menos o número de questões da célula vezes o número de versões que você quer sem sobreposição. Como regra prática, de duas a três vezes o tamanho da prova para uma turma, e cinco vezes ou mais para provas que se repetem.

Os candidatos devem ver o banco de questões?

Não em uma prova que vale nota. Se os candidatos podem estudar as questões reais, a nota mede a memória do banco e não o conteúdo. Para praticar, publique um conjunto separado de questões de treino.

A IA pode escrever as questões?

A IA gera rascunhos rapidamente, sobretudo para preencher células magras, mas comete erros de conteúdo e escreve distratores fracos. Trate as questões da IA como rascunhos e peça a um especialista que revise cada uma antes que possa ser sorteada para uma prova.

Fontes

• American Educational Research Association, American Psychological Association and National Council on Measurement in Education (2014). Standards for Educational and Psychological Testing, chapter 4: Test design and development. Washington, DC: AERA.
• Haladyna, T. M., Downing, S. M. and Rodriguez, M. C. (2002). A review of multiple-choice item-writing guidelines for classroom assessment. Applied Measurement in Education, 15(3), 309–333.
• Vale, C. D. (2006). Computerized item banking. In S. M. Downing and T. M. Haladyna (Eds.), Handbook of Test Development. Mahwah, NJ: Lawrence Erlbaum.