Análise de itens: dificuldade e discriminação explicadas
A análise de itens é um conjunto de estatísticas, calculadas para cada questão depois de uma prova, que mostram como ela funcionou. As três essenciais são a dificuldade (a proporção de candidatos que acertaram), a discriminação (quem foi bem na prova como um todo acertou a questão com mais frequência?) e a análise de distratores (quem escolheu cada alternativa errada).
Juntas, elas dizem quais questões manter, quais corrigir e quais retirar antes de usá-las de novo.
Uma questão pode parecer perfeita no papel e ainda assim falhar na prova: o gabarito está errado, duas alternativas são defensáveis ou uma pista no enunciado entrega a resposta. Reler a questão raramente revela esses problemas. As respostas dos candidatos revelam. Este artigo explica os números, mostra como calculá-los à mão em um exemplo pequeno e dá as referências usadas para agir.
Dificuldade do item: o valor p
O índice de dificuldade, geralmente chamado de p, é simplesmente a proporção de candidatos que responderam corretamente. Se 22 de 40 candidatos acertaram, p = 22 ÷ 40 = 0,55. O nome engana: p maior significa questão mais fácil.
| Valor p | Leitura |
|---|---|
| Acima de 0,90 | Muito fácil |
| 0,71 a 0,90 | Fácil |
| 0,30 a 0,70 | Média |
| 0,10 a 0,29 | Difícil |
| Abaixo de 0,10 | Muito difícil |
São as faixas que o relatório de análise do ExamQR usa. A faixa desejável depende do objetivo da prova:
- Provas que classificam ou selecionam, como testes de seleção e concursos, precisam de questões que separem as pessoas. As de dificuldade média fazem isso melhor, porque uma questão que quase todos acertam, ou quase ninguém, não distingue ninguém. Em questões de quatro alternativas, em que o chute acerta 25%, a recomendação clássica é um p médio de cerca de 0,62, a meio caminho entre o acaso e 1.
- Provas de domínio e certificação verificam se os candidatos sabem o que precisam saber. Um p de 0,95 em uma questão essencial de segurança não é defeito; pode ser exatamente o que você quer. Não retire essa questão por ser fácil.
Lembre que p descreve a questão com este grupo. A mesma questão é mais fácil para uma turma mais forte. Um valor p de vinte candidatos é indicativo; de duzentos, confiável.
Discriminação: a questão separa os candidatos fortes dos fracos?
Uma boa questão é acertada com mais frequência por quem domina o conteúdo do que por quem não domina. A discriminação mede exatamente isso. Há duas formas comuns de calculá-la.
O índice de discriminação D (grupos superior e inferior)
É o método que dá para fazer à mão:
- Ordene os candidatos pela nota total.
- Pegue os 27% melhores como grupo superior e os 27% piores como grupo inferior. (27% é a escolha clássica: grupos grandes o bastante para serem estáveis e distantes o bastante para mostrar diferença.)
- Para cada questão, D = (acertos do grupo superior − acertos do grupo inferior) ÷ tamanho de um grupo.
Com 40 candidatos, cada grupo tem 11 pessoas. Se 9 do grupo superior e 3 do inferior acertam uma questão, D = (9 − 3) ÷ 11 = 0,55. D vai de −1 a +1.
A correlação ponto-bisserial
Os programas costumam mostrar a correlação ponto-bisserial (rpb): a correlação entre acertar esta questão (1 ou 0) e a nota total, usando todos os candidatos e não só os grupos extremos. Ela é mais precisa, e é o que o ExamQR apresenta como discriminação. Para a mesma questão, costuma dar valores um pouco menores que D, então não compare as duas escalas diretamente.
| Discriminação (rpb) | Leitura | O que fazer |
|---|---|---|
| 0,40 ou mais | Muito boa | Manter |
| 0,30 a 0,39 | Boa | Manter |
| 0,20 a 0,29 | Moderada | Manter |
| 0,10 a 0,19 | Baixa | Considerar melhorar o enunciado e os distratores |
| 0 a 0,09 | Muito baixa | Corrigir antes de reutilizar |
| Abaixo de 0 | Negativa | Conferir primeiro o gabarito |
Um valor negativo significa que os candidatos com nota total baixa acertaram a questão com mais frequência que os de nota alta. A causa mais comum é simples: o gabarito está errado. Outras causas são uma questão com duas respostas corretas, um enunciado-pegadinha que faz os melhores hesitarem ou um conteúdo que não foi ensinado. Verifique isso antes de tudo, porque um gabarito errado também altera a nota de todos.
A dificuldade limita a discriminação. Uma questão que 98% dos candidatos acertam quase não consegue discriminar, porque quase não sobra ninguém para separar. Por isso, leia os dois números juntos.
Análise de distratores: o que as alternativas erradas dizem
Em uma questão de múltipla escolha, as alternativas erradas, chamadas distratores, têm uma função: atrair quem não sabe a resposta. Contar quantas vezes cada alternativa foi escolhida, separando grupo superior e inferior, mostra se cumprem essa função.
Um bom distrator:
- é escolhido por uma parcela razoável dos candidatos. Uma alternativa que quase ninguém marca não funciona, e a questão passa a ter, na prática, uma alternativa a menos, o que facilita o chute. O ExamQR sinaliza um distrator escolhido por menos de 5% dos candidatos quando há pelo menos 30;
- é mais escolhido pelo grupo inferior que pelo superior. Em termos de correlação, sua ponto-bisserial é negativa. Um distrator que atrai candidatos fortes (correlação positiva) costuma indicar que ele também é defensável ou que a questão é ambígua. O ExamQR sinaliza distratores cuja correlação com a nota total passa de 0,05.
Um exemplo resolvido
Quarenta candidatos fizeram uma prova; os grupos superior e inferior têm 11 candidatos cada. Veja duas questões de quatro alternativas. O gabarito está em negrito.
| Questão 7 | A | B | C | D |
|---|---|---|---|---|
| Grupo superior (11) | 1 | 9 | 1 | 0 |
| Grupo inferior (11) | 3 | 3 | 4 | 1 |
| Todos (40) | 6 | 22 | 10 | 2 |
p = 22 ÷ 40 = 0,55, média. D = (9 − 3) ÷ 11 = 0,55, alta. Os distratores A e C atraem principalmente o grupo inferior, como devem. Só a alternativa D é fraca: apenas 2 de 40 candidatos (5%) a escolheram, bem no limite habitual. Veredito: manter a questão e escrever uma alternativa D mais plausível na próxima vez.
| Questão 12 | A | B | C | D |
|---|---|---|---|---|
| Grupo superior (11) | 3 | 0 | 7 | 1 |
| Grupo inferior (11) | 6 | 2 | 2 | 1 |
| Todos (40) | 17 | 4 | 16 | 3 |
p = 17 ÷ 40 = 0,43, que isoladamente parece normal. Mas D = (3 − 6) ÷ 11 = −0,27: o grupo inferior foi melhor que o superior. Sete dos onze melhores candidatos escolheram C. Ou C é a resposta correta e o gabarito está errado, ou a questão tem duas respostas defensáveis. Veredito: conferir o gabarito e o enunciado antes de corrigir, e depois ajustar ou retirar a questão.
Manter, corrigir ou retirar
O relatório do ExamQR combina dificuldade e discriminação em uma recomendação por questão, com estas regras:
| Recomendação | Quando |
|---|---|
| Manter (excelente) | Discriminação de 0,30 ou mais e p entre 0,20 e 0,80 |
| Manter (boa) | Discriminação de 0,20 ou mais e p entre 0,10 e 0,90 |
| Considerar melhorar | Estatísticas aceitáveis, mas abaixo das duas linhas acima, muitas vezes com um distrator fraco |
| Revisar | Discriminação abaixo de 0,10, ou p acima de 0,95 ou abaixo de 0,05 |
| Retirar | Discriminação negativa, ou discriminação abaixo de 0,10 junto com p acima de 0,95 ou abaixo de 0,05 |
Trate isso como ponto de partida para uma decisão humana, não como sentença. Antes de retirar uma questão, pergunte se ela cobre algo que a prova precisa cobrir. Tirar todas as questões difíceis de um tema melhora as estatísticas e piora a validade da prova. Se a questão é necessária, reescreva-a em vez de retirá-la.
Erros comuns
- Confiar em amostras pequenas. Com menos de uns 30 candidatos, uma única pessoa move p em vários pontos e faz a discriminação oscilar muito. Use as estatísticas de uma turma pequena para achar suspeitas, não para condená-las.
- Retirar questões fáceis de uma prova de domínio. Discriminação baixa em uma questão que todos sabem é esperada e inofensiva.
- Ignorar questões finais sem resposta. Se muitos candidatos não chegaram às últimas questões, elas parecem difíceis por causa do tempo, não do conteúdo.
- Ler a discriminação em uma prova que mede coisas diferentes. A discriminação compara cada questão com a nota total. Se a prova mistura, por exemplo, gramática e compreensão oral, uma boa questão de compreensão oral pode parecer fraca diante de um total dominado pela gramática. Analise cada parte separadamente quando puder.
- Esquecer as notas. Ao encontrar um gabarito errado, corrija-o e recalcule as notas da prova, não só o banco de questões.
Além da análise clássica
Tudo acima pertence à teoria clássica dos testes (TCT), em que cada estatística depende do grupo que fez a prova. A teoria de resposta ao item (TRI) estima, para cada questão, uma dificuldade (b), uma discriminação (a) e, no modelo de três parâmetros, um nível de acerto ao acaso (c), em uma escala comum que depende menos do grupo. Ela exige mais candidatos, em geral algumas centenas para estimativas estáveis de três parâmetros, e é mais útil em grandes bancos de questões e provas adaptativas. Para a maioria das provas em sala, treinamentos e seleções, as estatísticas clássicas deste artigo bastam para encontrar as questões que precisam de atenção. A relação entre essas estatísticas e a confiabilidade da prova inteira é explicada em confiabilidade e validade.
Faça a análise de itens da sua prova
A ferramenta gratuita de análise de provas do ExamQR faz tudo o que está neste artigo para qualquer prova de múltipla escolha, inclusive as que não foram aplicadas no ExamQR. Cole o gabarito e as respostas dos candidatos, uma linha por candidato (de 5 a 200 questões e de 10 a 5.000 candidatos). Você recebe a dificuldade e a discriminação de cada questão com a recomendação acima, a porcentagem e a correlação de cada alternativa com os distratores fracos sinalizados, o alfa de Cronbach da prova inteira e um modelo TRI. Os resultados ficam na sessão do seu navegador e são apagados depois de duas horas. Nos exames aplicados no ExamQR, a página de análise de cada disciplina mostra a dificuldade e a discriminação de cada questão. Saiba mais sobre análise de provas.
Perguntas frequentes
Qual é um bom índice de dificuldade?
Em provas que classificam candidatos, a maioria das questões entre 0,30 e 0,80, com média em torno de 0,6 para questões de quatro alternativas. Em provas de domínio, questões fáceis sobre conteúdo essencial são normais.
Qual é um bom índice de discriminação?
Uma ponto-bisserial de 0,20 ou mais é aceitável e de 0,30 ou mais, boa. Com o índice D dos grupos extremos, uma referência comum é 0,40 ou mais muito bom, de 0,30 a 0,39 bom, de 0,20 a 0,29 limítrofe e abaixo de 0,20 fraco.
A discriminação pode ser negativa?
Sim. Significa que os candidatos mais fracos acertaram mais que os mais fortes. Confira primeiro o gabarito; depois procure duas alternativas corretas ou um enunciado enganoso.
De quantos candidatos preciso?
O cálculo funciona a partir de dez candidatos, mas trate os resultados como indicativos abaixo de uns 30 e como confiáveis a partir de uns 100. A TRI exige mais.
Fontes
- Ebel, R. L. and Frisbie, D. A. (1991). Essentials of Educational Measurement (5th ed.). Englewood Cliffs, NJ: Prentice Hall.
- Haladyna, T. M., Downing, S. M. and Rodriguez, M. C. (2002). A review of multiple-choice item-writing guidelines for classroom assessment. Applied Measurement in Education, 15(3), 309–333.
- Kelley, T. L. (1939). The selection of upper and lower groups for the validation of test items. Journal of Educational Psychology, 30(1), 17–24.
- Lord, F. M. (1952). The relation of the reliability of multiple-choice tests to the distribution of item difficulties. Psychometrika, 17(2), 181–194.