Confiabilidade e validade: qual a diferença, com exemplos

Todo resultado de prova termina em uma decisão: aprovar ou reprovar, contratar ou não, em qual turma colocar alguém. Confiabilidade e validade são as duas perguntas que dizem se essa decisão merece confiança. As duas são fáceis de confundir porque soam como "uma boa prova", então este artigo trata de uma de cada vez, com números que você pode conferir nos seus próprios exames.

A diferença em um exemplo

Imagine uma balança que sempre mostra dois quilos a mais que o seu peso real. Você sobe nela cinco vezes e ela mostra o mesmo número cinco vezes: é confiável. Mas o número está errado, então usá-la numa consulta médica para decidir se você emagreceu não é válido. Agora imagine uma balança que acerta na média, mas varia três quilos a cada pesagem. Ela não é confiável e, justamente por isso, nenhuma leitura isolada pode ser válida.

Provas funcionam do mesmo jeito. Um teste de vocabulário usado como prova de "interpretação de texto" pode dar notas muito estáveis e ainda assim medir outra coisa. Uma prova bem direcionada, mas com só oito questões, pode medir a coisa certa, porém com tanto ruído que dois candidatos igualmente capazes ficam um de cada lado da nota de corte.

Confiabilidade: quão consistentes são as notas?

Nenhuma prova mede com perfeição. A nota de um candidato é o nível real dele mais algum erro: as questões que calharam de cair, um chute certeiro, uma tarde de cansaço, um corretor rigoroso ou condescendente. A confiabilidade descreve quanto da variação das notas vem de diferenças reais entre os candidatos, e não desse erro. Uma confiabilidade de 0,80 significa, grosso modo, que 80% da variação reflete diferenças reais e 20% é ruído.

Formas de estimá-la

• Consistência interna: as questões de uma mesma prova concordam entre si? Exige uma única aplicação, por isso é o número mais comum. O alfa de Cronbach é a fórmula geral; o KR-20 é a mesma ideia para questões corrigidas como certo ou errado, e nelas dá o mesmo valor que o alfa.
• Teste-reteste: os mesmos candidatos fazem a mesma prova duas vezes, com um intervalo, e as duas séries de notas são correlacionadas.
• Formas paralelas: os candidatos fazem duas versões montadas com a mesma matriz de referência. Isso importa sempre que candidatos diferentes recebem provas diferentes.
• Entre corretores: em redações e tarefas práticas, dois corretores avaliam as mesmas respostas separadamente e mede-se a concordância entre eles.

O erro padrão de medida

Um coeficiente de confiabilidade é abstrato. O erro padrão de medida (SEM) o transforma em pontos na sua própria escala:

SEM = DP × √(1 − confiabilidade)

Suponha que as notas do seu exame tenham desvio padrão de 10 pontos e confiabilidade de 0,84. Então SEM = 10 × √0,16 = 4 pontos. Um candidato que tirou 62 tem uma nota verdadeira que, cerca de duas vezes em três, fica entre 58 e 66, e cerca de 19 vezes em 20, entre 54 e 70. Se a nota de corte é 60, esse candidato não está claramente acima dela. É por isso que a confiabilidade importa na prática: ela diz quantos candidatos perto do corte poderiam ter caído do outro lado por acaso.

Quanta confiabilidade basta?

Não existe um limite único, porque depende do que está em jogo. Estas referências são muito usadas e são as faixas que os relatórios de análise do ExamQR aplicam ao alfa de Cronbach:

Um alfa muito alto, acima de cerca de 0,95 em uma prova curta, nem sempre é boa notícia: pode indicar que as questões são quase cópias umas das outras e cobrem uma parte estreita do conteúdo.

Como tornar uma prova mais confiável

• Acrescente boas questões. A confiabilidade aumenta com o tamanho da prova. Pela fórmula de Spearman-Brown, dobrar uma prova de confiabilidade 0,70 com questões semelhantes a leva a cerca de 0,82 (2 × 0,70 ÷ 1,70).
• Retire ou reescreva questões que não discriminam. Uma questão que candidatos fortes e fracos acertam igualmente acrescenta ruído, não informação. A discriminação dela, em geral a correlação ponto-bisserial entre a questão e a nota total, deve ser positiva; acima de cerca de 0,20 costuma ser aceitável e acima de 0,30, boa. Um valor negativo geralmente indica gabarito errado ou questão enganosa. Saiba mais em análise de itens: dificuldade e discriminação.
• Revise os distratores. Uma alternativa errada que ninguém escolhe não cumpre seu papel; uma que atrai muitos candidatos fortes talvez também possa ser defendida como correta.
• Corrija de forma consistente. Em respostas escritas, use uma rubrica e peça a um segundo corretor que confira uma amostra.
• Padronize as condições. Mesmo tempo, mesmas instruções, nenhuma ajuda só para alguns candidatos.

Validade: as notas significam o que você afirma?

A visão profissional atual, apresentada nos Standards for Educational and Psychological Testing (padrões de referência para testes educacionais e psicológicos), é que a validade não é uma propriedade da prova. Ela pertence a uma interpretação e a um uso específicos das notas. O mesmo teste de inglês pode ser válido para distribuir alunos em turmas e não ser válido para decidir se uma enfermeira pode trabalhar com segurança em um hospital de língua inglesa. Então a pergunta certa nunca é "esta prova é válida?", e sim "é válido usar estas notas para tomar esta decisão sobre estas pessoas?".

Essa pergunta é respondida com evidências de vários tipos:

• Conteúdo: as questões cobrem os conhecimentos e habilidades dos quais a decisão depende, em proporções razoáveis? A ferramenta principal é uma matriz de referência escrita (temas × nível de dificuldade ou de habilidade, com o número de questões em cada célula), e a evidência principal é a revisão das questões por especialistas com base nela.
• Processos de resposta: os candidatos respondem usando a habilidade que você quer medir? Uma questão de matemática que a maioria erra por causa de um enunciado longo e confuso está medindo leitura, não matemática.
• Estrutura interna: as questões se comportam como a estrutura declarada diz? Se uma prova dá notas separadas de compreensão oral e leitura, as questões de compreensão oral devem se relacionar mais entre si do que com as de leitura.
• Relação com outras medidas: as notas concordam com outras evidências da mesma habilidade e preveem o que deveriam prever? Um teste de seleção deve se relacionar com o desempenho posterior no cargo; um teste de nivelamento, com o desempenho dos alunos na turma em que foram colocados.
• Consequências: o uso da prova traz os resultados pretendidos sem efeitos injustos para determinados grupos?

Ameaças comuns à validade

• Medir outra coisa: só questões de memorização em um exame que deveria certificar que a pessoa sabe aplicar um procedimento.
• Dificuldade irrelevante: muita leitura, formatos desconhecidos ou tempo tão curto que a velocidade decide o resultado quando velocidade não é o que se mede.
• Pistas da resposta: a alternativa correta é sempre a mais longa, ou a gramática a entrega. Quem percebe o padrão tira nota maior sem saber mais.
• Cola e questões vazadas: se as respostas circulam, a nota mede o acesso às respostas. Uma prova diferente por candidato, bancos de questões grandes o bastante para variar e fiscalização protegem a validade diretamente.
• Notas pouco confiáveis: toda fonte de ruído citada acima também ameaça a validade.

Como as duas se encaixam

A confiabilidade é necessária para a validade, mas não suficiente. A relação pode ser precisa: a correlação entre as notas da prova e qualquer outra coisa, como o desempenho posterior no trabalho, não pode ser maior que a raiz quadrada da confiabilidade da prova. Com confiabilidade de 0,64, as notas nunca terão correlação acima de 0,80 com o resultado que deveriam prever, por melhores que sejam as questões. Aumentar a confiabilidade eleva o teto; só um bom planejamento e evidências levam você perto dele.

Na prática, siga esta ordem: defina para que servem as notas, escreva uma matriz de referência adequada a esse fim, elabore e revise as questões com base nela, aplique a prova em condições padronizadas e depois examine as estatísticas e corrija o que elas mostrarem.

Verifique sua própria prova

Depois de cada exame, antes de divulgar resultados ou reaproveitar questões, olhe quatro números:

1. O alfa de Cronbach ou o KR-20, comparado com a tabela acima conforme o que está em jogo.
2. O SEM, e quantos candidatos estão a menos de um SEM da nota de corte.
3. A discriminação de cada questão: reescreva ou retire as que ficarem abaixo de cerca de 0,20 e, diante de um valor negativo, confira primeiro o gabarito.
4. A escolha dos distratores: alternativas que ninguém escolhe e alternativas erradas escolhidas por muitos candidatos fortes.

Perguntas frequentes

Uma prova pode ser válida sem ser confiável?

Na prática, não. Se as notas são principalmente ruído, não sustentam bem nenhuma decisão, então baixa confiabilidade sempre limita a validade. Já uma prova pode ser confiável sem ser válida: notas consistentes que medem outra coisa.

O alfa de Cronbach mede validade?

Não. O alfa só diz com que consistência as questões medem algo em conjunto. Não diz o que é esse algo, nem se é o que você pretendia medir.

Qual a diferença entre o KR-20 e o alfa de Cronbach?

O KR-20 é o caso particular do alfa para questões corrigidas como certo ou errado. Nessas provas os dois dão o mesmo valor; o alfa também serve para questões com pontuação parcial.

Quantos candidatos são necessários para calcular a confiabilidade?

A fórmula funciona com grupos pequenos, mas a estimativa é instável abaixo de algumas dezenas de candidatos. Trate o resultado de uma turma pequena como um sinal aproximado e olhe de novo quando mais candidatos tiverem feito as mesmas questões.

Fontes

• American Educational Research Association, American Psychological Association and National Council on Measurement in Education (2014). Standards for Educational and Psychological Testing. Washington, DC: AERA.
• Cronbach, L. J. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, 16(3), 297–334.
• Kuder, G. F. and Richardson, M. W. (1937). The theory of the estimation of test reliability. Psychometrika, 2(3), 151–160.
• Messick, S. (1989). Validity. In R. L. Linn (Ed.), Educational Measurement (3rd ed.). New York: American Council on Education and Macmillan.