As questões vazaram depois do primeiro turno: como aplicar um exame em vários turnos sem que a prova escape

Uma empresa aplica a sua avaliação anual de competências a 400 funcionários ao longo de dois dias, em quatro turnos, porque o laboratório só tem 100 computadores. Todos fazem a mesma prova, embaralhada. Na segunda tarde, as pessoas já chegam sabendo da “questão sobre a política de reembolso” e da “que tem o gráfico de pizza”. A média do último turno fica 14 pontos acima da do primeiro. Ninguém consegue provar nada, mas todos do primeiro turno se sentem prejudicados, e os resultados ficam difíceis de defender.

Quando um exame acontece em vários turnos, o vazamento não é uma possibilidade. É o que você deve esperar. Os candidatos conversam no almoço, tiram fotos e postam em grupos de mensagens. Este artigo explica como as questões escapam, por que o embaralhamento não ajuda de um turno para outro e o que ajuda.

Como as questões escapam

• Memória. Os candidatos lembram cinco ou dez questões e as repassam. Não dá para impedir isso, só fazer com que valha menos.
• Fotos. Um celular embaixo da mesa, ou a foto de uma prova impressa tirada no corredor.
• A tela de resultados. Se os candidatos veem a prova com as respostas corretas assim que a entregam, o turno da manhã entrega o gabarito ao turno da tarde.
• Arquivos que circulam antes. Uma prova enviada por e-mail entre funcionários, uma cópia impressa esquecida na copiadora, uma pasta compartilhada com gente demais.

1. O embaralhamento protege contra o vizinho, não contra o turno seguinte

O erro. “Fizemos 20 versões, então está seguro.” Versões embaralhadas têm as mesmas questões em outra ordem. Isso impede que um candidato copie da tela ao lado. Não faz nada contra alguém que ouviu de manhã que “tem uma questão sobre a política de reembolso, a resposta é 30 dias”.

O que resolve. Dar a cada turno questões diferentes, com a mesma dificuldade.

Nos exames online do ExamQR, você monta uma prova a partir do seu banco de questões com uma estrutura da prova: tantas questões por tópico e por nível de dificuldade. Crie uma prova por turno a partir da mesma estrutura. Quando você cria várias provas de uma vez, o ExamQR mantém as questões delas separadas enquanto o banco tiver questões suficientes e escolhe primeiro as questões menos usadas. Depois, dê a cada turno a sua própria prova. Todos os turnos recebem a mesma combinação de tópicos e níveis, mas não as mesmas questões.

Para isso, o banco precisa ser grande o bastante. Para quatro turnos sem repetição, você precisa de quatro vezes mais questões em cada combinação de tópico e nível. Se uma combinação tiver poucas questões, o ExamQR informa quantas questões são necessárias e quantas existem, e você sabe onde escrever mais. Um guia para montar o banco: bancos de questões.

Dentro de cada turno, continue embaralhando em versões, até 1.000, para que os vizinhos também não vejam a mesma ordem. Como escrever questões que resistam ao embaralhamento está em embaralhamento justo de provas.

2. Não entregue as respostas no final

O problema. Uma tela de resultados que mostra todas as questões com a resposta correta é uma boa ferramenta de aprendizagem e um excelente vazamento.

O que resolve. No ExamQR, você escolhe em cada sessão o que os candidatos veem depois de entregar: nada, apenas a nota total, a nota com as questões que acertaram ou erraram, ou a prova inteira com as respostas. Em um exame aplicado em vários turnos, mostre apenas a nota total. Se quiser que os candidatos revisem as respostas, mude a configuração depois que o último turno terminar. A nova configuração vale na próxima vez que os candidatos abrirem os resultados.

3. Ninguém vê as questões antes do início

O problema. Uma prova que pode ser aberta antes da hora, mesmo que por um minuto, pode ser copiada.

O que resolve. Em um exame online do ExamQR, os candidatos só recebem as questões depois que um fiscal inicia a sessão da sala deles. Antes disso, não há nada para abrir. Você também pode definir uma senha para cada sala, que o fiscal informa no início, para que um candidato sentado em casa não consiga entrar em um exame destinado ao laboratório.

Nas provas de laboratório com o ExamQR Exam, o exame chega à sala como um pacote de exame que você pode proteger com senha, e é aberto no computador do servidor da sala. Os candidatos aguardam em uma tela de espera até a sessão começar. As imagens e outras mídias ficam criptografadas nos computadores dos candidatos até o exame abrir, e o aplicativo as remove quando fecha.

4. Torne as fotos e as capturas de tela menos úteis

• Na web, o clique com o botão direito e a cópia ficam bloqueados na página do exame.
• No aplicativo ExamQR Exam, a janela do exame fica fora das capturas e gravações de tela, e as ferramentas de gravação são fechadas. Mais em como os candidatos colam em provas no computador.
• A câmera do celular é trabalho para o fiscal: celulares nas bolsas, fiscais circulando pela sala.

A melhor defesa contra fotos continua sendo a da seção 1. A foto de uma questão que o turno seguinte não vai receber não vale nada.

5. Mantenha a prova em um círculo pequeno

• Compartilhe a prova apenas com as pessoas que a elaboram e a revisam. No ExamQR, uma prova fica visível para o dono e para as pessoas com quem ela foi compartilhada.
• Ao transferir um pacote de exame, proteja-o com senha e envie a senha separadamente, o mais tarde possível.
• Nas provas em papel, imprima o mais tarde possível, conte as cópias na saída e na volta e recolha todas as folhas, inclusive os rascunhos. Use o código de prova de cada folha para associá-la ao gabarito e à lista de presença.

6. Verifique se vazou mesmo assim

Vazamentos deixam rastros nos números. Depois do exame, compare os turnos:

• Uma média que sobe de forma constante do primeiro ao último turno.
• Uma questão que 40% acertaram de manhã e 85% acertaram à tarde.

As estatísticas do ExamQR mostram o quanto cada questão foi difícil e o quanto ela diferenciou os candidatos mais fortes dos mais fracos. Uma questão cujos resultados dão um salto entre os turnos deve ser excluída da pontuação deste exame e retirada do banco. Mais sobre como ler esses números: análise de itens.

Checklist

• Um banco de questões grande o bastante para um conjunto novo de questões por turno.
• Uma prova por turno, montada a partir da mesma estrutura, e versões embaralhadas dentro de cada turno.
• Os candidatos veem apenas a nota até o último turno terminar.
• Questões liberadas só quando o fiscal inicia a sessão; uma senha de sala para as sessões no laboratório.
• Pacotes de exame protegidos com senha; a senha compartilhada tarde e separadamente.
• Celulares nas bolsas, fiscais circulando.
• Médias dos turnos e estatísticas das questões comparadas depois do exame.

Você não consegue impedir que os candidatos conversem. Consegue fazer com que o que eles dizem não sirva para nada no turno seguinte. Mais sobre exames online e o embaralhamento de provas.