Die Fragen sind nach der ersten Sitzung durchgesickert: wie Sie eine Prüfung über mehrere Sitzungen durchführen, ohne dass der Test nach außen dringt

Ein Unternehmen führt seine jährliche Kompetenzprüfung für 400 Mitarbeitende an zwei Tagen in vier Sitzungen durch, weil der Computerraum nur 100 Rechner hat. Alle schreiben denselben Test, gemischt. Am zweiten Nachmittag kommen die Leute schon mit dem Wissen um „die Frage zur Erstattungsrichtlinie“ und „die mit dem Kreisdiagramm“ herein. Der Durchschnitt der letzten Sitzung liegt 14 Punkte über dem der ersten. Niemand kann etwas beweisen, aber alle aus der ersten Sitzung fühlen sich betrogen, und die Ergebnisse sind schwer zu verteidigen.

Läuft eine Prüfung in mehreren Sitzungen, ist ein Durchsickern keine bloße Möglichkeit, sondern das, womit Sie rechnen sollten. Teilnehmer reden in der Mittagspause, machen Fotos und posten in Gruppenchats. Dieser Artikel erklärt, wie Fragen nach außen gelangen, warum Mischen über Sitzungen hinweg nicht hilft und was stattdessen hilft.

Wie Fragen nach außen gelangen

• Gedächtnis. Teilnehmer merken sich fünf oder zehn Fragen und geben sie weiter. Das können Sie nicht verhindern, nur entwerten.
• Fotos. Ein Smartphone unter dem Tisch oder ein Foto eines gedruckten Tests, aufgenommen auf dem Flur.
• Die Ergebnisseite. Sehen die Teilnehmer gleich nach der Abgabe den Test mit den richtigen Antworten, übergibt die Vormittagssitzung dem Nachmittag den Lösungsschlüssel.
• Vorab weitergereichte Dateien. Ein Test, der unter Kollegen per E-Mail herumgeschickt wird, ein Ausdruck, der am Kopierer liegen bleibt, ein gemeinsames Laufwerk, auf das zu viele Leute Zugriff haben.

1. Mischen schützt vor dem Nachbarn, nicht vor der nächsten Sitzung

Der Fehler. „Wir haben 20 Versionen erstellt, also ist es sicher.“ Gemischte Versionen enthalten dieselben Fragen in anderer Reihenfolge. Das verhindert, dass jemand vom Bildschirm nebenan abschreibt. Gegen jemanden, dem am Vormittag erzählt wurde: „Da kommt eine Frage zur Erstattungsrichtlinie, die Antwort ist 30 Tage“, hilft es nichts.

Was hilft. Geben Sie jeder Sitzung andere Fragen mit gleicher Schwierigkeit.

Bei Online-Prüfungen mit ExamQR stellen Sie einen Test aus Ihrem Fragenpool nach einer Teststruktur zusammen: so viele Fragen pro Thema und pro Schwierigkeitsstufe. Erstellen Sie aus derselben Struktur einen Test pro Sitzung. Wenn Sie mehrere Tests auf einmal erstellen, hält ExamQR deren Fragen auseinander, solange der Pool genug hergibt, und nimmt zuerst die am seltensten verwendeten Fragen. Geben Sie dann jedem Termin einen eigenen Test. Jede Sitzung bekommt dieselbe Mischung aus Themen und Stufen, aber nicht dieselben Fragen.

Dafür muss der Pool groß genug sein. Für vier Sitzungen ohne Überschneidung brauchen Sie in jeder Kombination aus Thema und Stufe viermal so viele Fragen. Ist eine Kombination zu klein, zeigt ExamQR an, wie viele Fragen sie braucht und wie viele vorhanden sind, und Sie wissen, wo Sie weitere schreiben müssen. Eine Anleitung zum Aufbau: Fragenpools.

Mischen Sie innerhalb jeder Sitzung trotzdem in Versionen, bis zu 1.000, damit auch Nachbarn nicht dieselbe Reihenfolge sehen. Wie Sie Fragen schreiben, die das Mischen überstehen, erklärt der Leitfaden zum fairen Mischen von Tests.

2. Geben Sie am Ende nicht die Antworten heraus

Das Problem. Eine Ergebnisseite, die jede Frage mit der richtigen Antwort zeigt, ist ein gutes Lernwerkzeug und ein hervorragendes Leck.

Was hilft. In ExamQR legen Sie pro Sitzung fest, was die Teilnehmer nach der Abgabe sehen: nichts, die Gesamtpunktzahl, die Punktzahl mit der Angabe, welche Fragen richtig oder falsch waren, oder den ganzen Test mit den Antworten. Zeigen Sie bei einer Prüfung über mehrere Sitzungen nur die Gesamtpunktzahl. Wenn die Teilnehmer ihre Antworten durchsehen sollen, ändern Sie die Einstellung, nachdem die letzte Sitzung beendet ist. Die neue Einstellung gilt, sobald die Teilnehmer ihre Ergebnisse das nächste Mal öffnen.

3. Niemand sieht die Fragen vor dem Start

Das Problem. Ein Test, der sich früher öffnen lässt, und sei es nur für eine Minute, kann kopiert werden.

Was hilft. Bei einer Online-Prüfung mit ExamQR erhalten die Teilnehmer die Fragen erst, wenn eine Aufsicht die Sitzung für ihren Raum startet. Vorher gibt es nichts zu öffnen. Sie können außerdem für jeden Raum ein Passwort festlegen, das die Aufsicht zu Beginn bekanntgibt, sodass niemand von zu Hause aus einer Prüfung beitreten kann, die für den Computerraum gedacht ist.

Bei Prüfungen im Computerraum mit ExamQR Exam gelangt die Prüfung als Prüfungspaket in den Raum, das Sie mit einem Passwort schützen können, und wird auf dem Serverrechner im Raum geöffnet. Die Teilnehmer warten auf einem Wartebildschirm, bis die Sitzung beginnt. Bilder und andere Medien werden auf den Teilnehmerrechnern verschlüsselt gespeichert, bis die Prüfung geöffnet wird, und die App entfernt sie beim Schließen.

4. Machen Sie Fotos und Screenshots weniger nützlich

• Im Web sind Rechtsklick und Kopieren auf der Prüfungsseite gesperrt.
• In der App ExamQR Exam wird das Prüfungsfenster aus Screenshots und Bildschirmaufzeichnungen herausgehalten, und Aufzeichnungsprogramme werden geschlossen. Mehr dazu in wie Teilnehmer bei Prüfungen am Computer täuschen.
• Eine Smartphone-Kamera ist Sache der Aufsicht: Smartphones in die Taschen, Aufsichten gehen durch den Raum.

Der beste Schutz gegen Fotos bleibt der aus Abschnitt 1. Ein Foto einer Frage, die die nächste Sitzung nicht bekommt, ist nichts wert.

5. Halten Sie den Kreis um den Test klein

• Teilen Sie den Test nur mit den Personen, die ihn erstellen und prüfen. In ExamQR sehen einen Test nur sein Eigentümer und die Personen, mit denen er geteilt wurde.
• Wenn Sie ein Prüfungspaket weitergeben, schützen Sie es mit einem Passwort und schicken Sie das Passwort getrennt, so spät wie möglich.
• Bei Papierprüfungen drucken Sie so spät wie möglich, zählen die Exemplare beim Austeilen und beim Einsammeln und sammeln jedes Blatt ein, auch Entwürfe. Ordnen Sie jeden Test über seinen Versionscode dem Lösungsschlüssel und der Anwesenheitsliste zu.

6. Prüfen Sie, ob doch etwas durchgesickert ist

Lecks hinterlassen Spuren in den Zahlen. Vergleichen Sie nach der Prüfung die Sitzungen:

• Ein Sitzungsdurchschnitt, der von der ersten bis zur letzten Sitzung stetig steigt.
• Eine Frage, die am Vormittag 40 % richtig beantwortet haben und am Nachmittag 85 %.

Die Statistik von ExamQR zeigt, wie schwer jede Frage war und wie gut sie stärkere von schwächeren Teilnehmern getrennt hat. Eine Frage, deren Ergebnisse zwischen den Sitzungen springen, sollte für diese Prüfung aus der Bewertung genommen und aus dem Pool entfernt werden. Mehr zum Lesen dieser Zahlen: Itemanalyse.

Checkliste

• Ein Fragenpool, der groß genug für einen neuen Satz Fragen pro Sitzung ist.
• Ein Test pro Sitzung, aus derselben Struktur erstellt, und gemischte Versionen innerhalb jeder Sitzung.
• Die Teilnehmer sehen nur ihre Punktzahl, bis die letzte Sitzung beendet ist.
• Fragen werden erst freigegeben, wenn die Aufsicht die Sitzung startet; ein Raumpasswort für Sitzungen im Computerraum.
• Prüfungspakete mit Passwort geschützt; das Passwort spät und getrennt weitergegeben.
• Smartphones in den Taschen, Aufsichten gehen herum.
• Sitzungsdurchschnitte und Fragenstatistik nach der Prüfung verglichen.

Sie können nicht verhindern, dass Teilnehmer reden. Sie können aber dafür sorgen, dass das Gesagte der nächsten Sitzung nichts nützt. Mehr über Online-Prüfungen und das Mischen von Tests.