Fragenpool: so bauen Sie einen, der gute Tests liefert

Die meisten Fragenpools beginnen als Ordner mit alten Prüfungen. Das funktioniert, bis man eine zweite Version, eine Wiederholungsprüfung oder einen fairen Test für eine Gruppe braucht, die die Prüfung vom Vorjahr schon kennt. Dann zeigt sich: Fragen lassen sich nicht nach Thema finden, man weiß nicht, welche schon benutzt wurden, und kann nicht sagen, ob zwei Versionen gleich schwer sind. Dieser Artikel erklärt, was aus einem Haufen Fragen einen Pool macht, der gute Tests liefert, und wie Sie ihn aus dem aufbauen, was Sie schon haben.

Ein Fragenpool ist kein Ordner alter Prüfungen

Was zu jeder Frage gehört

Eine Frage ist nur so nützlich wie die Angaben, die sie begleiten. Erfassen Sie mindestens:

• Thema: das Kapitel, die Einheit oder das Lernziel, das sie prüft. Verwenden Sie dieselbe Themenliste wie der Lehrplan, als Baum geordnet (Fach → Kapitel → Thema), damit Sie aus einem ganzen Kapitel oder einem einzelnen Thema ziehen können.
• Stufe: eine beabsichtigte Schwierigkeit oder kognitive Stufe, etwa Wissen, Verstehen und Anwenden oder leicht, mittel und schwer. Halten Sie die Zahl der Stufen klein; drei bis fünf reichen meist für ausgewogene Tests.
• Fragetyp: Einfachauswahl, Mehrfachauswahl, richtig/falsch, Lückentext, Freitext oder eine Gruppe von Fragen zu einem gemeinsamen Text oder Hörbeispiel.
• Lösung und am besten eine kurze Begründung: warum die Antwort richtig ist und warum der stärkste Distraktor falsch ist. Sie beschleunigt Überprüfungen und hilft der Person, die die Frage in zwei Jahren bearbeitet.
• Status: Entwurf, in Verwendung oder ausgemustert. Entwürfe sind geschrieben, aber nicht geprüft; ausgemusterte Fragen bleiben zur Dokumentation im Pool, werden aber nie gezogen.
• Einsatz: wie oft die Frage in einem Test vorkam. Häufig benutzte Fragen wurden eher auswendig gelernt oder weitergegeben.

Ergänzen Sie nach jeder Prüfung, was Sie gelernt haben: Schwierigkeit und Trennschärfe aus der Itemanalyse sowie Beschwerden oder Korrekturen. Mit der Zeit wird aus dem Etikett „mittel“ ein gemessener Wert statt einer Schätzung.

Der Testplan: wie aus dem Pool ein Test wird

Ein Testplan (Blueprint) legt fest, wie viele Fragen je Thema und Stufe ein Test enthält. Für einen Test mit 20 Fragen könnte er so aussehen:

Jede Zelle ist eine kleine Ziehung: „3 mittelschwere Fragen zur Prozentrechnung“. Alle Varianten nach demselben Plan decken denselben Inhalt auf denselben Stufen ab; genau das macht die Varianten vergleichbar und den Test für seinen Zweck valide. Schreiben Sie zuerst den Plan, ausgehend vom Lehrplan und von der Entscheidung, die der Test stützen soll, und prüfen Sie dann, ob der Pool in jeder Zelle genug Fragen hat.

Wie viele Fragen braucht ein Pool?

Denken Sie in Zellen, nicht im ganzen Pool. Sollen Varianten keine Frage gemeinsam haben, braucht jede Zelle mindestens die Fragenzahl der Zelle mal die Zahl der Varianten. Im Plan oben brauchen drei Varianten ohne gemeinsame Frage zu „Prozentrechnung, mittel“ 3 × 3 = 9 solche Fragen im Pool.

In der Praxis:

• Für einen einzelnen Klassentest reicht ein Pool von zwei- bis dreifacher Testlänge für eine neue Variante für Abwesende und eine Wiederholung.
• Für Tests, die viele Gruppen über längere Zeit schreiben, etwa Abschlussprüfungen, Einstellungs- oder Zertifizierungstests, sollten Sie fünffache Testlänge oder mehr anpeilen und den Einsatz beobachten, denn Fragen sickern über Personen durch, die den Test schon geschrieben haben.
• Dünne Zellen sind der übliche Engpass. Ein Pool mit 400 Fragen kann trotzdem keine zwei Varianten liefern, wenn er zu einem Thema nur drei schwere Fragen hat. Zählen Sie je Zelle vor der Prüfung, nicht danach.

Fragen schreiben, die lange halten

Eine Frage, die jahrelang wiederverwendet wird, verdient mehr Sorgfalt als eine für einen einzigen Test. Die meistzitierten Richtlinien für Multiple-Choice-Fragen lassen sich auf wenige Regeln bringen:

• Formulieren Sie im Fragestamm ein klares Problem, sodass jemand, der den Stoff beherrscht, schon vor dem Lesen der Optionen antworten könnte.
• Schreiben Sie eine eindeutig richtige Antwort und Distraktoren, die für Nichtkönner plausibel sind, idealerweise aus echten Fehlern abgeleitet.
• Halten Sie die Optionen in Länge und Grammatik ähnlich; vermeiden Sie „alle genannten“ und Verneinungen wie „welche ist NICHT“, außer die Verneinung ist der Punkt.
• Machen Sie jede Frage unabhängig: Keine Frage darf die Lösung einer anderen verraten, was wichtig ist, wenn Fragen in wechselnden Kombinationen gezogen werden.
• Vermeiden Sie Fakten, die veralten, etwa aktuelle Preise oder „dieses Jahr“, oder vermerken Sie ein Prüfdatum bei der Frage.
• Vermeiden Sie Verweise auf Positionen wie „die Option oben“, denn Fragen und Optionen können gemischt werden.

Den Pool gesund halten

• Nach jeder Prüfung überprüfen. Führen Sie eine Itemanalyse durch und handeln Sie: falsche Schlüssel sofort korrigieren, Fragen mit geringer Trennschärfe neu schreiben, Distraktoren ersetzen, die niemand wählt. Die Kennwerte erklärt Itemanalyse: Schwierigkeit und Trennschärfe.
• Ausmustern statt löschen. Durchgesickerte, veraltete oder schwache Fragen werden als ausgemustert markiert, damit sie nie wieder gezogen werden, während die Dokumentation früherer Tests erhalten bleibt.
• Den Einsatz beobachten. Ziehen Sie bevorzugt selten benutzte Fragen und frischen Sie die am stärksten beanspruchten Zellen auf.
• Entwürfe aus Prüfungen heraushalten. Neue Fragen, auch KI-Entwürfe, sollten von Fachleuten geprüft werden, bevor sie verwendet werden können.
• Den Zugang beschränken. Ein Pool ist nur so sicher wie die Personen, die ihn lesen können. Lösungen gehören nicht in geteilte Ordner oder Ausdrucke.

Einen Pool aus Vorhandenem aufbauen

1. Schreiben Sie die Themenliste und die Stufen, passend zum Testplan der Tests, die Sie am häufigsten durchführen.
2. Importieren Sie Ihre vorhandenen Tests und ordnen Sie jeder Frage Thema und Stufe zu. Rechnen Sie damit, manche Fragen zu korrigieren oder zu verwerfen; alte Prüfungen enthalten oft Dubletten und veraltete Inhalte.
3. Zählen Sie die Fragen je Zelle und schließen Sie Lücken: neue Fragen schreiben oder Entwürfe mit KI erstellen und jeden vor dem Einsatz prüfen.
4. Bauen Sie den nächsten Test nach dem Plan, führen Sie ihn durch, analysieren Sie ihn und tragen Sie die Ergebnisse in den Pool zurück.

Häufige Fragen

Was ist der Unterschied zwischen Fragenpool und „Test Bank“?

Die Begriffe überschneiden sich. Im Englischen meint „test bank“ oft die fertigen Fragen, die ein Verlag zu einem Lehrbuch liefert; „Fragenpool“ oder „Itembank“ bezeichnet meist eine Sammlung, die Sie selbst aufbauen und pflegen und aus der Tests gezogen werden.

Wie viele Fragen sollte ein Fragenpool haben?

Genug für jede Zelle des Plans: mindestens die Fragenzahl der Zelle mal die Zahl der Varianten ohne Überschneidung. Als Faustregel zwei- bis dreifache Testlänge für eine Klasse, fünffach oder mehr für wiederholt eingesetzte Tests.

Sollten Teilnehmende den Fragenpool sehen?

Nicht bei einer bewerteten Prüfung. Können sie die echten Fragen lernen, misst das Ergebnis das Gedächtnis für den Pool, nicht das Fach. Zum Üben veröffentlichen Sie lieber einen eigenen Übungssatz.

Kann KI die Fragen schreiben?

KI entwirft schnell Fragen, besonders für dünne Zellen, macht aber inhaltliche Fehler und schreibt schwache Distraktoren. Behandeln Sie KI-Fragen als Entwürfe und lassen Sie jede von Fachleuten prüfen, bevor sie in einen Test gezogen werden kann.

Quellen

• American Educational Research Association, American Psychological Association and National Council on Measurement in Education (2014). Standards for Educational and Psychological Testing, chapter 4: Test design and development. Washington, DC: AERA.
• Haladyna, T. M., Downing, S. M. and Rodriguez, M. C. (2002). A review of multiple-choice item-writing guidelines for classroom assessment. Applied Measurement in Education, 15(3), 309–333.
• Vale, C. D. (2006). Computerized item banking. In S. M. Downing and T. M. Haladyna (Eds.), Handbook of Test Development. Mahwah, NJ: Lawrence Erlbaum.