Itemanalyse: Schwierigkeit und Trennschärfe erklärt

Eine Frage kann auf dem Papier tadellos aussehen und in der Prüfung trotzdem versagen: Der Lösungsschlüssel ist falsch, zwei Optionen sind vertretbar, oder ein Hinweis im Text verrät die Antwort. Durch erneutes Lesen fallen solche Fehler selten auf. In den Antworten der Teilnehmenden schon. Dieser Artikel erklärt die Kennwerte, zeigt die Berechnung von Hand an einem kleinen Beispiel und nennt die üblichen Faustregeln für die Entscheidung.

Itemschwierigkeit: der p-Wert

Der Schwierigkeitsindex, meist p genannt, ist einfach der Anteil der Personen, die die Frage richtig beantwortet haben. Lösen 22 von 40 Personen die Frage, ist p = 22 ÷ 40 = 0,55. Der Name führt in die Irre: Ein höheres p bedeutet eine leichtere Frage.

Das sind die Stufen, die der Analysebericht von ExamQR verwendet. Welcher Bereich erwünscht ist, hängt vom Zweck des Tests ab:

• Tests, die Personen reihen oder auswählen, etwa Einstellungstests oder Auswahlprüfungen, brauchen Fragen, die Unterschiede zeigen. Mittelschwere Fragen leisten das am besten, denn eine Frage, die fast alle lösen oder fast niemand, unterscheidet niemanden. Bei Fragen mit vier Optionen, bei denen reines Raten 25 % Treffer bringt, lautet die klassische Empfehlung ein mittleres p von etwa 0,62, also die Mitte zwischen Zufall und 1.
• Kompetenz- und Zertifizierungsprüfungen prüfen, ob die Personen wissen, was sie wissen müssen. Ein p von 0,95 bei einer wesentlichen Sicherheitsfrage ist kein Mangel, sondern vielleicht genau gewollt. Streichen Sie eine solche Frage nicht, nur weil sie leicht ist.

Denken Sie daran: p beschreibt die Frage in dieser Gruppe. Dieselbe Frage ist für eine stärkere Gruppe leichter. Ein p-Wert aus zwanzig Antworten ist ein grober Hinweis, aus zweihundert ein belastbarer.

Trennschärfe: Unterscheidet die Frage starke von schwachen Teilnehmenden?

Eine gute Frage wird von Personen, die den Stoff beherrschen, häufiger gelöst als von den übrigen. Die Trennschärfe misst genau das. Es gibt zwei gängige Berechnungswege.

Der Trennschärfeindex D (obere und untere Gruppe)

Diese Methode lässt sich von Hand rechnen:

1. Ordnen Sie die Personen nach ihrem Gesamtwert.
2. Nehmen Sie die besten 27 % als obere und die schwächsten 27 % als untere Gruppe. (27 % ist die klassische Wahl: groß genug für stabile Werte, weit genug auseinander für sichtbare Unterschiede.)
3. Für jede Frage gilt D = (richtige Antworten der oberen Gruppe − richtige Antworten der unteren Gruppe) ÷ Größe einer Gruppe.

Bei 40 Personen umfasst jede Gruppe 11 Personen. Lösen 9 aus der oberen und 3 aus der unteren Gruppe eine Frage, ist D = (9 − 3) ÷ 11 = 0,55. D reicht von −1 bis +1.

Die punktbiseriale Korrelation

Software gibt meist die punktbiseriale Korrelation (r_pb) aus: die Korrelation zwischen dem Lösen dieser Frage (1 oder 0) und dem Gesamtwert, über alle Personen statt nur über die Extremgruppen. Sie ist genauer, und ExamQR zeigt sie als Trennschärfe an. Für dieselbe Frage fällt sie meist etwas niedriger aus als D, vergleichen Sie die beiden Skalen also nicht direkt.

Ein negativer Wert bedeutet, dass Personen mit niedrigem Gesamtwert die Frage häufiger gelöst haben als Personen mit hohem. Die häufigste Ursache ist banal: Der Lösungsschlüssel ist falsch. Weitere Ursachen sind zwei richtige Antworten, eine Fangformulierung, über die gerade die Starken stolpern, oder nicht unterrichteter Stoff. Prüfen Sie das zuerst, denn ein falscher Schlüssel verändert auch die Punktzahl aller Teilnehmenden.

Die Schwierigkeit begrenzt die Trennschärfe. Eine Frage, die 98 % lösen, kann kaum trennen, weil fast niemand übrig bleibt, den sie unterscheiden könnte. Lesen Sie die beiden Werte deshalb zusammen.

Distraktorenanalyse: Was die falschen Optionen verraten

Bei Multiple-Choice-Fragen haben die falschen Optionen, die Distraktoren, eine Aufgabe: Personen anzuziehen, die die Antwort nicht kennen. Zählt man, wie oft jede Option gewählt wurde, getrennt nach oberer und unterer Gruppe, sieht man, ob sie das tun.

Ein guter Distraktor:

• wird von einem nennenswerten Anteil gewählt. Eine Option, die kaum jemand ankreuzt, funktioniert nicht; die Frage hat praktisch eine Option weniger, und Raten wird leichter. ExamQR markiert einen Distraktor, den weniger als 5 % wählen, sobald mindestens 30 Personen teilgenommen haben;
• wird häufiger von der unteren als von der oberen Gruppe gewählt. Korrelativ ausgedrückt: Seine punktbiseriale Korrelation ist negativ. Ein Distraktor, der Starke anzieht (positive Korrelation), ist oft vertretbar richtig, oder die Frage ist mehrdeutig. ExamQR markiert Distraktoren, deren Korrelation mit dem Gesamtwert über 0,05 liegt.

Ein Rechenbeispiel

Vierzig Personen haben einen Test geschrieben; obere und untere Gruppe umfassen je 11 Personen. Hier zwei Fragen mit vier Optionen. Die richtige Lösung ist fett gedruckt.

p = 22 ÷ 40 = 0,55, mittel. D = (9 − 3) ÷ 11 = 0,55, hoch. Die Distraktoren A und C ziehen vor allem die untere Gruppe an, wie es sein soll. Nur Option D ist schwach: Nur 2 von 40 Personen (5 %) haben sie gewählt, genau an der üblichen Schwelle. Ergebnis: Frage behalten und beim nächsten Mal eine plausiblere Option D schreiben.

p = 17 ÷ 40 = 0,43, für sich genommen unauffällig. Aber D = (3 − 6) ÷ 11 = −0,27: Die untere Gruppe war besser als die obere. Sieben der elf stärksten Personen wählten C. Entweder ist C richtig und der Schlüssel falsch, oder die Frage hat zwei vertretbare Antworten. Ergebnis: Schlüssel und Formulierung vor der Bewertung prüfen, dann die Frage überarbeiten oder streichen.

Behalten, überarbeiten oder streichen

Der Bericht von ExamQR fasst Schwierigkeit und Trennschärfe zu einer Empfehlung pro Frage zusammen, nach diesen Regeln:

Sehen Sie das als Ausgangspunkt für eine menschliche Entscheidung, nicht als Urteil. Fragen Sie sich vor dem Streichen, ob die Frage etwas abdeckt, das der Test abdecken muss. Wer alle schweren Fragen eines Themas streicht, verbessert die Kennwerte und verschlechtert die Validität. Ist die Frage nötig, schreiben Sie sie neu, statt sie zu streichen.

Häufige Fehler

• Kleinen Stichproben vertrauen. Unter etwa 30 Personen verschiebt eine einzige Person p um mehrere Punkte und lässt die Trennschärfe stark schwanken. Nutzen Sie Werte aus kleinen Gruppen, um Verdachtsfälle zu finden, nicht um sie zu verurteilen.
• Leichte Fragen aus einer Kompetenzprüfung streichen. Niedrige Trennschärfe bei einer Frage, die alle können, ist zu erwarten und harmlos.
• Unbearbeitete Fragen am Ende übersehen. Kamen viele nicht bis zu den letzten Fragen, wirken diese wegen der Zeit schwer, nicht wegen ihres Inhalts.
• Trennschärfe bei einem Test lesen, der Verschiedenes misst. Die Trennschärfe vergleicht jede Frage mit dem Gesamtwert. Mischt der Test etwa Grammatik und Hörverstehen, kann eine gute Hörfrage gegenüber einem grammatiklastigen Gesamtwert schwach wirken. Analysieren Sie die Teile nach Möglichkeit getrennt.
• Die Ergebnisse vergessen. Finden Sie einen falschen Schlüssel, korrigieren Sie ihn und bewerten Sie die Prüfung neu, nicht nur den Fragenpool.

Über die klassische Itemanalyse hinaus

Alles oben gehört zur klassischen Testtheorie (KTT), in der jeder Kennwert von der Gruppe abhängt, die den Test geschrieben hat. Die Item-Response-Theorie (IRT) schätzt für jede Frage eine Schwierigkeit (b), eine Trennschärfe (a) und im Dreiparametermodell eine Ratewahrscheinlichkeit (c) auf einer gemeinsamen Skala, die weniger von der konkreten Gruppe abhängt. Sie braucht mehr Teilnehmende, meist einige Hundert für stabile Dreiparameterschätzungen, und lohnt sich vor allem bei großen Fragenpools und adaptiven Tests. Für die meisten Tests in Unterricht, Weiterbildung und Recruiting genügen die klassischen Kennwerte dieses Artikels, um die Fragen zu finden, die Aufmerksamkeit brauchen. Wie diese Kennwerte mit der Reliabilität des ganzen Tests zusammenhängen, erklärt der Artikel Reliabilität und Validität.

Itemanalyse für Ihren eigenen Test

Häufige Fragen

Was ist ein guter Schwierigkeitsindex?

Bei Tests, die Personen reihen, die meisten Fragen zwischen 0,30 und 0,80, im Mittel etwa 0,6 bei vier Optionen. Bei Kompetenzprüfungen sind leichte Fragen zu Kerninhalten in Ordnung.

Was ist eine gute Trennschärfe?

Eine punktbiseriale Korrelation ab 0,20 ist akzeptabel, ab 0,30 gut. Für den Index D aus Extremgruppen gilt oft: ab 0,40 sehr gut, 0,30 bis 0,39 gut, 0,20 bis 0,29 grenzwertig, unter 0,20 schwach.

Kann die Trennschärfe negativ sein?

Ja. Dann haben schwächere Personen die Frage häufiger gelöst als stärkere. Prüfen Sie zuerst den Lösungsschlüssel, dann auf zwei richtige Optionen oder eine irreführende Formulierung.

Wie viele Teilnehmende brauche ich?

Die Berechnung funktioniert ab zehn Personen, doch unter etwa 30 sind die Ergebnisse nur Hinweise und ab etwa 100 belastbar. Die IRT braucht mehr.

Quellen

• Ebel, R. L. and Frisbie, D. A. (1991). Essentials of Educational Measurement (5th ed.). Englewood Cliffs, NJ: Prentice Hall.
• Haladyna, T. M., Downing, S. M. and Rodriguez, M. C. (2002). A review of multiple-choice item-writing guidelines for classroom assessment. Applied Measurement in Education, 15(3), 309–333.
• Kelley, T. L. (1939). The selection of upper and lower groups for the validation of test items. Journal of Educational Psychology, 30(1), 17–24.
• Lord, F. M. (1952). The relation of the reliability of multiple-choice tests to the distribution of item difficulties. Psychometrika, 17(2), 181–194.