Reliabilität und Validität: der Unterschied, mit Beispielen

Jedes Testergebnis mündet in eine Entscheidung: bestanden oder nicht, einstellen oder nicht, welcher Kurs passt. Reliabilität und Validität sind die beiden Fragen, die zeigen, ob man dieser Entscheidung trauen kann. Beide klingen nach „guter Test“ und werden deshalb leicht verwechselt. Dieser Artikel behandelt sie nacheinander, mit Zahlen, die Sie an Ihren eigenen Prüfungen nachrechnen können.

Der Unterschied an einem Beispiel

Stellen Sie sich eine Personenwaage vor, die immer zwei Kilo mehr anzeigt als Ihr tatsächliches Gewicht. Fünfmal draufgestellt, fünfmal dieselbe Zahl: Die Waage ist reliabel. Aber die Zahl ist falsch, also ist es nicht valide, damit bei einer ärztlichen Kontrolle zu entscheiden, ob Sie abgenommen haben. Nun eine Waage, die im Mittel stimmt, aber bei jedem Wiegen um drei Kilo springt. Sie ist nicht reliabel, und gerade deshalb kann keine einzelne Anzeige valide sein.

Bei Tests ist es genauso. Ein Vokabeltest, der als Prüfung des „Leseverstehens“ eingesetzt wird, kann sehr stabile Werte liefern und trotzdem das Falsche messen. Eine gut ausgerichtete Prüfung mit nur acht Fragen kann das Richtige messen, aber so verrauscht, dass zwei gleich gute Teilnehmende auf verschiedenen Seiten der Bestehensgrenze landen.

Reliabilität: Wie verlässlich sind die Ergebnisse?

Kein Test misst perfekt. Das Ergebnis einer Person ist ihr wahres Niveau plus ein Fehleranteil: die Fragen, die zufällig drankamen, ein Glückstreffer beim Raten, ein müder Nachmittag, eine strenge oder milde Korrektur. Reliabilität beschreibt, welcher Anteil der Streuung der Ergebnisse auf echte Unterschiede zwischen den Teilnehmenden zurückgeht und nicht auf diesen Fehler. Eine Reliabilität von 0,80 bedeutet grob, dass 80 % der Unterschiede echt sind und 20 % Rauschen.

Wie man sie schätzt

• Interne Konsistenz: Stimmen die Fragen eines Tests miteinander überein? Dafür genügt eine Durchführung, deshalb ist dies der häufigste Kennwert. Cronbachs Alpha ist die allgemeine Formel; KR-20 ist dieselbe Idee für Fragen, die als richtig oder falsch bewertet werden, und liefert dort denselben Wert wie Alpha.
• Retest: Dieselben Personen schreiben denselben Test zweimal mit zeitlichem Abstand, und beide Ergebnisreihen werden korreliert.
• Paralleltest: Die Personen schreiben zwei Versionen nach demselben Testplan. Das ist wichtig, sobald verschiedene Personen verschiedene Testvarianten erhalten.
• Beurteilerübereinstimmung: Bei Aufsätzen und praktischen Aufgaben bewerten zwei Prüfende dieselben Antworten unabhängig, und ihre Übereinstimmung wird gemessen.

Der Standardmessfehler

Ein Reliabilitätskoeffizient ist abstrakt. Der Standardmessfehler (SEM) übersetzt ihn in Punkte auf Ihrer eigenen Skala:

SEM = SD × √(1 − Reliabilität)

Angenommen, die Ergebnisse Ihrer Prüfung haben eine Standardabweichung von 10 Punkten und eine Reliabilität von 0,84. Dann ist SEM = 10 × √0,16 = 4 Punkte. Bei einer Person mit 62 Punkten liegt der wahre Wert in etwa zwei von drei Fällen zwischen 58 und 66, in etwa 19 von 20 Fällen zwischen 54 und 70. Liegt die Bestehensgrenze bei 60, ist diese Person nicht eindeutig darüber. Das ist der praktische Grund, warum Reliabilität zählt: Sie zeigt, wie viele Personen nahe der Grenze durch Zufall auf der anderen Seite hätten landen können.

Wie viel Reliabilität genügt?

Es gibt keine feste Schwelle, denn es hängt davon ab, wie viel von der Entscheidung abhängt. Diese Faustregeln sind weit verbreitet, und es sind die Stufen, die die Analyseberichte von ExamQR auf Cronbachs Alpha anwenden:

Ein sehr hohes Alpha, über etwa 0,95 bei einem kurzen Test, ist nicht immer eine gute Nachricht: Die Fragen könnten fast Kopien voneinander sein und nur einen schmalen Ausschnitt des Stoffs abdecken.

So wird ein Test reliabler

• Gute Fragen ergänzen. Die Reliabilität steigt mit der Testlänge. Nach der Spearman-Brown-Formel steigt sie bei einem Test mit 0,70 durch Verdopplung mit ähnlichen Fragen auf etwa 0,82 (2 × 0,70 ÷ 1,70).
• Fragen ohne Trennschärfe streichen oder überarbeiten. Eine Frage, die starke und schwache Teilnehmende gleich oft lösen, fügt Rauschen hinzu, keine Information. Ihre Trennschärfe, meist die punktbiseriale Korrelation zwischen Frage und Gesamtwert, sollte positiv sein; über etwa 0,20 gilt sie meist als akzeptabel, über 0,30 als gut. Ein negativer Wert deutet oft auf einen falschen Lösungsschlüssel oder eine irreführende Frage hin. Mehr dazu in Itemanalyse: Schwierigkeit und Trennschärfe.
• Distraktoren prüfen. Eine falsche Option, die niemand wählt, erfüllt ihren Zweck nicht; eine, die viele starke Teilnehmende anzieht, ist womöglich vertretbar richtig.
• Einheitlich bewerten. Bei Freitextantworten ein Bewertungsraster nutzen und eine Stichprobe von einer zweiten Person prüfen lassen.
• Bedingungen vereinheitlichen. Gleiche Zeit, gleiche Anweisungen, keine Hilfen nur für einen Teil der Teilnehmenden.

Validität: Bedeuten die Ergebnisse, was Sie behaupten?

Die heutige fachliche Sicht, dargelegt in den Standards for Educational and Psychological Testing (den maßgeblichen Standards für pädagogische und psychologische Tests), ist: Validität ist keine Eigenschaft eines Tests. Sie gehört zu einer bestimmten Interpretation und Verwendung seiner Ergebnisse. Derselbe Englischtest kann valide sein, um Lernende in Kurse einzustufen, und nicht valide, um zu entscheiden, ob eine Pflegekraft sicher in einem englischsprachigen Krankenhaus arbeiten kann. Die richtige Frage lautet daher nie „Ist dieser Test valide?“, sondern „Ist es valide, diese Ergebnisse für diese Entscheidung über diese Personen zu verwenden?“

Diese Frage wird mit mehreren Arten von Belegen beantwortet:

• Inhalt: Decken die Fragen die Kenntnisse und Fähigkeiten ab, von denen die Entscheidung abhängt, in sinnvollen Anteilen? Das Hauptwerkzeug ist ein schriftlicher Testplan (Themen × Schwierigkeits- oder Kompetenzstufe, mit der Zahl der Fragen je Zelle), der wichtigste Beleg die Prüfung der Fragen durch Fachleute anhand dieses Plans.
• Antwortprozesse: Lösen die Teilnehmenden die Aufgaben mit der Fähigkeit, die gemessen werden soll? Eine Matheaufgabe, an der die meisten wegen ihres langen, verschachtelten Textes scheitern, misst Lesen, nicht Mathematik.
• Interne Struktur: Verhalten sich die Fragen so, wie die behauptete Struktur es vorsieht? Meldet ein Test getrennte Werte für Hören und Lesen, sollten die Hörfragen untereinander enger zusammenhängen als mit den Lesefragen.
• Zusammenhänge mit anderen Maßen: Stimmen die Ergebnisse mit anderen Belegen derselben Fähigkeit überein und sagen sie vorher, was sie vorhersagen sollen? Ein Einstellungstest sollte mit der späteren Arbeitsleistung zusammenhängen, ein Einstufungstest mit dem Erfolg im zugewiesenen Kurs.
• Konsequenzen: Führt der Einsatz des Tests zu den gewünschten Ergebnissen, ohne bestimmte Gruppen unfair zu benachteiligen?

Häufige Gefahren für die Validität

• Das Falsche prüfen: nur Wissensfragen in einer Prüfung, die bescheinigen soll, dass jemand ein Verfahren anwenden kann.
• Sachfremde Schwierigkeit: viel Lesestoff, ungewohnte Formate oder so knappe Zeit, dass Tempo über das Ergebnis entscheidet, obwohl Tempo nicht geprüft werden soll.
• Hinweise auf die Lösung: Die richtige Option ist immer die längste, oder die Grammatik verrät sie. Wer das Muster erkennt, punktet, ohne mehr zu wissen.
• Täuschung und durchgesickerte Fragen: Kursieren die Lösungen, misst das Ergebnis den Zugang zu ihnen. Eine eigene Testvariante pro Person, Fragenpools, die groß genug zum Variieren sind, und Aufsicht schützen die Validität direkt.
• Unzuverlässige Ergebnisse: Jede der oben genannten Rauschquellen gefährdet auch die Validität.

Wie beides zusammenhängt

Reliabilität ist notwendig für Validität, aber nicht hinreichend. Der Zusammenhang lässt sich genau fassen: Die Korrelation zwischen Testergebnissen und irgendetwas anderem, etwa der späteren Arbeitsleistung, kann nicht höher sein als die Wurzel aus der Reliabilität des Tests. Bei einer Reliabilität von 0,64 korrelieren die Ergebnisse nie höher als 0,80 mit dem, was sie vorhersagen sollen, so gut die Fragen auch gewählt sind. Mehr Reliabilität hebt die Obergrenze; nur gutes Design und Belege bringen Sie in ihre Nähe.

Gehen Sie in der Praxis in dieser Reihenfolge vor: festlegen, wofür die Ergebnisse dienen, einen dazu passenden Testplan schreiben, Fragen danach erstellen und prüfen, den Test unter einheitlichen Bedingungen durchführen, dann die Kennwerte ansehen und beheben, was sie zeigen.

Prüfen Sie Ihren eigenen Test

Sehen Sie nach jeder Prüfung, bevor Sie Ergebnisse veröffentlichen oder Fragen wiederverwenden, auf vier Zahlen:

1. Cronbachs Alpha oder KR-20, verglichen mit der Tabelle oben je nach Tragweite der Entscheidung.
2. Den SEM, und wie viele Personen weniger als einen SEM von der Bestehensgrenze entfernt liegen.
3. Die Trennschärfe jeder Frage: Fragen unter etwa 0,20 überarbeiten oder streichen, bei negativen Werten zuerst den Lösungsschlüssel prüfen.
4. Die Wahl der Distraktoren: Optionen, die niemand wählt, und falsche Optionen, die viele starke Teilnehmende wählen.

Häufige Fragen

Kann ein Test valide, aber nicht reliabel sein?

Eigentlich nicht. Sind die Ergebnisse überwiegend Rauschen, können sie keine Entscheidung gut stützen; geringe Reliabilität begrenzt die Validität also immer. Ein Test kann dagegen reliabel, aber nicht valide sein: verlässliche Ergebnisse, die das Falsche messen.

Misst Cronbachs Alpha die Validität?

Nein. Alpha sagt nur, wie einheitlich die Fragen gemeinsam etwas messen. Es sagt nicht, was dieses Etwas ist oder ob es das ist, was Sie messen wollten.

Was ist der Unterschied zwischen KR-20 und Cronbachs Alpha?

KR-20 ist der Sonderfall von Alpha für Fragen, die als richtig oder falsch bewertet werden. Bei solchen Tests liefern beide denselben Wert; Alpha funktioniert auch bei Teilpunkten.

Wie viele Teilnehmende braucht man, um die Reliabilität zu berechnen?

Die Formel funktioniert auch mit kleinen Gruppen, doch die Schätzung ist unter einigen Dutzend Personen instabil. Werten Sie das Ergebnis einer kleinen Gruppe als groben Hinweis und sehen Sie erneut hin, wenn mehr Personen dieselben Fragen bearbeitet haben.

Quellen

• American Educational Research Association, American Psychological Association and National Council on Measurement in Education (2014). Standards for Educational and Psychological Testing. Washington, DC: AERA.
• Cronbach, L. J. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, 16(3), 297–334.
• Kuder, G. F. and Richardson, M. W. (1937). The theory of the estimation of test reliability. Psychometrika, 2(3), 151–160.
• Messick, S. (1989). Validity. In R. L. Linn (Ed.), Educational Measurement (3rd ed.). New York: American Council on Education and Macmillan.