Standardmessfehler: Wie weit Ihr Ergebnis abweichen könnte

Der Standardmessfehler überführt einen abstrakten Reliabilitätskoeffizienten in etwas Greifbares: ein Plus-minus-Band um einen Testwert. Er beantwortet die Frage, die die meisten Ergebnisanzeigen offenlassen – um wie viel hätte diese Zahl abweichen können, wenn ich den Test an einem anderen Nachmittag absolviert hätte?

Die Formel ist einfach. Man multipliziert die Standardabweichung der Skala mit der Wurzel aus eins minus ihrer Reliabilität. Bei einer Skala mit einer Standardabweichung von 10 und einer Reliabilität von 0,85 beträgt der Standardmessfehler etwa 3,9 Punkte.

Was dieses Band tatsächlich abdeckt

In etwa zwei Dritteln der Fälle liegt der wahre Wert einer Person innerhalb eines Standardmessfehlers ihres beobachteten Testwerts. Für eine Sicherheit von etwa 95 Prozent benötigt man ungefähr zwei Standardmessfehler auf jeder Seite.

Nehmen wir das obige Beispiel. Jemand erzielt 62 Punkte. Das 95-Prozent-Intervall reicht von etwa 54 bis 70. Das ist ein sechzehn Punkte breites Fenster auf einer Skala, bei der der typische Abstand zwischen Durchschnitt und deutlich überdurchschnittlich vielleicht zehn Punkte beträgt.

Dies ist kein Mangel dieses bestimmten Tests. Eine Reliabilität von 0,85 ist anerkannt gut. Es handelt sich um die normale Präzision psychologischer Messung, und es ist der Grund, warum sorgfältige Berichte Bänder statt Punkte ausweisen.

Die Folgen, die Menschen übersehen

Kleine Unterschiede zwischen Skalen sind in der Regel bedeutungslos. Wenn Ihre Extraversion 58 und Ihre Offenheit 54 beträgt, lautet die ehrliche Interpretation, dass sie nicht unterscheidbar sind. Profilinterpretationen, die aus Vier-Punkte-Abständen eine Erzählung konstruieren, lesen Rauschen.

Kleine Veränderungen über die Zeit sind ebenfalls in der Regel bedeutungslos. Einen Test zu wiederholen und sich um fünf Punkte zu verbessern liegt bei den meisten Instrumenten im Fehlerbereich. Echte Eigenschaftsveränderungen vollziehen sich über Jahre und zeigen sich als Bewegungen weit außerhalb des Fehlerbandes – nicht als wenige Punkte von Monat zu Monat.

Rangordnungen verstärken das Problem. Ein Unterschied von wenigen Rohpunkten kann jemanden in der dichten Mitte einer Verteilung um zehn Perzentilplätze verschieben, weil dort die meisten Menschen angesiedelt sind. Perzentilränge wirken präzise und sind die am wenigsten stabile Art, einen Testwert auszudrücken.

Präzision ist über die Skala nicht gleichmäßig verteilt. Die klassische Testtheorie geht von einem einzigen Fehlerwert für jeden Testwert aus, was eine Vereinfachung ist. Die Item-Response-Theorie modelliert den Fehler separat für jede Merkmalsausprägung, und er ist an den Extremen fast immer größer – genau dort, wo die folgenreichsten Interpretationen vorgenommen werden. Ein sehr hoher oder sehr niedriger Testwert ist typischerweise weniger präzise als ein mittlerer, nicht mehr.

Warum ehrliche Berichterstattung weniger beeindruckend wirkt

Ein Instrument, das Konfidenzintervalle ausweist, wirkt vager als eines, das eine einzige Zahl mit einer Nachkommastelle angibt. Das vagere Instrument sagt die Wahrheit. Das präzise wirkende hat denselben zugrundeliegenden Fehler und hat sich entschieden, ihn nicht zu zeigen.

Daran sollte man festhalten, wenn man einen wissenschaftlich dokumentierten Test mit einem kommerziellen Produkt vergleicht, das einem eine Kategorie zuweist. Die Kategoriengrenze liegt bei einem bestimmten Testwert, und jemand einen Punkt darunter und jemand einen Punkt darüber sind statistisch gesehen dieselbe Person. Das Typen-Label verschleiert das vollständig – was eines der gewichtigeren Argumente gegen typbasierte Instrumente ist und der Grund, warum kontinuierliche Testwerte mit angegebenem Fehler der Standard in der Forschung sind.