Was ist Validität in der psychologischen Diagnostik?

Validität bezeichnet die Frage, ob ein Test tatsächlich misst, was er zu messen vorgibt, und ob die Schlussfolgerungen, die Menschen aus seinen Ergebnissen ziehen, gerechtfertigt sind. Sie ist die zentrale Frage der Psychometrie – und jene, die am häufigsten mit einer Marketingaussage statt mit Belegen beantwortet wird.

Das moderne Verständnis, das seit Messicks Arbeiten in den 1980er-Jahren Bestand hat, lautet: Validität ist kein festes Merkmal eines Instruments. Sie ist eine Eigenschaft der Interpretation von Testwerten für einen bestimmten Verwendungszweck. Derselbe Fragebogen kann für die Beschreibung der Selbstwahrnehmung einer Person gut validiert und für Einstellungsentscheidungen völlig unvalidiert sein. Zu sagen „dieser Test ist valide

Arten von Evidenz

Validität wird aus akkumulierten Belegen verschiedener Art aufgebaut. Ältere Lehrbücher stellen diese als eigenständige Validitätsarten dar; die aktuelle Sichtweise behandelt sie als unterschiedliche Argumente, die einen einheitlichen Fall stützen.

Inhaltsvalidität fragt, ob die Items das Konstrukt angemessen abdecken. Eine Depressionsskala, die nur nach Schlaf und Appetit fragt, erfasst lediglich somatische Symptome und verfehlt die stimmungsbezogenen und kognitiven. Die Inhaltsabdeckung wird in der Regel von Fachexperten beurteilt – und sie ist der Grund, warum sehr kurze Skalen stets einen Kompromiss darstellen.

Interne Strukturvalidität fragt, ob die Items so gruppieren, wie die Theorie es vorhersagt. Behauptet ein Modell vier distinkte Facetten, sollte die Faktorenanalyse vier Faktoren ergeben – und zwar entscheidenderweise in einer unabhängigen Stichprobe, nicht nur in jener, auf der die Skala entwickelt wurde. Eine große Anzahl von Instrumenten reproduziert die intendierte Struktur in der Entwicklungsstichprobe, scheitert jedoch bei anderen.

Zusammenhänge mit anderen Variablen bilden den Kern der eigentlichen Validierungsarbeit. Konvergente Evidenz zeigt, dass die Skala mit Dingen korreliert, mit denen sie korrelieren sollte. Diskriminante Evidenz zeigt, dass sie nicht zu hoch mit Dingen korreliert, von denen sie sich unterscheiden sollte – eine chronisch vernachlässigte Anforderung, an der viele neu etikettierte Konstrukte scheitern. Kriteriumsvalidität zeigt, dass der Testwert mit einem relevanten Ergebnis zusammenhängt, das entweder gleichzeitig gemessen oder im Voraus vorhergesagt wurde.

Konsequentielle Evidenz fragt, was passiert, wenn der Test eingesetzt wird. Benachteiligt ein Instrument systematisch eine Gruppe aus Gründen, die nichts mit dem Konstrukt zu tun haben, ist das ein Validitätsproblem – nicht bloß ein ethisches.

Die Frage, die die meisten Behauptungen entlarvt

Der schärfste Test einer Validitätsbehauptung ist die inkrementelle Validität: Liefert dieses Instrument irgendeinen Mehrwert gegenüber dem, was ein günstigeres, älteres, etabliertes Maß bereits aussagt?

Eine bemerkenswert große Anzahl von gebrandeten Konstrukten scheitert hier. Sie korrelieren mit 0,7 oder höher mit einer bestehenden Big-Five-Dimension, sagen dieselben Kriterien in gleicher Stärke vorher und fügen nichts hinzu, sobald das ältere Maß statistisch kontrolliert wird. Das Konstrukt ist neu; die Messung ist es nicht. Deshalb drehen sich die Kritikabschnitte seriöser Instrumentdokumentation so häufig um Redundanz statt um Ungenauigkeit.

Worauf zu achten ist

Wenn jemand behauptet, ein Test sei validiert, sind die nützlichen Fragen konkret: Validiert anhand welchen Kriteriums? In welcher Population, welcher Größe? Wurde die Faktorstruktur in einer unabhängigen Stichprobe bestätigt? Gibt es veröffentlichte Belege von Forschenden ohne kommerzielles Interesse am Ergebnis? Fügt es gegenüber einer etablierten Alternative irgendetwas hinzu?

Ein Instrument, das auf diese Fragen ehrliche Antworten liefert, ist es wert, ernst genommen zu werden – einschließlich seiner Einschränkungen. Ein Instrument, dessen Validierung aus einer Testimonial-Seite und der Behauptung besteht, Millionen von Menschen hätten es absolviert, hat eine ganz andere Frage beantwortet – Popularität ist kein Beleg, und die Anzahl der Personen, die einen Test absolviert haben, sagt nichts darüber aus, ob seine Ergebnisse irgendetwas bedeuten.