Was ist Validität in der psychologischen Diagnostik?
Validität ist keine Eigenschaft, die ein Test besitzt. Sie ist ein Argument darüber, ob eine bestimmte Interpretation eines bestimmten Wertes für einen bestimmten Zweck vertretbar ist – und sie muss für jede neue Anwendung neu begründet werden.
Validität bezeichnet die Frage, ob ein Test tatsächlich misst, was er zu messen vorgibt, und ob die Schlussfolgerungen, die Menschen aus seinen Ergebnissen ziehen, gerechtfertigt sind. Sie ist die zentrale Frage der Psychometrie – und jene, die am häufigsten mit einer Marketingaussage statt mit Belegen beantwortet wird.
Das moderne Verständnis, das seit Messicks Arbeiten in den 1980er-Jahren Bestand hat, lautet: Validität ist kein festes Merkmal eines Instruments. Sie ist eine Eigenschaft der Interpretation von Testwerten für einen bestimmten Verwendungszweck. Derselbe Fragebogen kann für die Beschreibung der Selbstwahrnehmung einer Person gut validiert und für Einstellungsentscheidungen völlig unvalidiert sein. Zu sagen „dieser Test ist valide
Arten von Evidenz
Validität wird aus akkumulierten Belegen verschiedener Art aufgebaut. Ältere Lehrbücher stellen diese als eigenständige Validitätsarten dar; die aktuelle Sichtweise behandelt sie als unterschiedliche Argumente, die einen einheitlichen Fall stützen.
Inhaltsvalidität fragt, ob die Items das Konstrukt angemessen abdecken. Eine Depressionsskala, die nur nach Schlaf und Appetit fragt, erfasst lediglich somatische Symptome und verfehlt die stimmungsbezogenen und kognitiven. Die Inhaltsabdeckung wird in der Regel von Fachexperten beurteilt – und sie ist der Grund, warum sehr kurze Skalen stets einen Kompromiss darstellen.
Interne Strukturvalidität fragt, ob die Items so gruppieren, wie die Theorie es vorhersagt. Behauptet ein Modell vier distinkte Facetten, sollte die Faktorenanalyse vier Faktoren ergeben – und zwar entscheidenderweise in einer unabhängigen Stichprobe, nicht nur in jener, auf der die Skala entwickelt wurde. Eine große Anzahl von Instrumenten reproduziert die intendierte Struktur in der Entwicklungsstichprobe, scheitert jedoch bei anderen.
Zusammenhänge mit anderen Variablen bilden den Kern der eigentlichen Validierungsarbeit. Konvergente Evidenz zeigt, dass die Skala mit Dingen korreliert, mit denen sie korrelieren sollte. Diskriminante Evidenz zeigt, dass sie nicht zu hoch mit Dingen korreliert, von denen sie sich unterscheiden sollte – eine chronisch vernachlässigte Anforderung, an der viele neu etikettierte Konstrukte scheitern. Kriteriumsvalidität zeigt, dass der Testwert mit einem relevanten Ergebnis zusammenhängt, das entweder gleichzeitig gemessen oder im Voraus vorhergesagt wurde.
Konsequentielle Evidenz fragt, was passiert, wenn der Test eingesetzt wird. Benachteiligt ein Instrument systematisch eine Gruppe aus Gründen, die nichts mit dem Konstrukt zu tun haben, ist das ein Validitätsproblem – nicht bloß ein ethisches.
Die Frage, die die meisten Behauptungen entlarvt
Der schärfste Test einer Validitätsbehauptung ist die inkrementelle Validität: Liefert dieses Instrument irgendeinen Mehrwert gegenüber dem, was ein günstigeres, älteres, etabliertes Maß bereits aussagt?
Eine bemerkenswert große Anzahl von gebrandeten Konstrukten scheitert hier. Sie korrelieren mit 0,7 oder höher mit einer bestehenden Big-Five-Dimension, sagen dieselben Kriterien in gleicher Stärke vorher und fügen nichts hinzu, sobald das ältere Maß statistisch kontrolliert wird. Das Konstrukt ist neu; die Messung ist es nicht. Deshalb drehen sich die Kritikabschnitte seriöser Instrumentdokumentation so häufig um Redundanz statt um Ungenauigkeit.
Worauf zu achten ist
Wenn jemand behauptet, ein Test sei validiert, sind die nützlichen Fragen konkret: Validiert anhand welchen Kriteriums? In welcher Population, welcher Größe? Wurde die Faktorstruktur in einer unabhängigen Stichprobe bestätigt? Gibt es veröffentlichte Belege von Forschenden ohne kommerzielles Interesse am Ergebnis? Fügt es gegenüber einer etablierten Alternative irgendetwas hinzu?
Ein Instrument, das auf diese Fragen ehrliche Antworten liefert, ist es wert, ernst genommen zu werden – einschließlich seiner Einschränkungen. Ein Instrument, dessen Validierung aus einer Testimonial-Seite und der Behauptung besteht, Millionen von Menschen hätten es absolviert, hat eine ganz andere Frage beantwortet – Popularität ist kein Beleg, und die Anzahl der Personen, die einen Test absolviert haben, sagt nichts darüber aus, ob seine Ergebnisse irgendetwas bedeuten.
Auf die Probe stellen
Über Messung zu lesen ist das eine. Den eigenen Wert mit Quelle, Normstichprobe und Grenzen zu sehen ist das andere. Kostenlos, ohne Anmeldung.
Weiterlesen
- Was ist Psychometrie?Die Disziplin, die prüft, ob ein psychologisches Messverfahren tauglich ist – und der Grund dafür, dass sich zwei Tests mit ähnlichen Fragen erheblich im Wert ihrer Ergebnisse unterscheiden können.
- Was ist Reliabilität bei psychologischen Tests?Reliabilität bezeichnet die Konsistenz einer Messung, nicht deren Korrektheit. Ein Test kann hochreliabel sein und dennoch das Falsche messen – weshalb sie die erste Frage ist, die gestellt wird, aber niemals die letzte.
- Was ist Konstruktvalidität?Die schwierigste Frage in der Messung: ob das, was man misst, so existiert, wie man es definiert hat, und ob das Instrument es erfasst – und nicht etwas Benachbartes.
- Konvergente und diskriminante ValiditätZwei spiegelbildliche Anforderungen: Ein Messinstrument muss mit dem übereinstimmen, womit es übereinstimmen soll, und muss sich von dem unterscheiden, was es vorgibt, nicht zu sein. Die meisten schwachen Instrumente scheitern an der zweiten Anforderung.
- Was Cronbachs Alpha ist – und was es nicht istDie am häufigsten berichtete Statistik in der psychologischen Testung und die am häufigsten missverstandene. Alpha sagt nichts darüber aus, ob eine Skala eindimensional ist, und ein hoher Wert ist oft ein Symptom, keine Tugend.
- Standardmessfehler: Wie weit Ihr Ergebnis abweichen könnteJedes Ergebnis enthält eine Fehlertoleranz, und bei den meisten psychologischen Tests ist sie größer als allgemein angenommen. Diese Kennzahl verrät Ihnen, wann ein Unterschied real ist und wann es sich um Rauschen handelt.
- Normen und Perzentile: Womit Ihr Ergebnis verglichen wirdEin Rohwert ist für sich allein nicht interpretierbar. Er wird erst bedeutsam im Vergleich mit einer Referenzgruppe – und welche Gruppe verwendet wurde, ist eine der folgenreichsten und am wenigsten kommunizierten Eigenschaften eines jeden Tests.
- Wie ein psychometrischer Test tatsächlich entwickelt wirdVom Konstrukt zur veröffentlichten Normierung dauert der Prozess Jahre und verwirft den Großteil dessen, was in ihn eingeflossen ist. Wer die einzelnen Schritte kennt, erkennt sofort, welche ein schneller Online-Test übersprungen hat.
- Was bedeutet es, wenn ein Test als validiert bezeichnet wird?Das Wort ist unreguliert und wird von Produkten frei verwendet, die keinerlei Arbeit dafür geleistet haben. Hier ist, was es bedeutet, wenn es etwas bedeutet, und die vier Fragen, die beide Fälle voneinander trennen.
- Warum die meisten Persönlichkeitstests im Internet nicht zuverlässig sindNicht weil sie unehrlich sind, sondern weil die Schritte, die eine Messung vertrauenswürdig machen, unsichtbar, kostspielig und leicht zu überspringen sind – und das Überspringen nichts daran ändert, wie das Ergebnis aussieht.
- Was Selbstauskunft messen kann und was nichtFragebögen bitten Sie, sich selbst zu beobachten, was bei manchen Dingen besser funktioniert als bei anderen. Zu wissen, wo diese Methode ihre Stärken hat und wo sie versagt, verändert die Interpretation jedes Ergebnisses.
- Was es bedeutet, wenn ein Test etwas vorhersagtEine Korrelation von 0,30 ist ein starker Befund in der Persönlichkeitsforschung und eine schwache Grundlage für eine Entscheidung über eine einzelne Person. Beide Aussagen sind wahr, und die Lücke zwischen ihnen verursacht den größten Teil des Missbrauchs von Testergebnissen.
- Screening ist keine DiagnoseEin Screening-Fragebogen ist darauf ausgelegt, möglichst viele potenzielle Fälle zu erfassen, und nimmt dabei eine hohe Falsch-positiv-Rate in Kauf. Ein Screening-Ergebnis als Diagnose zu lesen, kehrt den eigentlichen Zweck des Instruments um.