Konvergente und diskriminante Validität
Zwei spiegelbildliche Anforderungen: Ein Messinstrument muss mit dem übereinstimmen, womit es übereinstimmen soll, und muss sich von dem unterscheiden, was es vorgibt, nicht zu sein. Die meisten schwachen Instrumente scheitern an der zweiten Anforderung.
Konvergente und diskriminante Validität sind die zwei Hälften einer einzigen Anforderung. Ein Messinstrument muss mit Dingen korrelieren, mit denen es theoretisch korrelieren sollte, und darf nicht zu stark mit Dingen korrelieren, von denen es sich unterscheiden soll. Die eine Anforderung ohne die andere zu erfüllen, ist kein Teilerfolg; es ist meist ein Zeichen dafür, dass das Konstrukt nicht das ist, was es vorgibt zu sein.
Konvergente Validität
Konvergente Belege zeigen, dass ein Messinstrument mit anderen Indikatoren desselben Merkmals übereinstimmt. Eine neue Angstskala sollte substanziell mit etablierten Angstskalen, mit klinischen Beurteilungen und – idealerweise – mit etwas korrelieren, das kein weiterer Fragebogen ist, etwa physiologische Messungen oder beobachtetes Vermeidungsverhalten.
Korrelationen werden hier in der Regel oberhalb von 0,50 erwartet, häufig über 0,70, wenn das Vergleichsinstrument ein gut etabliertes Instrument für dasselbe Konstrukt ist. Darunter misst entweder die neue Skala oder das Vergleichsinstrument etwas anderes.
Es lauert eine Falle. Eine Korrelation von 0,95 mit einer bestehenden Skala ist kein Triumph – sie bedeutet, dass das neue Instrument lediglich eine Neuverpackung darstellt, und die eigentliche Frage lautet, was es hinzufügt. Konvergente Validität ist eine Untergrenze, kein zu maximierendes Ziel.
Diskriminante Validität
Diskriminante Belege zeigen, dass sich das Messinstrument von Konstrukten abgrenzt, von denen es behauptet, sich zu unterscheiden. Hier finden sich die interessanten Misserfolge.
Das Muster wiederholt sich in der Literatur. Beharrlichkeit (Grit) korreliert mit etwa 0,84 mit Gewissenhaftigkeit – so eng, dass Metaanalysen zeigten, dass es zur akademischen Vorhersage kaum etwas beiträgt, sobald Gewissenhaftigkeit kontrolliert wird. Emotionale Intelligenz im Selbstbericht überschneidet sich stark mit emotionaler Stabilität, Extraversion und Gewissenhaftigkeit zusammen. Die gemeinsame Varianz der Dunklen Triade verschwindet weitgehend, sobald Ehrlichkeit-Bescheidenheit aus dem HEXACO-Modell berücksichtigt wird. In jedem Fall wurde das Konstrukt als Neuland präsentiert und entpuppte sich als umbenannte Region einer bereits existierenden Karte.
Diskriminante Validität ist auch der Bereich, in dem Methodeneffekte sichtbar werden. Wenn jedes selbstberichtete Konstrukt in einer Studie mit jedem anderen mit 0,4 korreliert, ist der gemeinsame Faktor wahrscheinlich der Antwortstil der Befragten und keine gemeinsame Psychologie.
Der entscheidende Test
Das ausschlaggebende Verfahren ist die inkrementelle Validität: Das etablierte Messinstrument wird zuerst in eine Regression aufgenommen, dann das neue, und es wird geprüft, ob das neue Instrument zusätzliche Varianz im Kriterium erklärt. Wenn nicht, mag das Konstrukt theoretisch noch interessant sein, aber das Instrument misst nichts, was dem Fach nicht bereits bekannt war.
Dies ist ein anspruchsvoller Maßstab, dem sehr viele publizierte Skalen nie unterzogen wurden. Wenn sie es werden, ist das Ergebnis häufig der oben beschriebene Redundanzbefund. Das ist kein Skandal – es ist normale wissenschaftliche Bereinigung – aber es bedeutet, dass die Popularität eines Konstrukts keinen Aufschluss darüber gibt, ob es den Test besteht.
Was das für Leser bedeutet
Wenn ein Test mehrere Werte ausweist, lautet die relevante Frage, ob diese Werte tatsächlich voneinander verschieden sind. Vier Dimensionen, die untereinander mit 0,8 korrelieren, sind eine einzige Dimension mit vier Bezeichnungen, und ein daraus erstelltes Profil wirkt differenziert, enthält aber kaum unabhängige Information.
Instrumente, die ihre Inter-Skalen-Korrelationen ausweisen, ermöglichen diese Prüfung eigenständig. Instrumente, die einen Vier-Quadranten-Typ präsentieren, ohne jemals zu zeigen, wie die Quadranten zusammenhängen, machen diese Prüfung unmöglich – was in der Regel beabsichtigt ist.
Auf die Probe stellen
Über Messung zu lesen ist das eine. Den eigenen Wert mit Quelle, Normstichprobe und Grenzen zu sehen ist das andere. Kostenlos, ohne Anmeldung.
Weiterlesen
- Was ist Psychometrie?Die Disziplin, die prüft, ob ein psychologisches Messverfahren tauglich ist – und der Grund dafür, dass sich zwei Tests mit ähnlichen Fragen erheblich im Wert ihrer Ergebnisse unterscheiden können.
- Was ist Reliabilität bei psychologischen Tests?Reliabilität bezeichnet die Konsistenz einer Messung, nicht deren Korrektheit. Ein Test kann hochreliabel sein und dennoch das Falsche messen – weshalb sie die erste Frage ist, die gestellt wird, aber niemals die letzte.
- Was ist Validität in der psychologischen Diagnostik?Validität ist keine Eigenschaft, die ein Test besitzt. Sie ist ein Argument darüber, ob eine bestimmte Interpretation eines bestimmten Wertes für einen bestimmten Zweck vertretbar ist – und sie muss für jede neue Anwendung neu begründet werden.
- Was ist Konstruktvalidität?Die schwierigste Frage in der Messung: ob das, was man misst, so existiert, wie man es definiert hat, und ob das Instrument es erfasst – und nicht etwas Benachbartes.
- Was Cronbachs Alpha ist – und was es nicht istDie am häufigsten berichtete Statistik in der psychologischen Testung und die am häufigsten missverstandene. Alpha sagt nichts darüber aus, ob eine Skala eindimensional ist, und ein hoher Wert ist oft ein Symptom, keine Tugend.
- Standardmessfehler: Wie weit Ihr Ergebnis abweichen könnteJedes Ergebnis enthält eine Fehlertoleranz, und bei den meisten psychologischen Tests ist sie größer als allgemein angenommen. Diese Kennzahl verrät Ihnen, wann ein Unterschied real ist und wann es sich um Rauschen handelt.
- Normen und Perzentile: Womit Ihr Ergebnis verglichen wirdEin Rohwert ist für sich allein nicht interpretierbar. Er wird erst bedeutsam im Vergleich mit einer Referenzgruppe – und welche Gruppe verwendet wurde, ist eine der folgenreichsten und am wenigsten kommunizierten Eigenschaften eines jeden Tests.
- Wie ein psychometrischer Test tatsächlich entwickelt wirdVom Konstrukt zur veröffentlichten Normierung dauert der Prozess Jahre und verwirft den Großteil dessen, was in ihn eingeflossen ist. Wer die einzelnen Schritte kennt, erkennt sofort, welche ein schneller Online-Test übersprungen hat.
- Was bedeutet es, wenn ein Test als validiert bezeichnet wird?Das Wort ist unreguliert und wird von Produkten frei verwendet, die keinerlei Arbeit dafür geleistet haben. Hier ist, was es bedeutet, wenn es etwas bedeutet, und die vier Fragen, die beide Fälle voneinander trennen.
- Warum die meisten Persönlichkeitstests im Internet nicht zuverlässig sindNicht weil sie unehrlich sind, sondern weil die Schritte, die eine Messung vertrauenswürdig machen, unsichtbar, kostspielig und leicht zu überspringen sind – und das Überspringen nichts daran ändert, wie das Ergebnis aussieht.
- Was Selbstauskunft messen kann und was nichtFragebögen bitten Sie, sich selbst zu beobachten, was bei manchen Dingen besser funktioniert als bei anderen. Zu wissen, wo diese Methode ihre Stärken hat und wo sie versagt, verändert die Interpretation jedes Ergebnisses.
- Was es bedeutet, wenn ein Test etwas vorhersagtEine Korrelation von 0,30 ist ein starker Befund in der Persönlichkeitsforschung und eine schwache Grundlage für eine Entscheidung über eine einzelne Person. Beide Aussagen sind wahr, und die Lücke zwischen ihnen verursacht den größten Teil des Missbrauchs von Testergebnissen.
- Screening ist keine DiagnoseEin Screening-Fragebogen ist darauf ausgelegt, möglichst viele potenzielle Fälle zu erfassen, und nimmt dabei eine hohe Falsch-positiv-Rate in Kauf. Ein Screening-Ergebnis als Diagnose zu lesen, kehrt den eigentlichen Zweck des Instruments um.