Was bedeutet es, wenn ein Test als validiert bezeichnet wird?
Das Wort ist unreguliert und wird von Produkten frei verwendet, die keinerlei Arbeit dafür geleistet haben. Hier ist, was es bedeutet, wenn es etwas bedeutet, und die vier Fragen, die beide Fälle voneinander trennen.
„Wissenschaftlich validiert
Kurzfassung
Ein validiertes Instrument verfügt über eine veröffentlichte Dokumentation, die zeigt, was es misst, wie präzise, in welchen Populationen und wofür seine Ergebnisse legitim verwendet werden können. Validierung ist kein Zertifikat. Sie ist ein Evidenzkorpus, der in der Regel über Jahre zusammengetragen wird und meist Befunde enthält, die den Einsatzbereich des Instruments einschränken – anstatt ihn zu schönfärben.
Das Vorhandensein dokumentierter Einschränkungen ist eines der verlässlicheren Signale. Echte Validierungsliteratur ist voll davon: Diese Skala schneidet bei Jugendlichen schlecht ab, jener Aspekt lässt sich nicht replizieren, der Schwellenwert ist populationsabhängig. Ein Produkt, das ausschließlich Stärken berichtet, hat keine Validierung veröffentlicht – sondern sein Marketing.
Vier Fragen, die weiterhelfen
Was ist die Quellpublikation? Ein validiertes Instrument hat einen Originalartikel in einer begutachteten Fachzeitschrift – mit Autor:innen, Erscheinungsjahr und in der Regel einem DOI. Dieser Artikel beschreibt, wie die Items entwickelt wurden und welche psychometrischen Eigenschaften das Instrument zu Beginn aufwies. Wenn niemand den Artikel benennen kann, gibt es keine Validierung, über die man sprechen könnte.
Wurde die Struktur von unabhängiger Seite bestätigt? Das Entwicklungsteam wird die selbst konzipierte Struktur wiederfinden. Entscheidend ist, ob eine unabhängige Gruppe mit unabhängigen Daten dasselbe Ergebnis erzielt hat. Das ist die einzeln aufschlussreichste Frage, die man stellen kann – und jene, die am häufigsten unbeantwortet bleibt.
Auf welcher Population basieren die Normen, und wann wurden sie erhoben? Ein Testwert ist eine Position in einer Referenzverteilung. Ein Instrument, das einen Perzentilwert angibt, ohne die zugrunde liegende Population zu nennen, liefert eine Zahl ohne Nenner.
Was leistet es darüber hinaus? Inkrementelle Validität gegenüber einem etablierten Maß. Viele gebrandete Konstrukte scheitern hier, weil sie so hoch mit einem bereits bekannten Merkmal korrelieren, dass sie keine zusätzliche Varianz erklären. Das ist ein normales Ergebnis wissenschaftlicher Prüfung – und es bleibt unsichtbar, solange niemand diesen Test durchführt.
Wo Übersetzung die Sache verkompliziert
Ein auf Englisch validiertes Instrument ist damit nicht automatisch auf Deutsch validiert. Eine seriöse kulturübergreifende Adaptation erfordert Hin- und Rückübersetzung, Expertenbegutachtung, kognitive Interviews und anschließend eine eigenständige psychometrische Studie in der neuen Sprache, die prüft, ob die Faktorstruktur bestehen bleibt und ob einzelne Items über Gruppen hinweg äquivalent funktionieren.
Instrumente, die diesen Prozess übergehen, sind weit verbreitet. Ein Fragebogen mit einwandfreier Originalvalidierung kann sich in einer Sprache, in der ein zentrales Item eine andere Konnotation trägt, erheblich anders verhalten – und ohne die entsprechende Studie gibt es keine Möglichkeit, das festzustellen. Wenn ein Test in zehn Sprachen angeboten wird, ist die entscheidende Frage, ob er in zehn Sprachen validiert oder in einer validiert und in neun übersetzt wurde.
Was Validierung nicht leistet
Sie macht einen Testwert nicht zur Gewissheit. Ein validiertes Instrument enthält weiterhin Messfehler, beschreibt eine Regelmäßigkeit auf Populationsebene und kein individuelles Schicksal – und misst nur das, was seine Items erfassen.
Was Validierung bietet, sind erkennbare Grenzen. Man kann herausfinden, wie viel Fehler, in welcher Population, für welchen Zweck. Das ist eine bescheidenere Aussage als „Dieser Test enthüllt, wer du wirklich bist
Auf die Probe stellen
Über Messung zu lesen ist das eine. Den eigenen Wert mit Quelle, Normstichprobe und Grenzen zu sehen ist das andere. Kostenlos, ohne Anmeldung.
Weiterlesen
- Was ist Psychometrie?Die Disziplin, die prüft, ob ein psychologisches Messverfahren tauglich ist – und der Grund dafür, dass sich zwei Tests mit ähnlichen Fragen erheblich im Wert ihrer Ergebnisse unterscheiden können.
- Was ist Reliabilität bei psychologischen Tests?Reliabilität bezeichnet die Konsistenz einer Messung, nicht deren Korrektheit. Ein Test kann hochreliabel sein und dennoch das Falsche messen – weshalb sie die erste Frage ist, die gestellt wird, aber niemals die letzte.
- Was ist Validität in der psychologischen Diagnostik?Validität ist keine Eigenschaft, die ein Test besitzt. Sie ist ein Argument darüber, ob eine bestimmte Interpretation eines bestimmten Wertes für einen bestimmten Zweck vertretbar ist – und sie muss für jede neue Anwendung neu begründet werden.
- Was ist Konstruktvalidität?Die schwierigste Frage in der Messung: ob das, was man misst, so existiert, wie man es definiert hat, und ob das Instrument es erfasst – und nicht etwas Benachbartes.
- Konvergente und diskriminante ValiditätZwei spiegelbildliche Anforderungen: Ein Messinstrument muss mit dem übereinstimmen, womit es übereinstimmen soll, und muss sich von dem unterscheiden, was es vorgibt, nicht zu sein. Die meisten schwachen Instrumente scheitern an der zweiten Anforderung.
- Was Cronbachs Alpha ist – und was es nicht istDie am häufigsten berichtete Statistik in der psychologischen Testung und die am häufigsten missverstandene. Alpha sagt nichts darüber aus, ob eine Skala eindimensional ist, und ein hoher Wert ist oft ein Symptom, keine Tugend.
- Standardmessfehler: Wie weit Ihr Ergebnis abweichen könnteJedes Ergebnis enthält eine Fehlertoleranz, und bei den meisten psychologischen Tests ist sie größer als allgemein angenommen. Diese Kennzahl verrät Ihnen, wann ein Unterschied real ist und wann es sich um Rauschen handelt.
- Normen und Perzentile: Womit Ihr Ergebnis verglichen wirdEin Rohwert ist für sich allein nicht interpretierbar. Er wird erst bedeutsam im Vergleich mit einer Referenzgruppe – und welche Gruppe verwendet wurde, ist eine der folgenreichsten und am wenigsten kommunizierten Eigenschaften eines jeden Tests.
- Wie ein psychometrischer Test tatsächlich entwickelt wirdVom Konstrukt zur veröffentlichten Normierung dauert der Prozess Jahre und verwirft den Großteil dessen, was in ihn eingeflossen ist. Wer die einzelnen Schritte kennt, erkennt sofort, welche ein schneller Online-Test übersprungen hat.
- Warum die meisten Persönlichkeitstests im Internet nicht zuverlässig sindNicht weil sie unehrlich sind, sondern weil die Schritte, die eine Messung vertrauenswürdig machen, unsichtbar, kostspielig und leicht zu überspringen sind – und das Überspringen nichts daran ändert, wie das Ergebnis aussieht.
- Was Selbstauskunft messen kann und was nichtFragebögen bitten Sie, sich selbst zu beobachten, was bei manchen Dingen besser funktioniert als bei anderen. Zu wissen, wo diese Methode ihre Stärken hat und wo sie versagt, verändert die Interpretation jedes Ergebnisses.
- Was es bedeutet, wenn ein Test etwas vorhersagtEine Korrelation von 0,30 ist ein starker Befund in der Persönlichkeitsforschung und eine schwache Grundlage für eine Entscheidung über eine einzelne Person. Beide Aussagen sind wahr, und die Lücke zwischen ihnen verursacht den größten Teil des Missbrauchs von Testergebnissen.
- Screening ist keine DiagnoseEin Screening-Fragebogen ist darauf ausgelegt, möglichst viele potenzielle Fälle zu erfassen, und nimmt dabei eine hohe Falsch-positiv-Rate in Kauf. Ein Screening-Ergebnis als Diagnose zu lesen, kehrt den eigentlichen Zweck des Instruments um.