Was es bedeutet, wenn ein Test etwas vorhersagt
Eine Korrelation von 0,30 ist ein starker Befund in der Persönlichkeitsforschung und eine schwache Grundlage für eine Entscheidung über eine einzelne Person. Beide Aussagen sind wahr, und die Lücke zwischen ihnen verursacht den größten Teil des Missbrauchs von Testergebnissen.
Die Persönlichkeitsforschung berichtet, dass Gewissenhaftigkeit die Arbeitsleistung vorhersagt. Beim Lesen dieses Satzes stellen sich die meisten Menschen etwas weit Stärkeres vor, als die Daten tatsächlich zeigen. Die Lücke zwischen der statistischen Aussage und der alltäglichen Bedeutung von „vorhersagt
Die beteiligten Zahlen
Effektgrößen in der Persönlichkeitsforschung werden üblicherweise als Korrelationen angegeben. Metaanalytische Werte für gut etablierte Zusammenhänge liegen in der Regel zwischen 0,20 und 0,35. Gewissenhaftigkeit und Arbeitsleistung liegen bei etwa 0,20 bis 0,25. Arbeitszufriedenheit und Arbeitsleistung liegen bei etwa 0,30. Die allgemeine geistige Leistungsfähigkeit, der stärkste einzelne Prädiktor auf diesem Gebiet, erreicht bei komplexen Tätigkeiten ungefähr 0,50.
Quadriert man eine Korrelation, erhält man den Anteil der erklärten Varianz. Eine Korrelation von 0,25 erklärt etwa sechs Prozent der Unterschiede zwischen Menschen. Vierundneunzig Prozent sind auf etwas anderes zurückzuführen: Fähigkeiten, Gelegenheiten, Ausbildung, Führung, Gesundheit, Glück.
Warum 0,25 dennoch ein echtes Ergebnis ist
Auf Bevölkerungsebene erzeugen kleine Korrelationen beachtliche aggregierte Effekte. Wenn Sie tausend Personen auswählen, verbessert ein Prädiktor bei 0,25 Ihr durchschnittliches Ergebnis messbar und wiederholt. Versicherer und Epidemiologen bauen auf Effekte dieser Größenordnung ganze Praxisfelder auf.
Der Haken ist, dass der aggregierte Nutzen und die individuelle Vorhersage unterschiedliche Größen sind. Eine Korrelation von 0,25 bedeutet, dass unter Personen mit hohen Werten mehr gute Leistungen erbringen als unter Personen mit niedrigen Werten – und zugleich, dass sehr viele Hochscorer schlechte Leistungen erbringen und sehr viele Niedrigscorer hervorragend abschneiden. Beide Aussagen ergeben sich aus derselben Zahl.
Der Einzelfall
Dies ist der Schritt, der übersprungen wird. Eine Korrelation beschreibt die Beziehung zwischen zwei Verteilungen. Sie erlaubt keine Aussage über eine bestimmte Einzelperson.
Wenn Gewissenhaftigkeit mit 0,25 mit der Leistung korreliert, schränkt die Kenntnis des Gewissenhaftigkeitswerts einer Person den plausiblen Bereich ihrer Leistung nur geringfügig ein. Das Vorhersageintervall für eine einzelne Person bleibt weit genug, um nahezu den gesamten Ergebnisbereich zu umfassen. Wenn Ihnen mitgeteilt wird, dass Sie beim 80. Perzentil der Gewissenhaftigkeit liegen, sagt Ihnen das sehr wenig darüber, wie Sie in einem bestimmten Job abschneiden werden.
Deshalb ist die Verwendung von Persönlichkeitswerten als primäres Auswahlfilter schlecht begründet, selbst wenn die zugrunde liegende Forschung solide ist. Die Forschung stützt die Aussage, dass das Merkmal eine Rolle spielt. Sie stützt nicht die Aussage, dass ein Wert Ihnen verrät, was ein Bewerber tun wird.
Zwei weitere Vorbehalte
Vorhersagen und Verursachen sind unterschiedliche Dinge. Fast die gesamte Literatur ist korrelativer Natur. Dass Gewissenhaftigkeit Gesundheitsergebnisse vorhersagt, ist vereinbar damit, dass Gewissenhaftigkeit besseres Gesundheitsverhalten verursacht, dass ein dritter Faktor beides verursacht und dass umgekehrte Kausalität vorliegt. Längsschnittdesigns schränken die Möglichkeiten ein; sie schließen sie selten aus.
Selbstberichtskriterien blähen die Zahlen auf. Wenn sowohl der Prädiktor als auch das Ergebnis von derselben Person am selben Nachmittag selbst berichtet werden, erhöht die Common-Method-Varianz die Korrelation. Studien mit objektiven Ergebnissen oder Fremdbeurteilungen berichten in der Regel kleinere Effekte, und diesen sollte man mehr Gewicht beimessen.
Wofür ein Testergebnis tatsächlich nützlich ist
Als Beschreibung statt als Prophezeiung gelesen, ist ein Testergebnis wirklich nützlich. Es zeigt Ihnen, wo Sie im Vergleich zu einer Referenzpopulation in Bezug auf ein Merkmal mit dokumentierten Konsequenzen stehen, und gibt Ihnen ein Vokabular für ein Muster, das Sie vielleicht wahrgenommen haben, ohne es benennen zu können.
Das ist wertvoll. Es ist jedoch etwas anderes als eine Prognose, und diesen Unterschied sollte ein ehrlicher Bericht für Sie klar machen, anstatt ihn Ihnen zur Schlussfolgerung zu überlassen.
Auf die Probe stellen
Über Messung zu lesen ist das eine. Den eigenen Wert mit Quelle, Normstichprobe und Grenzen zu sehen ist das andere. Kostenlos, ohne Anmeldung.
Weiterlesen
- Was ist Psychometrie?Die Disziplin, die prüft, ob ein psychologisches Messverfahren tauglich ist – und der Grund dafür, dass sich zwei Tests mit ähnlichen Fragen erheblich im Wert ihrer Ergebnisse unterscheiden können.
- Was ist Reliabilität bei psychologischen Tests?Reliabilität bezeichnet die Konsistenz einer Messung, nicht deren Korrektheit. Ein Test kann hochreliabel sein und dennoch das Falsche messen – weshalb sie die erste Frage ist, die gestellt wird, aber niemals die letzte.
- Was ist Validität in der psychologischen Diagnostik?Validität ist keine Eigenschaft, die ein Test besitzt. Sie ist ein Argument darüber, ob eine bestimmte Interpretation eines bestimmten Wertes für einen bestimmten Zweck vertretbar ist – und sie muss für jede neue Anwendung neu begründet werden.
- Was ist Konstruktvalidität?Die schwierigste Frage in der Messung: ob das, was man misst, so existiert, wie man es definiert hat, und ob das Instrument es erfasst – und nicht etwas Benachbartes.
- Konvergente und diskriminante ValiditätZwei spiegelbildliche Anforderungen: Ein Messinstrument muss mit dem übereinstimmen, womit es übereinstimmen soll, und muss sich von dem unterscheiden, was es vorgibt, nicht zu sein. Die meisten schwachen Instrumente scheitern an der zweiten Anforderung.
- Was Cronbachs Alpha ist – und was es nicht istDie am häufigsten berichtete Statistik in der psychologischen Testung und die am häufigsten missverstandene. Alpha sagt nichts darüber aus, ob eine Skala eindimensional ist, und ein hoher Wert ist oft ein Symptom, keine Tugend.
- Standardmessfehler: Wie weit Ihr Ergebnis abweichen könnteJedes Ergebnis enthält eine Fehlertoleranz, und bei den meisten psychologischen Tests ist sie größer als allgemein angenommen. Diese Kennzahl verrät Ihnen, wann ein Unterschied real ist und wann es sich um Rauschen handelt.
- Normen und Perzentile: Womit Ihr Ergebnis verglichen wirdEin Rohwert ist für sich allein nicht interpretierbar. Er wird erst bedeutsam im Vergleich mit einer Referenzgruppe – und welche Gruppe verwendet wurde, ist eine der folgenreichsten und am wenigsten kommunizierten Eigenschaften eines jeden Tests.
- Wie ein psychometrischer Test tatsächlich entwickelt wirdVom Konstrukt zur veröffentlichten Normierung dauert der Prozess Jahre und verwirft den Großteil dessen, was in ihn eingeflossen ist. Wer die einzelnen Schritte kennt, erkennt sofort, welche ein schneller Online-Test übersprungen hat.
- Was bedeutet es, wenn ein Test als validiert bezeichnet wird?Das Wort ist unreguliert und wird von Produkten frei verwendet, die keinerlei Arbeit dafür geleistet haben. Hier ist, was es bedeutet, wenn es etwas bedeutet, und die vier Fragen, die beide Fälle voneinander trennen.
- Warum die meisten Persönlichkeitstests im Internet nicht zuverlässig sindNicht weil sie unehrlich sind, sondern weil die Schritte, die eine Messung vertrauenswürdig machen, unsichtbar, kostspielig und leicht zu überspringen sind – und das Überspringen nichts daran ändert, wie das Ergebnis aussieht.
- Was Selbstauskunft messen kann und was nichtFragebögen bitten Sie, sich selbst zu beobachten, was bei manchen Dingen besser funktioniert als bei anderen. Zu wissen, wo diese Methode ihre Stärken hat und wo sie versagt, verändert die Interpretation jedes Ergebnisses.
- Screening ist keine DiagnoseEin Screening-Fragebogen ist darauf ausgelegt, möglichst viele potenzielle Fälle zu erfassen, und nimmt dabei eine hohe Falsch-positiv-Rate in Kauf. Ein Screening-Ergebnis als Diagnose zu lesen, kehrt den eigentlichen Zweck des Instruments um.