Warum die meisten Persönlichkeitstests im Internet nicht zuverlässig sind

Ein kostenloser Online-Persönlichkeitstest und ein validiertes psychometrisches Instrument erzeugen auf den ersten Blick identische Ergebnisse: einen Punktwert, einen Perzentilrang, einen Absatz, der Sie beschreibt. Der Unterschied liegt vollständig in der Arbeit, die auf dem Ergebnisbildschirm unsichtbar bleibt.

Es lohnt sich, hier präzise zu sein, denn die übliche Darstellung – dass Internettests Betrug sind – ist größtenteils falsch und wenig hilfreich. Die meisten werden von Menschen ohne Täuschungsabsicht erstellt. Sie sind aus strukturellen Gründen unzuverlässig.

Was typischerweise übersprungen wird

Item-Analyse. Bei einer sorgfältig entwickelten Skala wird ein Großteil der entworfenen Items nach der Pilotierung verworfen: Items, bei denen niemand variiert, Items, die schlecht mit dem Gesamtwert korrelieren, Items, die auf mehr als einem Faktor laden, und Items, die sich über Alters- oder Sprachgruppen hinweg unterschiedlich verhalten. Ein Test, der ohne Pilotierung veröffentlicht wird, behält alles – einschließlich der Items, die nicht funktionieren.

Unabhängige Strukturbestätigung. Eine Faktorenanalyse der Daten, auf deren Grundlage die Skala entwickelt wurde, wird die entworfene Struktur wiederherstellen. Diese in einer neuen Stichprobe zu bestätigen ist eine eigenständige Studie – und genau an diesem Schritt scheitert ein großer Teil der Skalen.

Normen. Der Perzentilrang muss irgendwoher stammen. Wenn die Website ihre Referenzpopulation nicht angibt, basiert die Zahl entweder auf früheren Besuchern – einer selbst selektierten Gruppe unbekannter Zusammensetzung – oder auf nichts Konkretem.

Retest-Daten. Um zu belegen, dass Menschen einen Monat später denselben Wert erzielen, müssen sie erneut befragt werden. Fast niemand tut dies, was bedeutet, dass die Stabilität, die das Wort „Persönlichkeitsmerkmal

Die Designanreize wirken in die falsche Richtung

Ein Test, der auf Engagement ausgelegt ist, wird für ein anderes Ergebnis optimiert als ein Test, der auf Genauigkeit abzielt – und beide driften auf vorhersehbare Weise auseinander.

Schmeichelhafte Ergebnisse schneiden besser ab. Ein Ergebnis, das etwas Unangenehmes mitteilt, wird seltener geteilt – daher tendieren Ergebnisse zu Beschreibungen, in denen sich alle wiedererkennen. Dies ist der Barnum-Effekt, der in den 1940er Jahren nachgewiesen und seitdem zuverlässig reproduziert wurde: Menschen bewerten allgemeine Persönlichkeitsbeschreibungen als sehr zutreffend für sich selbst.

Typen schneiden besser ab als Dimensionen. „Sie sind ein Architekt

Wie man es in etwa dreißig Sekunden erkennt

Achten Sie auf ein benanntes Quellinstrument mit Autoren und Erscheinungsjahr. Achten Sie auf eine Angabe, aus welcher Population die Normen stammen. Achten Sie auf jegliches Eingeständnis von Einschränkungen oder Messfehlern. Achten Sie darauf, ob das Ergebnis ein kontinuierlicher Wert oder eine Kategorie ist. Achten Sie darauf, ob dieselbe Seite auch verspricht, anhand von zwanzig Fragen Ihren idealen Beruf, Partner oder Lebenszweck zu ermitteln.

Ein Test, der sein Instrument benennt, seine Quelle zitiert, seine Normen angibt und sagt, was er nicht beantworten kann, hat die Arbeit geleistet. Einer, der nichts davon tut, mag dennoch eine angenehme Art sein, fünf Minuten zu verbringen – doch die Zahl, die er liefert, ist reine Dekoration.

Jedes Instrument im NOESIS-Katalog gibt an, welchen veröffentlichten Test es umsetzt, wer ihn verfasst hat, in welchem Jahr, wie er ausgewertet wird und was seine Ergebnisse nicht belegen. Dieser letzte Punkt ist derjenige, den es sich zu vergleichen lohnt.