Was ist Psychometrie?
Die Disziplin, die prüft, ob ein psychologisches Messverfahren tauglich ist – und der Grund dafür, dass sich zwei Tests mit ähnlichen Fragen erheblich im Wert ihrer Ergebnisse unterscheiden können.
Psychometrie ist der Teilbereich der Psychologie, der sich mit der Messung selbst befasst. Nicht damit, was Extraversion bedeutet, sondern damit, ob ein bestimmter Fragenkatalog Extraversion tatsächlich misst, wie groß der Fehler im resultierenden Wert ist und was dieser Wert berechtigterweise vorhersagen kann.
Dieser Unterschied ist wichtiger, als er klingt. Jeder kann zwanzig Fragen darüber formulieren, wie kontaktfreudig jemand ist, und die Antworten zusammenzählen. Psychometrie ist die Arbeit, die danach kommt: zu zeigen, dass die zwanzig Fragen zusammenpassen, dass sie eine Sache und nicht drei messen, dass dieselbe Person nächsten Monat ungefähr dasselbe Ergebnis erzielt, dass der Wert mit dem tatsächlichen Verhalten dieser Person zusammenhängt und dass das gesamte Verfahren bei einer 22-jährigen Person in Lissabon genauso funktioniert wie bei einer 55-jährigen in München.
Warum eine eigene Disziplin nötig war
Physikalische Messung hat einen Vorteil, den die Psychologie nicht hat: Man kann ein Metermaß neben das zu messende Objekt legen. Für Gewissenhaftigkeit gibt es kein Metermaß. Das Merkmal ist nicht direkt beobachtbar – es wird aus Verhalten erschlossen, und Fragebogenantworten sind eine weitere Schlussfolgerungsebene darüber hinaus.
Das ist das, was Psychometriker eine latente Variable nennen: etwas, das real genug ist, um Konsequenzen zu haben, aber stets nur über indirekte Indikatoren zugänglich ist. Der gesamte methodische Apparat existiert wegen dieser Indirektheit. Jede Technik, der man begegnen wird – Faktorenanalyse, Reliabilitätskoeffizienten, Item-Response-Theorie, Normstichproben – ist ein Versuch, etwas Vertretbares über eine Größe auszusagen, die niemand beobachten kann.
Die drei Fragen
Jenseits aller Fachbegriffe stellt die Psychometrie jedem Messinstrument drei Fragen.
Ist es konsistent? Wenn die Messung überwiegend aus Rauschen besteht, spielt nichts anderes eine Rolle. Konsistenz wird über Items hinweg geprüft (stimmen die Fragen miteinander überein?), über die Zeit (erzielt dieselbe Person nächsten Monat dasselbe Ergebnis?) und gegebenenfalls über Beurteiler hinweg. Das ist Reliabilität.
Misst es, was es zu messen vorgibt? Ein Fragebogen kann vollkommen konsistent und dennoch fehlgeleitet sein. Eine Skala, die vorgibt, Führungspotenzial zu messen, aber mit einfachem Selbstwertgefühl eine Korrelation von 0,8 aufweist, misst Selbstwertgefühl. Das ist Validität – und sie ist keine Eigenschaft, die ein Instrument entweder besitzt oder nicht besitzt, sondern ein Argument, das aus angesammelten Belegen aufgebaut wird.
Im Vergleich zu wem? Ein Rohwert von 34 bedeutet für sich genommen nichts. Er wird erst interpretierbar anhand einer Referenzgruppe: 34 ist hoch im Verhältnis zu welcher Bevölkerungsgruppe, gemessen wann und wo? Das ist die Arbeit mit Normen – und dieser Schritt wird von den meisten kommerziellen Tests vollständig übersprungen.
Was gute Praxis ausmacht
Ein gut entwickeltes Instrument hat eine dokumentierte Geschichte. Jemand hat veröffentlicht, wie die Items formuliert wurden und welche verworfen wurden. Jemand hat die Reliabilitätskoeffizienten berichtet – in benannten Stichproben mit Angabe der Stichprobengrößen. Jemand hat geprüft, ob die Faktorstruktur in einer zweiten, unabhängigen Stichprobe Bestand hat, und nicht nur in der Stichprobe, die zur Entwicklung verwendet wurde. Jemand hat untersucht, ob sich die Items über Sprachen und Altersgruppen hinweg gleich verhalten. Jemand anderes – idealerweise ohne Eigeninteresse am Instrument – hat versucht, die Befunde zu replizieren, und berichtet, was dabei herauskam.
Das macht einen Test nicht unfehlbar. Es macht seine Grenzen erkennbar – und das ist eine andere und nützlichere Eigenschaft. Ein Instrument, dessen Messfehler dokumentiert ist, sagt einem, wie viel Vertrauen man in einen kleinen Unterschied zwischen zwei Werten setzen kann. Ein Instrument ohne veröffentlichte Fehlerschätzung ist nicht genauer; es ist nur stiller darüber, ungenau zu sein.
Was das für die Leserin oder den Leser bedeutet
Psychometrie wird einem nicht sagen, dass ein Test wahr ist. Sie sagt einem, wie weit ein Wert gedehnt werden kann, bevor er aufhört, etwas zu bedeuten – welche Fragen er beantworten kann, für welche Bevölkerungsgruppen er kalibriert wurde und wie groß ein Unterschied sein muss, bevor er der Beachtung wert ist.
Das ist ein bescheideneres Versprechen, als die meisten Persönlichkeitsprodukte machen. Es ist auch das einzige Versprechen, das dem Kontakt mit der Evidenz standhält.
Auf die Probe stellen
Über Messung zu lesen ist das eine. Den eigenen Wert mit Quelle, Normstichprobe und Grenzen zu sehen ist das andere. Kostenlos, ohne Anmeldung.
Weiterlesen
- Was ist Reliabilität bei psychologischen Tests?Reliabilität bezeichnet die Konsistenz einer Messung, nicht deren Korrektheit. Ein Test kann hochreliabel sein und dennoch das Falsche messen – weshalb sie die erste Frage ist, die gestellt wird, aber niemals die letzte.
- Was ist Validität in der psychologischen Diagnostik?Validität ist keine Eigenschaft, die ein Test besitzt. Sie ist ein Argument darüber, ob eine bestimmte Interpretation eines bestimmten Wertes für einen bestimmten Zweck vertretbar ist – und sie muss für jede neue Anwendung neu begründet werden.
- Was ist Konstruktvalidität?Die schwierigste Frage in der Messung: ob das, was man misst, so existiert, wie man es definiert hat, und ob das Instrument es erfasst – und nicht etwas Benachbartes.
- Konvergente und diskriminante ValiditätZwei spiegelbildliche Anforderungen: Ein Messinstrument muss mit dem übereinstimmen, womit es übereinstimmen soll, und muss sich von dem unterscheiden, was es vorgibt, nicht zu sein. Die meisten schwachen Instrumente scheitern an der zweiten Anforderung.
- Was Cronbachs Alpha ist – und was es nicht istDie am häufigsten berichtete Statistik in der psychologischen Testung und die am häufigsten missverstandene. Alpha sagt nichts darüber aus, ob eine Skala eindimensional ist, und ein hoher Wert ist oft ein Symptom, keine Tugend.
- Standardmessfehler: Wie weit Ihr Ergebnis abweichen könnteJedes Ergebnis enthält eine Fehlertoleranz, und bei den meisten psychologischen Tests ist sie größer als allgemein angenommen. Diese Kennzahl verrät Ihnen, wann ein Unterschied real ist und wann es sich um Rauschen handelt.
- Normen und Perzentile: Womit Ihr Ergebnis verglichen wirdEin Rohwert ist für sich allein nicht interpretierbar. Er wird erst bedeutsam im Vergleich mit einer Referenzgruppe – und welche Gruppe verwendet wurde, ist eine der folgenreichsten und am wenigsten kommunizierten Eigenschaften eines jeden Tests.
- Wie ein psychometrischer Test tatsächlich entwickelt wirdVom Konstrukt zur veröffentlichten Normierung dauert der Prozess Jahre und verwirft den Großteil dessen, was in ihn eingeflossen ist. Wer die einzelnen Schritte kennt, erkennt sofort, welche ein schneller Online-Test übersprungen hat.
- Was bedeutet es, wenn ein Test als validiert bezeichnet wird?Das Wort ist unreguliert und wird von Produkten frei verwendet, die keinerlei Arbeit dafür geleistet haben. Hier ist, was es bedeutet, wenn es etwas bedeutet, und die vier Fragen, die beide Fälle voneinander trennen.
- Warum die meisten Persönlichkeitstests im Internet nicht zuverlässig sindNicht weil sie unehrlich sind, sondern weil die Schritte, die eine Messung vertrauenswürdig machen, unsichtbar, kostspielig und leicht zu überspringen sind – und das Überspringen nichts daran ändert, wie das Ergebnis aussieht.
- Was Selbstauskunft messen kann und was nichtFragebögen bitten Sie, sich selbst zu beobachten, was bei manchen Dingen besser funktioniert als bei anderen. Zu wissen, wo diese Methode ihre Stärken hat und wo sie versagt, verändert die Interpretation jedes Ergebnisses.
- Was es bedeutet, wenn ein Test etwas vorhersagtEine Korrelation von 0,30 ist ein starker Befund in der Persönlichkeitsforschung und eine schwache Grundlage für eine Entscheidung über eine einzelne Person. Beide Aussagen sind wahr, und die Lücke zwischen ihnen verursacht den größten Teil des Missbrauchs von Testergebnissen.
- Screening ist keine DiagnoseEin Screening-Fragebogen ist darauf ausgelegt, möglichst viele potenzielle Fälle zu erfassen, und nimmt dabei eine hohe Falsch-positiv-Rate in Kauf. Ein Screening-Ergebnis als Diagnose zu lesen, kehrt den eigentlichen Zweck des Instruments um.