Wie ein psychometrischer Test tatsächlich entwickelt wird

Ein psychometrisches Instrument, das zur Veröffentlichung gelangt, hat in der Regel fünf oder sechs Jahre Arbeit hinter sich und den Großteil des dafür Geschriebenen verworfen. Die Abfolge ist es wert, gekannt zu werden, denn jede ihrer Phasen entspricht einer Möglichkeit, wie ein Test unzulänglich sein kann.

1. Das Konstrukt definieren

Bevor ein einziges Item verfasst wird, muss das Konstrukt präzise genug spezifiziert sein, um festzulegen, was außerhalb davon liegt. Das erfordert eine Definition, eine Aussage zur dimensionalen Struktur – eine Dimension oder mehrere, und wenn mehrere, wie sie zueinander in Beziehung stehen – sowie eine explizite Darstellung, von welchen benachbarten Konstrukten es sich unterscheiden soll.

Das Überspringen dieser Phase ist der Ursprung der meisten überflüssigen Instrumente. Eine Skala, die auf einem intuitiven Verständnis eines Konzepts aufgebaut wird, misst am Ende meist ein etabliertes Merkmal unter einem neuen Namen.

2. Einen Itempool generieren

Items werden weit über die Anzahl hinaus entworfen, die letztlich übrig bleiben wird – typischerweise drei bis fünf Mal so viele wie die endgültige Anzahl. Sie entstammen der Theorie, bestehenden Instrumenten, Interviews mit Personen, die die beschriebene Erfahrung gemacht haben, sowie Fachexperten.

In dieser Phase wird der Pool auf inhaltliche Abdeckung geprüft (umfasst er das gesamte Konstrukt oder konzentriert er sich auf eine Facette?), auf das Leseverständnisniveau, auf doppeldeutige Formulierungen sowie auf Items, die eigentlich etwas anderes abfragen.

3. Pilotierung und Kürzung

Der Pool wird einer ersten Stichprobe vorgelegt. Die Analyse ist überwiegend aussortierend.

Items mit nahezu keiner Varianz werden entfernt – eine Frage, die alle gleich beantworten, unterscheidet niemanden. Items, die schlecht mit dem Gesamtwert korrelieren, werden entfernt. Items, die auf mehr als einen Faktor laden, werden entfernt. Items, die sich über demographische Gruppen hinaus aus Gründen unterschiedlich verhalten, die nichts mit dem Merkmal zu tun haben – differenzielles Item-Funktionieren –, werden entfernt; diese Prüfung gehört zu den am häufigsten ausgelassenen.

Was übrig bleibt, ist typischerweise ein Drittel des ursprünglich Verfassten.

4. Die Struktur an einer neuen Stichprobe bestätigen

Dies ist der Schritt, der seriöse Instrumente von den übrigen trennt. Eine Faktorenanalyse an der Entwicklungsstichprobe wird stets die konzipierte Struktur wiederfinden – das muss sie, da die Items zur Erzeugung eben dieser Struktur ausgewählt wurden. Der eigentliche Test ist die konfirmatorische Faktorenanalyse an einer unabhängigen Stichprobe.

Eine große Zahl veröffentlichter Skalen reproduziert ihre beabsichtigte Struktur nur in den Daten, mit denen sie entwickelt wurden. Sobald jemand anderes neue Daten erhebt, treten die Faktoren nicht mehr auf. Dieses Scheitern ist häufig genug, dass „Wurde die Struktur an einer unabhängigen Stichprobe bestätigt?

5. Validitätsbelege sammeln

Korrelationen mit etablierten Maßen desselben Konstrukts. Korrelationen mit Konstrukten, von denen es sich unterscheiden soll – diese sollten besser niedriger ausfallen. Zusammenhänge mit bedeutsamen Kriterien. Inkrementelle Validität gegenüber bereits Vorhandenem. Retest-Stabilität über ein für das Konstrukt angemessenes Zeitintervall.

Diese Phase endet nicht. Sie dauert so lange an, wie das Instrument in Gebrauch ist, und hier werden Instrumente am häufigsten noch Jahre nach ihrer Veröffentlichung als mangelhaft befunden.

6. Normen erstellen

Eine Referenzstichprobe, die groß und repräsentativ genug für die angestrebte Population ist, nach Alter oder Geschlecht stratifiziert, wo das Merkmal entsprechend variiert, sowie nach Jahr und Land dokumentiert. Anschließend in regelmäßigen Abständen wiederholt, da Normen sich verschieben.

7. Übersetzen, wenn das Instrument anderweitig eingesetzt werden soll

Übersetzung ist keine sprachliche Übung. Eine ordnungsgemäße Adaptation umfasst Vorwärtsübersetzung, unabhängige Rückübersetzung, Expertenprüfung, kognitive Interviews mit Sprechern der Zielsprache und anschließend eine eigenständige psychometrische Studie in der neuen Sprache, um zu prüfen, ob die Struktur Bestand hat und ob die Items äquivalent funktionieren. Ein ohne diese Studie übersetztes Instrument ist in dieser Sprache ein ungeprüftes Instrument – ungeachtet seiner Gütebelege in der Originalsprache.

Was dies für den schnellen Online-Test bedeutet

Ein an einem Nachmittag erstellter Test hat Schritt zwei abgeschlossen. Er mag durchaus ein plausibel wirkendes Ergebnis liefern – einen Perzentilwert und einen beschreibenden Absatz. Die übersprungenen Schritte sind jedoch genau jene, die hätten belegen sollen, ob davon irgendetwas eine Bedeutung hat.