Hvad er konstruktvaliditet?

Konstruktvaliditet handler om, hvorvidt et instrument måler det teoretiske konstrukt, det hævder at måle, og ikke noget, der korrelerer med det, noget snævrere end det eller slet ikke noget sammenhængende. Det er den dybeste form for validitetsevidens og den, det tager år snarere end ét studie at etablere.

Vanskeligheden er strukturel. Et konstrukt som modstandskraft eller følelsesmæssig intelligens er ikke en genstand; det er en foreslået regelmæssighed i adfærd. For at vise, at en skala måler det, skal du samtidig forsvare påstanden om, at konstruktet findes som beskrevet, og at netop disse items rammer det. De to påstande kan ikke adskilles, og derfor beskrev Cronbach og Meehl, som introducerede idéen i 1955, det som at teste et helt teoretisk netværk snarere end ét instrument.

Hvordan argumentet opbygges

Forudsagte korrelationsmønstre. Teorien siger, hvilke ting konstruktet bør hænge sammen med, og hvor stærkt. Selvmedfølelse bør korrelere positivt med livstilfredshed, negativt med depression og kun moderat med selvværd. Hvis det korrelerede 0,9 med selvværd, ville det ikke være et selvstændigt konstrukt. Hver eneste af disse forudsigelser er en testbar påstand, og hvis én slår fejl, er det informativt.

Forventede gruppeforskelle. Hvis teorien siger, at et træk udvikler sig med alderen eller er forhøjet i en klinisk population, bør instrumentet vise det. Hvis man ikke finder en forskel, som teorien kræver, er det evidens imod instrumentet, teorien eller begge dele.

Respons på intervention. Hvis et konstrukt formodes at kunne trænes, bør scorerne flytte sig efter træning og ikke flytte sig i en kontrolgruppe. Konstrukter, der aldrig reagerer på noget, er svære at skelne fra artefakter.

Intern struktur. Faktorstrukturen bør svare til den teoretiske struktur, og vigtigt nok i en ny stikprøve. Eksplorativ faktoranalyse på udviklingsdataene vil finde den struktur, der blev designet ind; konfirmatorisk analyse på nye data er der, hvor påstanden faktisk testes.

Idéen om multitrait-multimethod

Campbell og Fiskes bidrag fra 1959 var at insistere på, at konstruktvaliditet kræver to ting på én gang: Mål for det samme træk med forskellige metoder bør stemme overens, og mål for forskellige træk med den samme metode bør ikke.

Det er den anden halvdel, de fleste instrumenter har svært ved. Hvis din selvrapporterede empati korrelerer 0,7 med din selvrapporterede venlighed og 0,2 med observatørvurderet empati, er det stærkeste, dit spørgeskema måler, ikke empati. Det er din generelle måde at beskrive dig selv på i spørgeskemaer. Metodevarians er et af de mest vedvarende problemer i forskning baseret på selvrapportering, og det er grunden til, at seriøst valideringsarbejde søger et kriterium, der ikke er et spørgeskema, hvor et sådant findes.

Hvorfor det betyder noget, når du læser dine resultater

Konstruktvaliditet er det, der står mellem en score og dens fortolkning. Når et velvalideret instrument rapporterer, at du scorer højt på et træk, omfatter ræsonnementet bag udsagnet årtiers publiceret arbejde, der har fastslået, at trækket opfører sig som en sammenhængende størrelse, at disse items følger det, og at scoren betyder noget lignende på tværs af de mennesker, der tager testen.

Når en test uden konstruktvalidering rapporterer det samme, er scoren et tal genereret af en algoritme, som ingen har kontrolleret. Begge ser ens ud på resultatskærmen. Forskellen ligger udelukkende i dokumentationen, og derfor er dokumentationen værd at lede efter.