Hvad er validitet i psykologisk testning?

Validitet handler om, hvorvidt en test måler det, den hævder at måle, og om de konklusioner, folk drager ud fra dens scores, er berettigede. Det er det centrale spørgsmål i psykometri og det, der oftest besvares med en markedsføringspåstand frem for evidens.

Den moderne forståelse, som har stået ved magt siden Messicks arbejde i 1980'erne, er, at validitet ikke er en fast egenskab ved et instrument. Det er en egenskab ved en fortolkning af scores til en bestemt anvendelse. Det samme spørgeskema kan være velvalideret til at beskrive en persons selvopfattelse og fuldstændig uvalideret til at afgøre, om personen skal ansættes. At sige "denne test er valid" uden at sige, hvad den er valid til, er ikke en påstand; det er et slogan.

Typerne af evidens

Validitet opbygges af akkumuleret evidens af flere typer. Ældre tekster præsenterer disse som separate former for validitet; den nuværende opfattelse behandler dem som forskellige argumenter, der understøtter én samlet sag.

Indholdsevidens spørger, om itemene dækker konstruktet ordentligt. En depressionsskala, der kun spørger til søvn og appetit, dækker de somatiske symptomer og overser de humørmæssige og kognitive. Indholdsdækning vurderes som regel af fageksperter, og det er grunden til, at meget korte skalaer altid er et kompromis.

Evidens for intern struktur spørger, om itemene grupperer sig, som teorien siger, de bør. Hvis en model hævder fire adskilte facetter, bør faktoranalyse genfinde fire faktorer, og afgørende er det, at det sker i en uafhængig stikprøve, ikke kun i den, skalaen blev bygget på. Rigtig mange instrumenter genfinder deres tilsigtede struktur i udviklingsstikprøven, men ikke i nogen andens.

Relationer til andre variable er der, hvor det meste af arbejdet foregår. Konvergent evidens viser, at skalaen korrelerer med det, den bør korrelere med. Diskriminant evidens viser, at den ikke korrelerer for højt med det, den bør være adskilt fra. Det er et krav, der kronisk overses, og det er det, der får mange nyligt brandede konstrukter til at falde. Kriterieevidens viser, at scoren hænger sammen med et udfald, der betyder noget, enten målt samtidig eller forudsagt på forhånd.

Konsekvensevidens spørger, hvad der sker, når testen bruges. Hvis et instrument systematisk stiller en gruppe ringere af grunde, der ikke har med konstruktet at gøre, er det et validitetsproblem, ikke blot et etisk problem.

Spørgsmålet, der afslører de fleste påstande

Den skarpeste prøve af en validitetspåstand er inkrementel validitet: tilføjer dette instrument noget ud over det, et billigere, ældre og etableret mål allerede fortæller dig?

Et bemærkelsesværdigt antal brandede konstrukter falder her. De korrelerer 0,7 eller højere med et eksisterende Big Five-domæne, forudsiger de samme udfald i samme størrelsesorden og tilføjer intet, når der statistisk kontrolleres for det ældre mål. Konstruktet er nyt; målingen er det ikke. Det er derfor, kritikafsnittene i seriøs instrumentdokumentation så ofte handler om redundans frem for unøjagtighed.

Hvad du skal kigge efter

Når nogen hævder, at en test er valideret, er de nyttige spørgsmål konkrete. Valideret mod hvilket kriterium? I hvilken population, og af hvilken størrelse? Blev faktorstrukturen bekræftet i en uafhængig stikprøve? Findes der publiceret evidens fra forskere uden kommerciel interesse i svaret? Tilføjer den noget ud over et etableret alternativ?

Et instrument med ærlige svar på de spørgsmål er værd at tage alvorligt, begrænsninger inklusive. Et instrument, hvis validering består af en side med udtalelser og en påstand om, at millioner af mennesker har taget det, har besvaret et helt andet spørgsmål: popularitet er ikke evidens, og antallet af mennesker, der har taget en test, siger intet om, hvorvidt dens scores betyder noget.