Vad är validitet inom psykologisk testning?

Validitet handlar om huruvida ett test mäter det det påstår sig mäta, och om de slutsatser människor drar utifrån dess poäng är berättigade. Det är den centrala frågan inom psykometri, och den som oftast besvaras med ett marknadsföringspåstående snarare än bevis.

Den moderna synen, som har gällt sedan Messicks arbete på 1980-talet, är att validitet inte är en fast egenskap hos ett instrument. Det är en egenskap hos en tolkning av poäng för en specifik användning. Samma frågeformulär kan vara väl validerat för att beskriva en persons självuppfattning och helt ovaliderat för att avgöra om personen ska anställas. Att säga att "detta test är validt" utan att ange validt för vad är inte ett påstående; det är ett slagord.

Typer av bevis

Validitet byggs upp av ackumulerade bevis av flera slag. Äldre texter presenterar dessa som separata typer av validitet; den nuvarande synen behandlar dem som olika argument som stödjer ett och samma resonemang.

Innehållsbevis handlar om huruvida itemen täcker begreppet på ett fullgott sätt. En depressionsskala som bara frågar om sömn och aptit täcker de somatiska symtomen men missar de som rör humör och kognition. Innehållstäckning bedöms vanligtvis av ämnesexperter, och det är anledningen till att mycket korta skalor alltid innebär en kompromiss.

Bevis om intern struktur handlar om huruvida itemen grupperar sig på det sätt teorin säger att de ska göra. Om en modell hävdar fyra distinkta facetter bör faktoranalys återfinna fyra faktorer, och avgörande är att detta sker i ett oberoende urval, inte bara det urval skalan byggdes på. Väldigt många instrument återskapar sin avsedda struktur i utvecklingsurvalet men misslyckas med det i alla andras.

Relationer till andra variabler är där merparten av arbetet sker. Konvergent bevis visar att skalan korrelerar med sådant den bör korrelera med. Diskriminant bevis visar att den inte korrelerar för högt med sådant den bör vara skild från, ett krav som ständigt försummas och som fäller många nylanserade begrepp. Kriteriebevis visar att poängen relaterar till ett utfall som spelar roll, antingen mätt vid samma tidpunkt eller förutsagt i förväg.

Konsekvensbevis handlar om vad som händer när testet används. Om ett instrument systematiskt missgynnar en grupp av skäl som inte har med begreppet att göra, är det ett validitetsproblem, inte bara ett etiskt problem.

Frågan som avslöjar de flesta påståenden

Det skarpaste testet av ett validitetspåstående är inkrementell validitet: tillför detta instrument något utöver det ett billigare, äldre, etablerat mått redan säger dig?

Ett anmärkningsvärt stort antal varumärkta begrepp faller på detta. De korrelerar 0,7 eller högre med en befintlig Big Five-domän, förutsäger samma utfall i samma omfattning, och tillför ingenting när det äldre måttet kontrolleras statistiskt. Begreppet är nytt; mätningen är det inte. Det är därför kritikavsnitten i seriös instrumentdokumentation så ofta handlar om redundans snarare än bristande precision.

Vad du bör leta efter

När någon påstår att ett test är validerat är de användbara frågorna konkreta. Validerat mot vilket kriterium? I vilken population, av vilken storlek? Bekräftades faktorstrukturen i ett oberoende urval? Finns det publicerade bevis från forskare utan kommersiellt intresse i svaret? Tillför det något utöver ett etablerat alternativ?

Ett instrument med ärliga svar på dessa frågor är värt att ta på allvar, begränsningar inräknat. Ett instrument vars validering består av en sida med lovordande omdömen och ett påstående om att miljontals människor har genomfört det, har besvarat en helt annan fråga: popularitet är inte bevis, och antalet personer som har genomfört ett test säger ingenting om huruvida dess poäng betyder något.