Hva er validitet i psykologisk testing?

Validitet handler om hvorvidt en test måler det den hevder å måle, og om konklusjonene folk trekker fra skårene, er berettiget. Det er det sentrale spørsmålet i psykometri, og det som oftest besvares med en markedsføringspåstand i stedet for evidens.

Den moderne forståelsen, som har stått seg siden Messicks arbeid på 1980-tallet, er at validitet ikke er en fast egenskap ved et instrument. Det er en egenskap ved en tolkning av skårer for en bestemt bruk. Det samme spørreskjemaet kan være godt validert for å beskrive en persons selvoppfatning og fullstendig uvalidert for å avgjøre om personen skal ansettes. Å si «denne testen er valid» uten å si hva den er valid for, er ingen påstand; det er et slagord.

Typene evidens

Validitet bygges opp av akkumulert evidens av flere typer. Eldre tekster presenterer disse som separate former for validitet; dagens syn behandler dem som ulike argumenter som støtter én og samme sak.

Innholdsevidens spør om leddene dekker konstruktet på en god måte. En depresjonsskala som bare spør om søvn og appetitt, dekker de somatiske symptomene og går glipp av de som gjelder stemningsleie og kognisjon. Innholdsdekning vurderes vanligvis av fageksperter, og det er grunnen til at svært korte skalaer alltid er et kompromiss.

Evidens for intern struktur spør om leddene grupperer seg slik teorien sier de skal. Hvis en modell hevder fire distinkte fasetter, bør faktoranalyse gjenfinne fire faktorer, og det avgjørende er at dette skjer i et uavhengig utvalg, ikke bare i det utvalget skalaen ble utviklet på. Svært mange instrumenter gjenfinner den tiltenkte strukturen i utviklingsutvalget, men ikke i noe annet utvalg.

Relasjoner til andre variabler er der det meste av arbeidet skjer. Konvergent evidens viser at skalaen korrelerer med det den bør korrelere med. Diskriminant evidens viser at den ikke korrelerer for høyt med det den bør være atskilt fra. Dette er et kronisk forsømt krav, og det som feller mange nylig lanserte merkevarekonstrukter. Kriterieevidens viser at skåren henger sammen med et utfall som betyr noe, enten målt samtidig eller predikert på forhånd.

Konsekvensevidens spør hva som skjer når testen tas i bruk. Hvis et instrument systematisk stiller en gruppe svakere av grunner som ikke har med konstruktet å gjøre, er det et validitetsproblem, ikke bare et etisk problem.

Spørsmålet som avslører de fleste påstander

Den skarpeste prøven av en validitetspåstand er inkrementell validitet: tilfører dette instrumentet noe utover det et billigere, eldre og etablert mål allerede forteller deg?

Et bemerkelsesverdig antall merkevarekonstrukter feiler her. De korrelerer 0,7 eller høyere med et eksisterende Big Five-domene, predikerer de samme utfallene i samme størrelsesorden og tilfører ingenting når det eldre målet kontrolleres statistisk. Konstruktet er nytt; målingen er det ikke. Dette er grunnen til at kritikkavsnittene i seriøs instrumentdokumentasjon så ofte dreier seg om redundans heller enn unøyaktighet.

Hva du bør se etter

Når noen hevder at en test er validert, er de nyttige spørsmålene konkrete. Validert mot hvilket kriterium? I hvilken populasjon, og av hvilken størrelse? Ble faktorstrukturen bekreftet i et uavhengig utvalg? Finnes det publisert evidens fra forskere uten kommersiell interesse i svaret? Tilfører den noe utover et etablert alternativ?

Et instrument med ærlige svar på disse spørsmålene er verdt å ta på alvor, begrensninger inkludert. Et instrument der valideringen består av en side med brukeruttalelser og en påstand om at millioner av mennesker har tatt det, har besvart et helt annet spørsmål. Popularitet er ikke evidens, og antallet mennesker som har tatt en test, sier ingenting om hvorvidt skårene betyr noe.