Wat is validiteit bij psychologisch testen?

Validiteit gaat over de vraag of een test meet wat hij claimt te meten, en of de conclusies die mensen uit de scores trekken gerechtvaardigd zijn. Het is de centrale vraag in de psychometrie en degene die het vaakst wordt beantwoord met een marketingclaim in plaats van bewijs.

Het moderne begrip, dat standhoudt sinds het werk van Messick in de jaren 1980, is dat validiteit geen vaste eigenschap van een instrument is. Het is een eigenschap van een interpretatie van scores voor een specifiek gebruik. Dezelfde vragenlijst kan goed gevalideerd zijn voor het beschrijven van iemands zelfbeeld en volledig ongevalideerd zijn voor het besluit om die persoon aan te nemen. Zeggen "deze test is valide" zonder te zeggen waarvoor hij valide is, is geen claim; het is een slogan.

De soorten bewijs

Validiteit wordt opgebouwd uit opgestapeld bewijs van verschillende typen. Oudere teksten presenteren deze als afzonderlijke soorten validiteit; de huidige opvatting behandelt ze als verschillende argumenten die één zaak onderbouwen.

Inhoudsbewijs vraagt of de items het construct goed dekken. Een depressieschaal die alleen vraagt naar slaap en eetlust, dekt de lichamelijke symptomen en mist de stemmings- en cognitieve aspecten. Inhoudelijke dekking wordt meestal beoordeeld door vakexperts, en het is de reden waarom heel korte schalen altijd een compromis zijn.

Bewijs van interne structuur vraagt of de items zich groeperen zoals de theorie voorspelt. Als een model vier afzonderlijke facetten claimt, zou factoranalyse vier factoren moeten opleveren, en cruciaal: in een onafhankelijke steekproef, niet alleen in de steekproef waarop de schaal is gebouwd. Heel veel instrumenten leveren hun bedoelde structuur op in de ontwikkelingssteekproef en falen daarin bij anderen.

Relaties met andere variabelen is waar het meeste werk gebeurt. Convergent bewijs laat zien dat de schaal correleert met dingen waarmee hij zou moeten correleren. Discriminant bewijs laat zien dat hij niet te sterk correleert met dingen waarvan hij zich zou moeten onderscheiden, een chronisch verwaarloosde vereiste, en degene die veel nieuw gebrandmerkte constructen de das omdoet. Criteriumbewijs laat zien dat de score verband houdt met een uitkomst die relevant is, ofwel gemeten op hetzelfde moment, ofwel vooraf voorspeld.

Consequentieel bewijs vraagt wat er gebeurt wanneer de test wordt gebruikt. Als een instrument systematisch een groep benadeelt om redenen die geen verband houden met het construct, is dat een validiteitsprobleem, niet slechts een ethisch probleem.

De vraag die de meeste claims blootlegt

De scherpste toets van een validiteitsclaim is incrementele validiteit: voegt dit instrument iets toe aan wat een goedkopere, oudere, gevestigde maat al vertelt?

Een opmerkelijk aantal gebrandmerkte constructen faalt hier. Ze correleren 0,7 of hoger met een bestaand Big Five-domein, voorspellen dezelfde uitkomsten in dezelfde omvang, en voegen niets toe zodra de oudere maat statistisch wordt gecontroleerd. Het construct is nieuw; de meting is dat niet. Dit is waarom de kritiekgedeeltes van serieuze instrumentdocumentatie zo vaak draaien om redundantie in plaats van onnauwkeurigheid.

Waar op te letten

Als iemand claimt dat een test gevalideerd is, zijn de nuttige vragen concreet. Gevalideerd tegen welk criterium? In welke populatie, van welke omvang? Is de factorstructuur bevestigd in een onafhankelijke steekproef? Is er gepubliceerd bewijs van onderzoekers zonder commercieel belang bij het antwoord? Voegt het iets toe aan een gevestigd alternatief?

Een instrument met eerlijke antwoorden op die vragen is het waard om serieus te nemen, beperkingen inbegrepen. Een instrument waarvan de validatie bestaat uit een getuigenispagina en een claim dat miljoenen mensen het hebben gedaan, heeft een heel andere vraag beantwoord: populariteit is geen bewijs, en het aantal mensen dat een test heeft gedaan, zegt niets over of de scores iets betekenen.