Wat betekent het als een test gevalideerd wordt genoemd?
Het woord is ongereguleerd en wordt vrijelijk gebruikt door producten die geen van het werk hebben verricht. Hier is wat het betekent wanneer het iets betekent, en de vier vragen die de twee gevallen van elkaar onderscheiden.
"Wetenschappelijk gevalideerd" is geen beschermde term. Niemand certificeert het, geen instantie controleert het, en het staat op producten waarvan de hele bewijsbasis is dat veel mensen ze hebben ingevuld. Het is de moeite waard om te weten wat het betekent wanneer het correct wordt gebruikt.
De korte versie
Een gevalideerd instrument heeft een gepubliceerd dossier dat laat zien wat het meet, met welke precisie, in welke populaties, en waarvoor de scores legitiem kunnen worden gebruikt. Validatie is geen certificaat. Het is een geheel van bewijs, meestal opgebouwd over jaren, dat doorgaans ook bevindingen omvat die het gebruik van het instrument beperken in plaats van het te vleien.
De aanwezigheid van gedocumenteerde beperkingen is een van de betere signalen. Echte validatieliteratuur staat er vol mee: deze schaal presteert slecht bij adolescenten, die facet repliceert niet, de afkapwaarde is afhankelijk van de populatie. Een product dat alleen sterke punten rapporteert, heeft zijn validatie niet gepubliceerd; het heeft zijn marketing gepubliceerd.
Vier vragen die het werk doen
Wat is de bronpublicatie? Een gevalideerd instrument heeft een oorspronkelijk artikel in een peer-reviewed tijdschrift, met auteurs, een jaartal en meestal een DOI. Dat artikel rapporteert hoe de items zijn ontwikkeld en wat de aanvankelijke psychometrische eigenschappen waren. Als niemand het artikel kan noemen, is er geen validatie om over te praten.
Is de structuur door iemand anders bevestigd? Het ontwikkelteam zal de structuur terugvinden die het zelf heeft ontworpen. Wat telt, is of een onafhankelijke groep, met onafhankelijke data, hetzelfde heeft gevonden. Dit is de meest informatieve vraag die je kunt stellen, en degene die het vaakst onbeantwoord blijft.
Op welke populatie zijn de normen gebaseerd, en wanneer? Een score is een positie in een referentieverdeling. Een instrument dat een percentiel rapporteert zonder aan te geven op welke populatie dat betrekking heeft, heeft je een getal gegeven zonder noemer.
Wat voegt het toe? Incrementele validiteit boven een gevestigde meting. Heel veel merkgebonden constructen falen hierop: ze correleren zo hoog met een bestaande eigenschap dat ze geen extra variantie in iets verklaren. Dit is een normale uitkomst van wetenschappelijke controle, en ze is onzichtbaar totdat iemand de test daadwerkelijk uitvoert.
Waar vertaling het compliceert
Een instrument dat in het Engels is gevalideerd, is daarmee niet gevalideerd in het Duits. Een correcte cross-culturele aanpassing vereist voorwaartse en achterwaartse vertaling, beoordeling door experts, cognitieve interviews, en vervolgens een nieuwe psychometrische studie in de nieuwe taal die test of de factorstructuur standhoudt en of individuele items gelijkwaardig functioneren tussen groepen.
Instrumenten die dit overslaan, komen vaak voor. Een vragenlijst waarvan de oorspronkelijke validatie onberispelijk is, kan zich behoorlijk anders gedragen in een taal waarin een belangrijk item een andere connotatie heeft, en zonder de studie is daar niets over te zeggen. Wanneer een test in tien talen wordt aangeboden, is de nuttige vraag of hij in tien talen is gevalideerd of gevalideerd in één taal en vertaald naar negen.
Wat validatie niet oplevert
Het maakt een score niet zeker. Een gevalideerd instrument draagt nog steeds meetfouten met zich mee, beschrijft nog steeds een regelmatigheid op populatieniveau in plaats van een individueel lot, en meet nog steeds alleen wat zijn items bereiken.
Wat validatie oplevert, zijn kenbare grenzen. Je kunt achterhalen hoeveel fout, in welke populatie, voor welk doel. Dat is een kleinere claim dan "deze test onthult wie je werkelijk bent", en het is de enige die overeind blijft.
Als je wilt zien hoe de documentatie eruitziet wanneer die bestaat: elke test in de NOESIS-catalogus noemt het instrument dat hij implementeert, de auteurs en het jaartal, de scoringsmethode, en het bewijs erachter, inclusief waar dat bewijs wordt betwist.
Doe de test zelf
Lezen over meting is één ding. Je eigen score zien gerapporteerd met de bron, de normgroep en de beperkingen ervan is iets anders. Gratis te doen, geen aanmelding vereist.
Lees verder
- Wat is psychometrie?De discipline die uitzoekt of een psychologische meting deugt, en de reden waarom twee tests die vergelijkbare vragen stellen enorm kunnen verschillen in wat hun resultaten waard zijn.
- Wat is betrouwbaarheid bij psychologisch testen?Betrouwbaarheid is consistentie van meting, geen juistheid. Een test kan zeer betrouwbaar zijn en toch het verkeerde meten, en daarom is het de eerste vraag die gesteld wordt en nooit de laatste.
- Wat is validiteit bij psychologisch testen?Validiteit is geen eigenschap die een test heeft. Het is een argument over of een bepaalde interpretatie van een bepaalde score, voor een bepaald doel, houdbaar is, en het moet voor elke nieuwe toepassing opnieuw worden opgebouwd.
- Wat is begripsvaliditeit?De moeilijkste vraag in het meten: of het ding dat je meet bestaat zoals je het hebt gedefinieerd, en of je instrument dat bereikt in plaats van iets ernaast.
- Convergente en discriminante validiteitTwee spiegelbeeldige eisen: een meetinstrument moet overeenkomen met wat het zou moeten overeenkomen, en het moet duidelijk onderscheiden blijven van wat het naar eigen zeggen niet is. De meeste zwakke instrumenten falen op het tweede punt.
- Wat is Cronbach's alpha, en wat is het nietDe meest gerapporteerde statistiek in psychologisch testen, en de meest verkeerd begrepen. Alpha zegt niet dat een schaal eendimensionaal is, en een hoge waarde is vaak een symptoom in plaats van een verdienste.
- Standaardmeetfout: hoeveel je score zou kunnen afwijkenElke score heeft een foutmarge, en bij de meeste psychologische tests is die groter dan mensen aannemen. Dit is het getal dat je vertelt wanneer een verschil echt is en wanneer het ruis is.
- Normen en percentielen: waar je score mee wordt vergelekenEen ruwe score is op zichzelf niet te interpreteren. Die wordt alleen betekenisvol in vergelijking met een referentiegroep, en welke groep is gebruikt, is een van de meest ingrijpende en minst bekendgemaakte feiten over elke test.
- Hoe een psychometrische test daadwerkelijk wordt gebouwdVan constructdefinitie tot gepubliceerde normen: het proces duurt jaren en verwerpt het meeste van wat erin gaat. Als je de stappen kent, wordt het duidelijk welke een snelle online quiz heeft overgeslagen.
- Waarom de meeste persoonlijkheidstests op internet niet betrouwbaar zijnNiet omdat ze oneerlijk zijn, maar omdat de stappen die een meting betrouwbaar maken onzichtbaar, duur en makkelijk over te slaan zijn, en het overslaan ervan verandert niets aan hoe het resultaat eruitziet.
- Wat zelfrapportage wel en niet kan metenVragenlijsten vragen je om waarnemer van jezelf te zijn, wat bij sommige dingen beter werkt dan bij andere. Weten waar de methode sterk is en waar ze faalt, verandert hoe je elk resultaat leest.
- Wat het betekent wanneer een test iets voorspeltEen correlatie van 0,30 is een sterke bevinding in persoonlijkheidsonderzoek en een zwakke basis voor een beslissing over één persoon. Beide uitspraken zijn waar, en de kloof daartussen veroorzaakt het meeste misbruik van testresultaten.
- Screening is geen diagnoseEen screeningsvragenlijst is gebouwd om zo veel mogelijk mogelijke gevallen op te sporen, en accepteert daarbij een hoog percentage vals-positieven als prijs. Een screeningsscore lezen als een diagnose keert om waarvoor het instrument is ontworpen.