Hoe een psychometrische test daadwerkelijk wordt gebouwd
Van constructdefinitie tot gepubliceerde normen: het proces duurt jaren en verwerpt het meeste van wat erin gaat. Als je de stappen kent, wordt het duidelijk welke een snelle online quiz heeft overgeslagen.
Een psychometrisch instrument dat publicatie haalt, heeft doorgaans vijf tot zes jaar werk achter de rug en het grootste deel van wat ervoor geschreven is, weggegooid. Het is de moeite waard om de volgorde te kennen, want elke fase ervan komt overeen met een manier waarop een test tekort kan schieten.
1. Definieer het construct
Voordat er ook maar één item geschreven wordt, moet het construct precies genoeg omschreven zijn om te kunnen zeggen wat erbuiten valt. Dit betekent een definitie, een uitspraak over de dimensionale structuur (één dimensie of meerdere, en als het er meerdere zijn, hoe ze zich tot elkaar verhouden) en een expliciete verantwoording van welke naburige constructen het instrument moet onderscheiden.
Het overslaan van deze fase is de oorsprong van de meeste overbodige instrumenten. Een schaal die gebouwd is op een intuïtief gevoel bij een concept, meet uiteindelijk meestal een gevestigde eigenschap onder een nieuwe naam.
2. Genereer een itempool
Items worden in ruime overmaat opgesteld ten opzichte van wat uiteindelijk overblijft, doorgaans drie tot vijf keer het uiteindelijke aantal. Ze komen voort uit theorie, uit bestaande instrumenten, uit interviews met mensen die de beschreven ervaring hebben, en uit inhoudsdeskundigen.
In deze fase wordt de pool beoordeeld op inhoudelijke dekking (bestrijkt hij het hele construct of clustert hij op één facet?), op leesniveau, op dubbelzinnig geformuleerde items, en op items die eigenlijk naar iets anders vragen.
3. Piloten en schrappen
De pool gaat naar een eerste steekproef. De analyse is grotendeels destructief.
Items met vrijwel geen variantie vervallen: een vraag die iedereen op dezelfde manier beantwoordt, onderscheidt niemand. Items die slecht correleren met de totaalscore vervallen. Items die op meer dan één factor laden, vervallen. Items die zich anders gedragen tussen demografische groepen om redenen die niets met de eigenschap te maken hebben (differentiële itemfunctionering) vervallen, en deze controle is een van de vaakst overgeslagen stappen.
Wat overblijft, is doorgaans een derde van wat geschreven werd.
4. Bevestig de structuur in een nieuwe steekproef
Dit is de stap die serieuze instrumenten van de rest scheidt. Factoranalyse op de ontwikkelingssteekproef zal de structuur terugvinden die erin ontworpen is; dat moet wel, aangezien de items geselecteerd zijn om die structuur voort te brengen. De echte toets is confirmatieve factoranalyse in een onafhankelijke steekproef.
Heel veel gepubliceerde schalen vinden hun beoogde structuur alleen terug in de data die gebruikt zijn om ze te bouwen. Wanneer iemand anders nieuwe data verzamelt, verschijnen de factoren niet. Dat falen komt vaak genoeg voor dat 'is de structuur bevestigd in een onafhankelijke steekproef?' een van de doeltreffendste vragen is die je over elk instrument kunt stellen.
5. Verzamel validiteitsbewijs
Correlaties met gevestigde metingen van hetzelfde construct. Correlaties met constructen waarvan het instrument onderscheiden zou moeten zijn, die beter lager kunnen uitvallen. Relaties met uitkomsten die ertoe doen. Incrementele validiteit ten opzichte van wat al bestaat. Test-hertest-stabiliteit over een interval dat past bij het construct.
Deze fase eindigt niet. Ze duurt voort zolang het instrument in gebruik is, en het is de fase waarin instrumenten jaren na publicatie het vaakst tekort blijken te schieten.
6. Bouw normen op
Een referentiesteekproef die groot genoeg en representatief genoeg is voor de beoogde populatie, gestratificeerd waar de eigenschap varieert naar leeftijd of geslacht, gedocumenteerd naar jaar en land. Vervolgens periodiek herhaald, omdat normen verschuiven.
7. Vertaal, als het instrument elders gebruikt gaat worden
Vertalen is geen taalkundige oefening. Correcte adaptatie betekent voorwaartse vertaling, onafhankelijke terugvertaling, beoordeling door experts, cognitieve interviews met sprekers van de doeltaal, en vervolgens een nieuwe psychometrische studie in de nieuwe taal om te toetsen of de structuur standhoudt en of items gelijkwaardig functioneren. Een instrument dat vertaald is zonder die studie, is in die taal een ongeteste test, wat de referenties in de oorspronkelijke taal ook mogen zijn.
Wat dit betekent voor de snelle quiz
Een test die in een middag geschreven is, heeft stap twee afgerond. Die kan best een aannemelijk ogend resultaat opleveren, een percentiel en een alinea beschrijving. De stappen die overgeslagen zijn, zijn precies de stappen die hadden moeten vaststellen of dat allemaal iets betekent.
Doe de test zelf
Lezen over meting is één ding. Je eigen score zien gerapporteerd met de bron, de normgroep en de beperkingen ervan is iets anders. Gratis te doen, geen aanmelding vereist.
Lees verder
- Wat is psychometrie?De discipline die uitzoekt of een psychologische meting deugt, en de reden waarom twee tests die vergelijkbare vragen stellen enorm kunnen verschillen in wat hun resultaten waard zijn.
- Wat is betrouwbaarheid bij psychologisch testen?Betrouwbaarheid is consistentie van meting, geen juistheid. Een test kan zeer betrouwbaar zijn en toch het verkeerde meten, en daarom is het de eerste vraag die gesteld wordt en nooit de laatste.
- Wat is validiteit bij psychologisch testen?Validiteit is geen eigenschap die een test heeft. Het is een argument over of een bepaalde interpretatie van een bepaalde score, voor een bepaald doel, houdbaar is, en het moet voor elke nieuwe toepassing opnieuw worden opgebouwd.
- Wat is begripsvaliditeit?De moeilijkste vraag in het meten: of het ding dat je meet bestaat zoals je het hebt gedefinieerd, en of je instrument dat bereikt in plaats van iets ernaast.
- Convergente en discriminante validiteitTwee spiegelbeeldige eisen: een meetinstrument moet overeenkomen met wat het zou moeten overeenkomen, en het moet duidelijk onderscheiden blijven van wat het naar eigen zeggen niet is. De meeste zwakke instrumenten falen op het tweede punt.
- Wat is Cronbach's alpha, en wat is het nietDe meest gerapporteerde statistiek in psychologisch testen, en de meest verkeerd begrepen. Alpha zegt niet dat een schaal eendimensionaal is, en een hoge waarde is vaak een symptoom in plaats van een verdienste.
- Standaardmeetfout: hoeveel je score zou kunnen afwijkenElke score heeft een foutmarge, en bij de meeste psychologische tests is die groter dan mensen aannemen. Dit is het getal dat je vertelt wanneer een verschil echt is en wanneer het ruis is.
- Normen en percentielen: waar je score mee wordt vergelekenEen ruwe score is op zichzelf niet te interpreteren. Die wordt alleen betekenisvol in vergelijking met een referentiegroep, en welke groep is gebruikt, is een van de meest ingrijpende en minst bekendgemaakte feiten over elke test.
- Wat betekent het als een test gevalideerd wordt genoemd?Het woord is ongereguleerd en wordt vrijelijk gebruikt door producten die geen van het werk hebben verricht. Hier is wat het betekent wanneer het iets betekent, en de vier vragen die de twee gevallen van elkaar onderscheiden.
- Waarom de meeste persoonlijkheidstests op internet niet betrouwbaar zijnNiet omdat ze oneerlijk zijn, maar omdat de stappen die een meting betrouwbaar maken onzichtbaar, duur en makkelijk over te slaan zijn, en het overslaan ervan verandert niets aan hoe het resultaat eruitziet.
- Wat zelfrapportage wel en niet kan metenVragenlijsten vragen je om waarnemer van jezelf te zijn, wat bij sommige dingen beter werkt dan bij andere. Weten waar de methode sterk is en waar ze faalt, verandert hoe je elk resultaat leest.
- Wat het betekent wanneer een test iets voorspeltEen correlatie van 0,30 is een sterke bevinding in persoonlijkheidsonderzoek en een zwakke basis voor een beslissing over één persoon. Beide uitspraken zijn waar, en de kloof daartussen veroorzaakt het meeste misbruik van testresultaten.
- Screening is geen diagnoseEen screeningsvragenlijst is gebouwd om zo veel mogelijk mogelijke gevallen op te sporen, en accepteert daarbij een hoog percentage vals-positieven als prijs. Een screeningsscore lezen als een diagnose keert om waarvoor het instrument is ontworpen.