Wat is psychometrie?
De discipline die uitzoekt of een psychologische meting deugt, en de reden waarom twee tests die vergelijkbare vragen stellen enorm kunnen verschillen in wat hun resultaten waard zijn.
Psychometrie is de tak van de psychologie die zich bezighoudt met meting zelf. Niet met wat extraversie betekent, maar met de vraag of een gegeven set vragen daadwerkelijk extraversie meet, hoeveel fout er in het resulterende getal zit, en wat dat getal mag voorspellen.
Het onderscheid is belangrijker dan het klinkt. Iedereen kan twintig vragen bedenken over hoe extravert iemand is en de antwoorden bij elkaar optellen. Psychometrie is het werk dat daarna komt: aantonen dat de twintig vragen samenhangen, dat ze één ding meten in plaats van drie, dat dezelfde persoon volgende maand ongeveer hetzelfde scoort, dat de score samenhangt met hoe die persoon zich daadwerkelijk gedraagt, en dat het hele apparaat op dezelfde manier werkt voor een 22-jarige in Lissabon als voor een 55-jarige in München.
Waarom er een discipline nodig was
Fysieke meting heeft een voordeel dat de psychologie niet heeft: je kunt een meetlat naast het ding leggen dat je meet. Er is geen meetlat voor consciëntieusheid. De eigenschap is niet direct waarneembaar, ze wordt afgeleid uit gedrag, en vragenlijstantwoorden zijn nog een laag afleiding daarbovenop.
Dit is wat psychometrici een latente variabele noemen: iets dat echt genoeg is om gevolgen te hebben, maar dat alleen bereikbaar is via indirecte indicatoren. Het hele methodologische apparaat bestaat vanwege die indirectheid. Elke techniek die je zult tegenkomen, factoranalyse, betrouwbaarheidscoëfficiënten, item response theory, normsteekproeven, is een poging om iets verdedigbaars te zeggen over een grootheid die niemand kan waarnemen.
De drie vragen
Als je de vaktermen wegneemt, stelt psychometrie drie dingen aan elk instrument.
Is het consistent? Als de meting grotendeels ruis is, doet niets anders er nog toe. Consistentie wordt gecontroleerd tussen items (zijn de vragen het met elkaar eens?), over tijd (scoort dezelfde persoon volgende maand hetzelfde?), en waar relevant tussen beoordelaars. Dit is betrouwbaarheid.
Meet het wat het beweert te meten? Een vragenlijst kan volledig consistent zijn en toch het verkeerde meten. Een schaal die beweert leiderschapspotentieel te meten maar 0,8 correleert met simpel zelfvertrouwen, meet zelfvertrouwen. Dit is validiteit, en het is geen eigenschap die een instrument wel of niet heeft, het is een argument opgebouwd uit verzameld bewijs.
Vergeleken met wie? Een ruwe score van 34 betekent op zichzelf niets. Ze wordt pas interpreteerbaar ten opzichte van een referentiegroep: is 34 hoog vergeleken met welke populatie, gemeten wanneer, en waar? Dit is het werk van normen, en het is de stap die de meeste consumententests volledig overslaan.
Hoe goede praktijk eruitziet
Een goed gebouwd instrument heeft een papieren spoor. Iemand heeft gepubliceerd hoe de items zijn geschreven en welke zijn afgevallen. Iemand heeft de betrouwbaarheidscoëfficiënten gerapporteerd, in benoemde steekproeven, met steekproefgroottes. Iemand heeft getest of de factorstructuur standhield in een tweede, onafhankelijke steekproef in plaats van die waarmee ze is gebouwd. Iemand heeft gecontroleerd of de items zich hetzelfde gedragen tussen talen en leeftijdsgroepen. Iemand anders, idealiter zonder belang bij het instrument, heeft geprobeerd de bevindingen te repliceren en gerapporteerd wat er gebeurde.
Niets hiervan maakt een test onfeilbaar. Het maakt de grenzen ervan kenbaar, wat een andere en nuttigere eigenschap is. Een instrument waarvan de meetfout is gedocumenteerd, vertelt je hoeveel vertrouwen je mag hechten aan een klein verschil tussen twee scores. Een instrument zonder gepubliceerde foutschatting is niet nauwkeuriger, het is alleen stiller over zijn onnauwkeurigheid.
Waar dit de lezer achterlaat
Psychometrie zal je niet vertellen dat een test waar is. Het zal je vertellen hoe ver een score kan worden opgerekt voordat hij niets meer betekent, welke vragen hij kan beantwoorden, op welke populaties hij is gekalibreerd, en hoe groot een verschil moet zijn voordat het de moeite waard is om op te merken.
Dat is een beperktere belofte dan de meeste persoonlijkheidsproducten maken. Het is ook de enige belofte die de confrontatie met het bewijs overleeft.
Doe de test zelf
Lezen over meting is één ding. Je eigen score zien gerapporteerd met de bron, de normgroep en de beperkingen ervan is iets anders. Gratis te doen, geen aanmelding vereist.
Lees verder
- Wat is betrouwbaarheid bij psychologisch testen?Betrouwbaarheid is consistentie van meting, geen juistheid. Een test kan zeer betrouwbaar zijn en toch het verkeerde meten, en daarom is het de eerste vraag die gesteld wordt en nooit de laatste.
- Wat is validiteit bij psychologisch testen?Validiteit is geen eigenschap die een test heeft. Het is een argument over of een bepaalde interpretatie van een bepaalde score, voor een bepaald doel, houdbaar is, en het moet voor elke nieuwe toepassing opnieuw worden opgebouwd.
- Wat is begripsvaliditeit?De moeilijkste vraag in het meten: of het ding dat je meet bestaat zoals je het hebt gedefinieerd, en of je instrument dat bereikt in plaats van iets ernaast.
- Convergente en discriminante validiteitTwee spiegelbeeldige eisen: een meetinstrument moet overeenkomen met wat het zou moeten overeenkomen, en het moet duidelijk onderscheiden blijven van wat het naar eigen zeggen niet is. De meeste zwakke instrumenten falen op het tweede punt.
- Wat is Cronbach's alpha, en wat is het nietDe meest gerapporteerde statistiek in psychologisch testen, en de meest verkeerd begrepen. Alpha zegt niet dat een schaal eendimensionaal is, en een hoge waarde is vaak een symptoom in plaats van een verdienste.
- Standaardmeetfout: hoeveel je score zou kunnen afwijkenElke score heeft een foutmarge, en bij de meeste psychologische tests is die groter dan mensen aannemen. Dit is het getal dat je vertelt wanneer een verschil echt is en wanneer het ruis is.
- Normen en percentielen: waar je score mee wordt vergelekenEen ruwe score is op zichzelf niet te interpreteren. Die wordt alleen betekenisvol in vergelijking met een referentiegroep, en welke groep is gebruikt, is een van de meest ingrijpende en minst bekendgemaakte feiten over elke test.
- Hoe een psychometrische test daadwerkelijk wordt gebouwdVan constructdefinitie tot gepubliceerde normen: het proces duurt jaren en verwerpt het meeste van wat erin gaat. Als je de stappen kent, wordt het duidelijk welke een snelle online quiz heeft overgeslagen.
- Wat betekent het als een test gevalideerd wordt genoemd?Het woord is ongereguleerd en wordt vrijelijk gebruikt door producten die geen van het werk hebben verricht. Hier is wat het betekent wanneer het iets betekent, en de vier vragen die de twee gevallen van elkaar onderscheiden.
- Waarom de meeste persoonlijkheidstests op internet niet betrouwbaar zijnNiet omdat ze oneerlijk zijn, maar omdat de stappen die een meting betrouwbaar maken onzichtbaar, duur en makkelijk over te slaan zijn, en het overslaan ervan verandert niets aan hoe het resultaat eruitziet.
- Wat zelfrapportage wel en niet kan metenVragenlijsten vragen je om waarnemer van jezelf te zijn, wat bij sommige dingen beter werkt dan bij andere. Weten waar de methode sterk is en waar ze faalt, verandert hoe je elk resultaat leest.
- Wat het betekent wanneer een test iets voorspeltEen correlatie van 0,30 is een sterke bevinding in persoonlijkheidsonderzoek en een zwakke basis voor een beslissing over één persoon. Beide uitspraken zijn waar, en de kloof daartussen veroorzaakt het meeste misbruik van testresultaten.
- Screening is geen diagnoseEen screeningsvragenlijst is gebouwd om zo veel mogelijk mogelijke gevallen op te sporen, en accepteert daarbij een hoog percentage vals-positieven als prijs. Een screeningsscore lezen als een diagnose keert om waarvoor het instrument is ontworpen.