Wat het betekent wanneer een test iets voorspelt
Een correlatie van 0,30 is een sterke bevinding in persoonlijkheidsonderzoek en een zwakke basis voor een beslissing over één persoon. Beide uitspraken zijn waar, en de kloof daartussen veroorzaakt het meeste misbruik van testresultaten.
Persoonlijkheidsonderzoek meldt dat consciëntieusheid werkprestaties voorspelt. Als je die zin leest, stelt de meeste mensen zich iets veel sterkers voor dan wat de data laten zien. De kloof tussen de statistische claim en de alledaagse betekenis van "voorspelt" is waar het meeste misbruik van psychologisch testen begint.
De betrokken cijfers
Effectgroottes in persoonlijkheidsonderzoek worden meestal weergegeven als correlaties. Meta-analytische waarden voor goed onderbouwde verbanden liggen doorgaans tussen 0,20 en 0,35. Consciëntieusheid en werkprestaties ligt rond 0,20 tot 0,25. Werktevredenheid en werkprestaties ligt rond 0,30. Algemene mentale vaardigheid, de sterkste enkelvoudige voorspeller in het vakgebied, bereikt ongeveer 0,50 voor complex werk.
Kwadrateer een correlatie en je krijgt het aandeel verklaarde variantie. Een correlatie van 0,25 verklaart ongeveer zes procent van de verschillen tussen mensen. Vierennegentig procent is iets anders: vaardigheid, kans, training, leidinggeven, gezondheid, geluk.
Waarom 0,25 toch een reële bevinding is
Op populatieschaal leveren kleine correlaties aanzienlijke geaggregeerde effecten op. Als je duizend mensen selecteert, verbetert een voorspeller van 0,25 je gemiddelde uitkomst meetbaar en herhaaldelijk. Verzekeraars en epidemiologen bouwen hele praktijken op effecten van deze omvang.
Het probleem is dat het geaggregeerde voordeel en de individuele voorspelling verschillende grootheden zijn. Een correlatie van 0,25 betekent dat onder mensen die hoog scoren, meer mensen goed presteren dan onder mensen die laag scoren, en ook dat heel veel hoge scorers slecht zullen presteren en heel veel lage scorers zullen uitblinken. Beide uitspraken komen uit hetzelfde getal.
Het individuele geval
Dit is de stap die wordt overgeslagen. Een correlatie beschrijft de relatie tussen twee verdelingen. Ze geeft geen recht op een uitspraak over een specifiek persoon.
Als consciëntieusheid 0,25 correleert met prestatie, dan versmalt het kennen van iemands consciëntieusheidsscore het plausibele bereik van zijn of haar prestatie slechts licht. Het voorspellingsinterval voor één individu blijft breed genoeg om bijna het gehele uitkomstbereik te omvatten. Te horen krijgen dat je op het 80e percentiel zit voor consciëntieusheid, vertelt je heel weinig over hoe je het zult doen in een specifieke baan.
Daarom is het gebruik van persoonlijkheidsscores als primair selectiefilter slecht onderbouwd, zelfs als het onderliggende onderzoek deugdelijk is. Het onderzoek onderbouwt de claim dat de eigenschap ertoe doet. Het onderbouwt niet de claim dat een score vertelt wat een sollicitant zal doen.
Twee verdere kanttekeningen
Voorspellen en veroorzaken zijn verschillend. Vrijwel al deze literatuur is correlationeel. Dat consciëntieusheid gezondheidsuitkomsten voorspelt, is consistent met het idee dat consciëntieusheid beter gezondheidsgedrag veroorzaakt, met een derde factor die beide veroorzaakt, en met omgekeerde causaliteit. Longitudinale onderzoeksopzetten beperken de mogelijkheden; ze sluiten ze zelden uit.
Zelfrapportagecriteria doen de cijfers oplopen. Wanneer zowel de voorspeller als de uitkomst door dezelfde persoon op dezelfde middag via zelfrapportage worden gemeten, drijft gemeenschappelijke-methodevariantie de correlatie omhoog. Studies die objectieve uitkomsten of beoordelingen door informanten gebruiken, melden doorgaans kleinere effecten, en dat zijn de studies die zwaarder moeten wegen.
Waar een score eigenlijk goed voor is
Gelezen als beschrijving in plaats van profetie, is een testscore werkelijk nuttig. Hij vertelt je waar je staat ten opzichte van een referentiepopulatie op een eigenschap met gedocumenteerde gevolgen, en hij geeft je woorden voor een patroon dat je misschien had opgemerkt zonder het te kunnen benoemen.
Dat is de moeite waard. Het is iets anders dan een voorspelling, en dat onderscheid is iets wat een eerlijk rapport voor je zou moeten maken in plaats van je te laten raden.
Doe de test zelf
Lezen over meting is één ding. Je eigen score zien gerapporteerd met de bron, de normgroep en de beperkingen ervan is iets anders. Gratis te doen, geen aanmelding vereist.
Lees verder
- Wat is psychometrie?De discipline die uitzoekt of een psychologische meting deugt, en de reden waarom twee tests die vergelijkbare vragen stellen enorm kunnen verschillen in wat hun resultaten waard zijn.
- Wat is betrouwbaarheid bij psychologisch testen?Betrouwbaarheid is consistentie van meting, geen juistheid. Een test kan zeer betrouwbaar zijn en toch het verkeerde meten, en daarom is het de eerste vraag die gesteld wordt en nooit de laatste.
- Wat is validiteit bij psychologisch testen?Validiteit is geen eigenschap die een test heeft. Het is een argument over of een bepaalde interpretatie van een bepaalde score, voor een bepaald doel, houdbaar is, en het moet voor elke nieuwe toepassing opnieuw worden opgebouwd.
- Wat is begripsvaliditeit?De moeilijkste vraag in het meten: of het ding dat je meet bestaat zoals je het hebt gedefinieerd, en of je instrument dat bereikt in plaats van iets ernaast.
- Convergente en discriminante validiteitTwee spiegelbeeldige eisen: een meetinstrument moet overeenkomen met wat het zou moeten overeenkomen, en het moet duidelijk onderscheiden blijven van wat het naar eigen zeggen niet is. De meeste zwakke instrumenten falen op het tweede punt.
- Wat is Cronbach's alpha, en wat is het nietDe meest gerapporteerde statistiek in psychologisch testen, en de meest verkeerd begrepen. Alpha zegt niet dat een schaal eendimensionaal is, en een hoge waarde is vaak een symptoom in plaats van een verdienste.
- Standaardmeetfout: hoeveel je score zou kunnen afwijkenElke score heeft een foutmarge, en bij de meeste psychologische tests is die groter dan mensen aannemen. Dit is het getal dat je vertelt wanneer een verschil echt is en wanneer het ruis is.
- Normen en percentielen: waar je score mee wordt vergelekenEen ruwe score is op zichzelf niet te interpreteren. Die wordt alleen betekenisvol in vergelijking met een referentiegroep, en welke groep is gebruikt, is een van de meest ingrijpende en minst bekendgemaakte feiten over elke test.
- Hoe een psychometrische test daadwerkelijk wordt gebouwdVan constructdefinitie tot gepubliceerde normen: het proces duurt jaren en verwerpt het meeste van wat erin gaat. Als je de stappen kent, wordt het duidelijk welke een snelle online quiz heeft overgeslagen.
- Wat betekent het als een test gevalideerd wordt genoemd?Het woord is ongereguleerd en wordt vrijelijk gebruikt door producten die geen van het werk hebben verricht. Hier is wat het betekent wanneer het iets betekent, en de vier vragen die de twee gevallen van elkaar onderscheiden.
- Waarom de meeste persoonlijkheidstests op internet niet betrouwbaar zijnNiet omdat ze oneerlijk zijn, maar omdat de stappen die een meting betrouwbaar maken onzichtbaar, duur en makkelijk over te slaan zijn, en het overslaan ervan verandert niets aan hoe het resultaat eruitziet.
- Wat zelfrapportage wel en niet kan metenVragenlijsten vragen je om waarnemer van jezelf te zijn, wat bij sommige dingen beter werkt dan bij andere. Weten waar de methode sterk is en waar ze faalt, verandert hoe je elk resultaat leest.
- Screening is geen diagnoseEen screeningsvragenlijst is gebouwd om zo veel mogelijk mogelijke gevallen op te sporen, en accepteert daarbij een hoog percentage vals-positieven als prijs. Een screeningsscore lezen als een diagnose keert om waarvoor het instrument is ontworpen.