Waarom de meeste persoonlijkheidstests op internet niet betrouwbaar zijn
Niet omdat ze oneerlijk zijn, maar omdat de stappen die een meting betrouwbaar maken onzichtbaar, duur en makkelijk over te slaan zijn, en het overslaan ervan verandert niets aan hoe het resultaat eruitziet.
Een gratis persoonlijkheidstest online en een gevalideerd psychometrisch instrument leveren output op die identiek oogt: een score, een percentiel, een alinea die je beschrijft. Het verschil zit volledig in werk dat je niet ziet op het resultatenscherm.
Het loont om hier precies over te zijn, want de gebruikelijke framing, dat internettests oplichterij zijn, klopt meestal niet en is niet erg nuttig. De meeste worden gemaakt door mensen zonder de intentie te misleiden. Ze zijn onbetrouwbaar om structurele redenen.
Wat er doorgaans wordt overgeslagen
Itemanalyse. In een goed opgebouwde schaal wordt het merendeel van de opgestelde items na een pilot verwijderd: items waarop niemand varieert, items die slecht correleren met het totaal, items die op meer dan één factor laden, items die zich anders gedragen tussen leeftijds- of taalgroepen. Een test die geschreven en gepubliceerd wordt zonder pilot heeft alles behouden, inclusief de items die niet werken.
Onafhankelijke structurele bevestiging. Factoranalyse op de data waarmee je de schaal hebt gebouwd, zal de structuur terugvinden die je hebt ontworpen. Die bevestigen in een nieuwe steekproef is een aparte studie, en het is de stap waarop een groot deel van de schalen faalt.
Normen. Het percentiel moet ergens vandaan komen. Als de site zijn referentiepopulatie niet vermeldt, is het getal afgeleid van eerdere bezoekers, een zelfgeselecteerde groep van onbekende samenstelling, of van niets in het bijzonder.
Test-hertestgegevens. Vaststellen dat mensen volgende maand dezelfde score behalen, vereist dat je ze opnieuw vindt. Bijna niemand doet dit, wat betekent dat de stabiliteit die het woord "eigenschap" impliceert, niet is aangetoond.
De ontwerpprikkels werken de verkeerde kant op
Een test die gebouwd is voor engagement, is geoptimaliseerd voor een ander resultaat dan een test die gebouwd is voor nauwkeurigheid, en de twee lopen op voorspelbare manieren uiteen.
Vleiende resultaten presteren beter. Een resultaat dat je iets onwelkoms vertelt, wordt minder gedeeld, dus resultaten drijven af naar beschrijvingen die iedereen in zichzelf herkent. Dit is het Barnumeffect, aangetoond in de jaren 1940 en sindsdien betrouwbaar gereproduceerd: mensen beoordelen generieke persoonlijkheidsbeschrijvingen als zeer accuraat specifiek over henzelf.
Types presteren beter dan dimensies. "Je bent een Architect" is deelbaarder dan "je zit op het 68e percentiel voor openheid met een breed betrouwbaarheidsinterval". Types verhullen ook meetfouten, aangezien iemand die één punt aan weerszijden van een categoriegrens zit, volledig verschillende labels krijgt.
Kort presteert beter dan toereikend. Elke extra vraag kost respondenten, dus tests worden ingekort tot een lengte die de voltooiing maximaliseert in plaats van een lengte die het construct dekt.
Geen van deze zijn leugens. Het is optimalisatie voor een andere maatstaf dan nauwkeurigheid.
Hoe je het in ongeveer dertig seconden kunt herkennen
Zoek naar een genoemd bronsysteem met auteurs en een jaartal. Zoek naar een vermelding van welke populatie de normen bevat. Zoek naar enige erkenning van beperkingen of meetfouten. Kijk of het resultaat een continue score is of een categorie. Kijk of dezelfde pagina ook belooft je ideale carrière, partner of levensdoel te achterhalen op basis van twintig vragen.
Een test die zijn instrument noemt, zijn bron citeert, zijn normen vermeldt en zegt wat hij niet kan vaststellen, heeft het werk gedaan. Een test die niets daarvan doet, kan nog steeds een aangename manier zijn om vijf minuten door te brengen, maar het getal dat hij oplevert is versiering.
Elk instrument in de NOESIS-catalogus vermeldt welke gepubliceerde test het implementeert, wie hem heeft geschreven, in welk jaar, hoe hij wordt gescoord, en wat de resultaten ervan niet aantonen. Dat laatste is het deel dat de moeite waard is om te vergelijken.
Doe de test zelf
Lezen over meting is één ding. Je eigen score zien gerapporteerd met de bron, de normgroep en de beperkingen ervan is iets anders. Gratis te doen, geen aanmelding vereist.
Lees verder
- Wat is psychometrie?De discipline die uitzoekt of een psychologische meting deugt, en de reden waarom twee tests die vergelijkbare vragen stellen enorm kunnen verschillen in wat hun resultaten waard zijn.
- Wat is betrouwbaarheid bij psychologisch testen?Betrouwbaarheid is consistentie van meting, geen juistheid. Een test kan zeer betrouwbaar zijn en toch het verkeerde meten, en daarom is het de eerste vraag die gesteld wordt en nooit de laatste.
- Wat is validiteit bij psychologisch testen?Validiteit is geen eigenschap die een test heeft. Het is een argument over of een bepaalde interpretatie van een bepaalde score, voor een bepaald doel, houdbaar is, en het moet voor elke nieuwe toepassing opnieuw worden opgebouwd.
- Wat is begripsvaliditeit?De moeilijkste vraag in het meten: of het ding dat je meet bestaat zoals je het hebt gedefinieerd, en of je instrument dat bereikt in plaats van iets ernaast.
- Convergente en discriminante validiteitTwee spiegelbeeldige eisen: een meetinstrument moet overeenkomen met wat het zou moeten overeenkomen, en het moet duidelijk onderscheiden blijven van wat het naar eigen zeggen niet is. De meeste zwakke instrumenten falen op het tweede punt.
- Wat is Cronbach's alpha, en wat is het nietDe meest gerapporteerde statistiek in psychologisch testen, en de meest verkeerd begrepen. Alpha zegt niet dat een schaal eendimensionaal is, en een hoge waarde is vaak een symptoom in plaats van een verdienste.
- Standaardmeetfout: hoeveel je score zou kunnen afwijkenElke score heeft een foutmarge, en bij de meeste psychologische tests is die groter dan mensen aannemen. Dit is het getal dat je vertelt wanneer een verschil echt is en wanneer het ruis is.
- Normen en percentielen: waar je score mee wordt vergelekenEen ruwe score is op zichzelf niet te interpreteren. Die wordt alleen betekenisvol in vergelijking met een referentiegroep, en welke groep is gebruikt, is een van de meest ingrijpende en minst bekendgemaakte feiten over elke test.
- Hoe een psychometrische test daadwerkelijk wordt gebouwdVan constructdefinitie tot gepubliceerde normen: het proces duurt jaren en verwerpt het meeste van wat erin gaat. Als je de stappen kent, wordt het duidelijk welke een snelle online quiz heeft overgeslagen.
- Wat betekent het als een test gevalideerd wordt genoemd?Het woord is ongereguleerd en wordt vrijelijk gebruikt door producten die geen van het werk hebben verricht. Hier is wat het betekent wanneer het iets betekent, en de vier vragen die de twee gevallen van elkaar onderscheiden.
- Wat zelfrapportage wel en niet kan metenVragenlijsten vragen je om waarnemer van jezelf te zijn, wat bij sommige dingen beter werkt dan bij andere. Weten waar de methode sterk is en waar ze faalt, verandert hoe je elk resultaat leest.
- Wat het betekent wanneer een test iets voorspeltEen correlatie van 0,30 is een sterke bevinding in persoonlijkheidsonderzoek en een zwakke basis voor een beslissing over één persoon. Beide uitspraken zijn waar, en de kloof daartussen veroorzaakt het meeste misbruik van testresultaten.
- Screening is geen diagnoseEen screeningsvragenlijst is gebouwd om zo veel mogelijk mogelijke gevallen op te sporen, en accepteert daarbij een hoog percentage vals-positieven als prijs. Een screeningsscore lezen als een diagnose keert om waarvoor het instrument is ontworpen.