Standaardmeetfout: hoeveel je score zou kunnen afwijken
Elke score heeft een foutmarge, en bij de meeste psychologische tests is die groter dan mensen aannemen. Dit is het getal dat je vertelt wanneer een verschil echt is en wanneer het ruis is.
De standaardfout van de meting zet een abstracte betrouwbaarheidscoëfficiënt om in iets concreets: een plus-of-minmarge rond een score. Het beantwoordt de vraag die de meeste resultatenschermen onbeantwoord laten: hoeveel had dit getal kunnen verschillen als ik de test op een andere middag had gedaan?
De formule is eenvoudig. Vermenigvuldig de standaarddeviatie van de schaal met de vierkantswortel van één minus de betrouwbaarheid. Voor een schaal met een standaarddeviatie van 10 en een betrouwbaarheid van 0,85 is de standaardfout ongeveer 3,9 punten.
Wat die bandbreedte werkelijk omvat
Ruwweg twee derde van de tijd ligt de werkelijke positie van iemand binnen één standaardfout van zijn of haar geobserveerde score. Om ongeveer 95 procent zeker te zijn, heb je ongeveer twee standaardfouten aan elke kant nodig.
Neem het voorbeeld hierboven. Iemand scoort 62. Het 95-procentsinterval loopt van ongeveer 54 tot 70. Dat is een venster van zestien punten op een schaal waar het typische verschil tussen gemiddeld en duidelijk boven-gemiddeld misschien tien punten is.
Dit is geen gebrek van die specifieke test. Een betrouwbaarheid van 0,85 is respectabel. Het is de normale precisie van psychologische meting, en het is de reden dat zorgvuldige rapporten bandbreedtes tonen in plaats van punten.
De gevolgen die mensen missen
Kleine verschillen tussen schalen zijn meestal betekenisloos. Als je extraversie 58 is en je openheid 54, is de eerlijke lezing dat ze niet van elkaar te onderscheiden zijn. Profielinterpretaties die een verhaal bouwen op verschillen van vier punten, lezen ruis.
Kleine veranderingen in de tijd zijn meestal ook betekenisloos. Een test opnieuw afleggen en vijf punten verschuiven, valt binnen de fout voor de meeste instrumenten. Echte verandering in eigenschappen gebeurt over jaren en toont zich als een verschuiving die ver buiten de foutband ligt, niet als een paar punten van maand tot maand.
Rangordeningen versterken het probleem. Een verschil van een paar ruwe punten kan iemand tien percentielplaatsen verplaatsen in het dichte midden van een verdeling, omdat daar de meeste mensen zich bevinden. Percentielrangen zien er precies uit en zijn de minst stabiele manier om een score uit te drukken.
Precisie is niet uniform over de schaal. De klassieke testtheorie gaat uit van één foutwaarde voor elke score, wat een vereenvoudiging is. Item response theory modelleert de fout afzonderlijk op elk niveau van de eigenschap, en die is bijna altijd groter aan de uitersten, precies waar de meest verstrekkende interpretaties worden gemaakt. Een zeer hoge of zeer lage score is doorgaans minder precies dan een gemiddelde score, niet meer.
Waarom eerlijke rapportage minder indrukwekkend lijkt
Een instrument dat betrouwbaarheidsbandbreedtes rapporteert, lijkt vager dan een instrument dat één getal met één decimaal rapporteert. Het vagere instrument spreekt de waarheid. Het precies uitziende instrument heeft dezelfde onderliggende fout, maar heeft ervoor gekozen deze niet te laten zien.
Dit is de moeite waard om te onthouden bij het vergelijken van een wetenschappelijk gedocumenteerde test met een commercieel product dat je aan een categorie toewijst. De categoriegrens ligt bij een specifieke score, en iemand die één punt eronder zit en iemand die één punt erboven zit, zijn statistisch gezien dezelfde persoon. Het typelabel verbergt dit volledig, wat een van de zwaardere argumenten is tegen op typen gebaseerde instrumenten, en de reden waarom continue scores met vermelde fout de standaard zijn in onderzoek.
Doe de test zelf
Lezen over meting is één ding. Je eigen score zien gerapporteerd met de bron, de normgroep en de beperkingen ervan is iets anders. Gratis te doen, geen aanmelding vereist.
Lees verder
- Wat is psychometrie?De discipline die uitzoekt of een psychologische meting deugt, en de reden waarom twee tests die vergelijkbare vragen stellen enorm kunnen verschillen in wat hun resultaten waard zijn.
- Wat is betrouwbaarheid bij psychologisch testen?Betrouwbaarheid is consistentie van meting, geen juistheid. Een test kan zeer betrouwbaar zijn en toch het verkeerde meten, en daarom is het de eerste vraag die gesteld wordt en nooit de laatste.
- Wat is validiteit bij psychologisch testen?Validiteit is geen eigenschap die een test heeft. Het is een argument over of een bepaalde interpretatie van een bepaalde score, voor een bepaald doel, houdbaar is, en het moet voor elke nieuwe toepassing opnieuw worden opgebouwd.
- Wat is begripsvaliditeit?De moeilijkste vraag in het meten: of het ding dat je meet bestaat zoals je het hebt gedefinieerd, en of je instrument dat bereikt in plaats van iets ernaast.
- Convergente en discriminante validiteitTwee spiegelbeeldige eisen: een meetinstrument moet overeenkomen met wat het zou moeten overeenkomen, en het moet duidelijk onderscheiden blijven van wat het naar eigen zeggen niet is. De meeste zwakke instrumenten falen op het tweede punt.
- Wat is Cronbach's alpha, en wat is het nietDe meest gerapporteerde statistiek in psychologisch testen, en de meest verkeerd begrepen. Alpha zegt niet dat een schaal eendimensionaal is, en een hoge waarde is vaak een symptoom in plaats van een verdienste.
- Normen en percentielen: waar je score mee wordt vergelekenEen ruwe score is op zichzelf niet te interpreteren. Die wordt alleen betekenisvol in vergelijking met een referentiegroep, en welke groep is gebruikt, is een van de meest ingrijpende en minst bekendgemaakte feiten over elke test.
- Hoe een psychometrische test daadwerkelijk wordt gebouwdVan constructdefinitie tot gepubliceerde normen: het proces duurt jaren en verwerpt het meeste van wat erin gaat. Als je de stappen kent, wordt het duidelijk welke een snelle online quiz heeft overgeslagen.
- Wat betekent het als een test gevalideerd wordt genoemd?Het woord is ongereguleerd en wordt vrijelijk gebruikt door producten die geen van het werk hebben verricht. Hier is wat het betekent wanneer het iets betekent, en de vier vragen die de twee gevallen van elkaar onderscheiden.
- Waarom de meeste persoonlijkheidstests op internet niet betrouwbaar zijnNiet omdat ze oneerlijk zijn, maar omdat de stappen die een meting betrouwbaar maken onzichtbaar, duur en makkelijk over te slaan zijn, en het overslaan ervan verandert niets aan hoe het resultaat eruitziet.
- Wat zelfrapportage wel en niet kan metenVragenlijsten vragen je om waarnemer van jezelf te zijn, wat bij sommige dingen beter werkt dan bij andere. Weten waar de methode sterk is en waar ze faalt, verandert hoe je elk resultaat leest.
- Wat het betekent wanneer een test iets voorspeltEen correlatie van 0,30 is een sterke bevinding in persoonlijkheidsonderzoek en een zwakke basis voor een beslissing over één persoon. Beide uitspraken zijn waar, en de kloof daartussen veroorzaakt het meeste misbruik van testresultaten.
- Screening is geen diagnoseEen screeningsvragenlijst is gebouwd om zo veel mogelijk mogelijke gevallen op te sporen, en accepteert daarbij een hoog percentage vals-positieven als prijs. Een screeningsscore lezen als een diagnose keert om waarvoor het instrument is ontworpen.