Wat is betrouwbaarheid bij psychologisch testen?
Betrouwbaarheid is consistentie van meting, geen juistheid. Een test kan zeer betrouwbaar zijn en toch het verkeerde meten, en daarom is het de eerste vraag die gesteld wordt en nooit de laatste.
Betrouwbaarheid is de mate waarin een meting herhaalbaar is in plaats van ruis. Als je jezelf drie keer binnen een minuut zou wegen en 71, 78 en 66 kilogram zou krijgen, zou de weegschaal onbetrouwbaar zijn, en je zou daaruit geen manier hebben om je werkelijke gewicht te achterhalen. Psychologische meting kent hetzelfde probleem, maar met veel minder precieze apparatuur.
Het cruciale punt om te begrijpen over betrouwbaarheid is wat het niet beweert. Een weegschaal die consequent acht kilogram te zwaar aangeeft, is volkomen betrouwbaar en volledig onjuist. Betrouwbaarheid gaat over consistentie; of het getal de juiste betekenis heeft, is een aparte vraag, validiteit genoemd. Betrouwbaarheid is noodzakelijk voor validiteit, maar op geen enkele manier voldoende ervoor.
De vormen die het aanneemt
Interne consistentie vraagt of de items van een schaal onderling overeenstemmen. Als tien vragen allemaal bedoeld zijn om dezelfde onderliggende eigenschap te meten, zouden mensen die hoog scoren op de een, ook geneigd moeten zijn hoog te scoren op de andere. Dit wordt meestal gerapporteerd als Cronbach's alpha of, beter, McDonald's omega.
Test-hertestbetrouwbaarheid vraagt of dezelfde persoon bij twee gelegenheden vergelijkbaar scoort. Dit is de vorm die het meest van belang is voor eigenschappen, die per definitie stabiel zouden moeten zijn. Het is ook de vorm die het vaakst niet gerapporteerd wordt, omdat het vereist dat dezelfde deelnemers weken later worden opgespoord.
Interbeoordelaarsbetrouwbaarheid is van toepassing wanneer mensen het instrument scoren, zoals bij klinische interviews, projectieve technieken en gedragsobservatie. Deze vraagt of twee getrainde beoordelaars die naar hetzelfde materiaal kijken, tot dezelfde conclusie komen.
Parallelle-vormenbetrouwbaarheid vraagt of twee verschillende versies van dezelfde test, ontworpen om gelijkwaardig te zijn, dezelfde scores opleveren. Dit is van belang wanneer een test meer dan één keer wordt afgenomen en blootstelling aan items een zorg vormt.
De cijfers lezen
Betrouwbaarheidscoëfficiënten lopen van 0 tot 1. De conventies zijn ruw en worden vaak verkeerd toegepast, maar ruwweg geldt: boven 0,90 is vereist wanneer een score het leven van een individu beïnvloedt, 0,80 tot 0,90 is solide voor de meeste toegepaste toepassingen, 0,70 tot 0,80 is acceptabel voor onderzoek en voor groepsvergelijkingen, en onder 0,70 betekent dat de score meer ruis bevat dan de meeste conclusies kunnen doorstaan.
Twee waarschuwingen bij deze drempels. Ten eerste zijn het conventies, geen wetten; het acceptabele niveau hangt volledig af van waarvoor de score gebruikt zal worden. Ten tweede duidt een zeer hoge alfa op een korte schaal meestal erop dat de items bijna-parafrases van elkaar zijn, wat consistentie oplevert ten koste van de dekking van het construct. Een schaal van tien vragen die allemaal in licht andere woorden vragen "ben je georganiseerd?" zal een uitstekende interne consistentie hebben en een smalle weergave van consciëntieusheid.
Wat het betekent voor jouw eigen score
Betrouwbaarheid vertaalt zich direct in hoeveel vertrouwen een enkel getal verdient. Een test met een betrouwbaarheid van 0,85 draagt een meetfout met zich mee die groot genoeg is dat een verschil van een paar punten tussen twee personen, of tussen jouw score vandaag en jouw score van vorige maand, zeer waarschijnlijk ruis is in plaats van signaal.
Dit is de praktische consequentie: een goed instrument rapporteert zijn betrouwbaarheid zodat je weet hoe breed de onzekerheid rond jouw score is. De technische uitdrukking van die onzekerheid is de standaardmeetfout, die een betrouwbaarheidscoëfficiënt vertaalt naar een plus-of-min-marge rond de score.
Een instrument dat helemaal geen betrouwbaarheidscijfer rapporteert, is daardoor niet preciezer. Het heeft simpelweg nagelaten je te vertellen hoe onnauwkeurig het is.
Doe de test zelf
Lezen over meting is één ding. Je eigen score zien gerapporteerd met de bron, de normgroep en de beperkingen ervan is iets anders. Gratis te doen, geen aanmelding vereist.
Lees verder
- Wat is psychometrie?De discipline die uitzoekt of een psychologische meting deugt, en de reden waarom twee tests die vergelijkbare vragen stellen enorm kunnen verschillen in wat hun resultaten waard zijn.
- Wat is validiteit bij psychologisch testen?Validiteit is geen eigenschap die een test heeft. Het is een argument over of een bepaalde interpretatie van een bepaalde score, voor een bepaald doel, houdbaar is, en het moet voor elke nieuwe toepassing opnieuw worden opgebouwd.
- Wat is begripsvaliditeit?De moeilijkste vraag in het meten: of het ding dat je meet bestaat zoals je het hebt gedefinieerd, en of je instrument dat bereikt in plaats van iets ernaast.
- Convergente en discriminante validiteitTwee spiegelbeeldige eisen: een meetinstrument moet overeenkomen met wat het zou moeten overeenkomen, en het moet duidelijk onderscheiden blijven van wat het naar eigen zeggen niet is. De meeste zwakke instrumenten falen op het tweede punt.
- Wat is Cronbach's alpha, en wat is het nietDe meest gerapporteerde statistiek in psychologisch testen, en de meest verkeerd begrepen. Alpha zegt niet dat een schaal eendimensionaal is, en een hoge waarde is vaak een symptoom in plaats van een verdienste.
- Standaardmeetfout: hoeveel je score zou kunnen afwijkenElke score heeft een foutmarge, en bij de meeste psychologische tests is die groter dan mensen aannemen. Dit is het getal dat je vertelt wanneer een verschil echt is en wanneer het ruis is.
- Normen en percentielen: waar je score mee wordt vergelekenEen ruwe score is op zichzelf niet te interpreteren. Die wordt alleen betekenisvol in vergelijking met een referentiegroep, en welke groep is gebruikt, is een van de meest ingrijpende en minst bekendgemaakte feiten over elke test.
- Hoe een psychometrische test daadwerkelijk wordt gebouwdVan constructdefinitie tot gepubliceerde normen: het proces duurt jaren en verwerpt het meeste van wat erin gaat. Als je de stappen kent, wordt het duidelijk welke een snelle online quiz heeft overgeslagen.
- Wat betekent het als een test gevalideerd wordt genoemd?Het woord is ongereguleerd en wordt vrijelijk gebruikt door producten die geen van het werk hebben verricht. Hier is wat het betekent wanneer het iets betekent, en de vier vragen die de twee gevallen van elkaar onderscheiden.
- Waarom de meeste persoonlijkheidstests op internet niet betrouwbaar zijnNiet omdat ze oneerlijk zijn, maar omdat de stappen die een meting betrouwbaar maken onzichtbaar, duur en makkelijk over te slaan zijn, en het overslaan ervan verandert niets aan hoe het resultaat eruitziet.
- Wat zelfrapportage wel en niet kan metenVragenlijsten vragen je om waarnemer van jezelf te zijn, wat bij sommige dingen beter werkt dan bij andere. Weten waar de methode sterk is en waar ze faalt, verandert hoe je elk resultaat leest.
- Wat het betekent wanneer een test iets voorspeltEen correlatie van 0,30 is een sterke bevinding in persoonlijkheidsonderzoek en een zwakke basis voor een beslissing over één persoon. Beide uitspraken zijn waar, en de kloof daartussen veroorzaakt het meeste misbruik van testresultaten.
- Screening is geen diagnoseEen screeningsvragenlijst is gebouwd om zo veel mogelijk mogelijke gevallen op te sporen, en accepteert daarbij een hoog percentage vals-positieven als prijs. Een screeningsscore lezen als een diagnose keert om waarvoor het instrument is ontworpen.