Wat is betrouwbaarheid bij psychologisch testen?

Betrouwbaarheid is de mate waarin een meting herhaalbaar is in plaats van ruis. Als je jezelf drie keer binnen een minuut zou wegen en 71, 78 en 66 kilogram zou krijgen, zou de weegschaal onbetrouwbaar zijn, en je zou daaruit geen manier hebben om je werkelijke gewicht te achterhalen. Psychologische meting kent hetzelfde probleem, maar met veel minder precieze apparatuur.

Het cruciale punt om te begrijpen over betrouwbaarheid is wat het niet beweert. Een weegschaal die consequent acht kilogram te zwaar aangeeft, is volkomen betrouwbaar en volledig onjuist. Betrouwbaarheid gaat over consistentie; of het getal de juiste betekenis heeft, is een aparte vraag, validiteit genoemd. Betrouwbaarheid is noodzakelijk voor validiteit, maar op geen enkele manier voldoende ervoor.

De vormen die het aanneemt

Interne consistentie vraagt of de items van een schaal onderling overeenstemmen. Als tien vragen allemaal bedoeld zijn om dezelfde onderliggende eigenschap te meten, zouden mensen die hoog scoren op de een, ook geneigd moeten zijn hoog te scoren op de andere. Dit wordt meestal gerapporteerd als Cronbach's alpha of, beter, McDonald's omega.

Test-hertestbetrouwbaarheid vraagt of dezelfde persoon bij twee gelegenheden vergelijkbaar scoort. Dit is de vorm die het meest van belang is voor eigenschappen, die per definitie stabiel zouden moeten zijn. Het is ook de vorm die het vaakst niet gerapporteerd wordt, omdat het vereist dat dezelfde deelnemers weken later worden opgespoord.

Interbeoordelaarsbetrouwbaarheid is van toepassing wanneer mensen het instrument scoren, zoals bij klinische interviews, projectieve technieken en gedragsobservatie. Deze vraagt of twee getrainde beoordelaars die naar hetzelfde materiaal kijken, tot dezelfde conclusie komen.

Parallelle-vormenbetrouwbaarheid vraagt of twee verschillende versies van dezelfde test, ontworpen om gelijkwaardig te zijn, dezelfde scores opleveren. Dit is van belang wanneer een test meer dan één keer wordt afgenomen en blootstelling aan items een zorg vormt.

De cijfers lezen

Betrouwbaarheidscoëfficiënten lopen van 0 tot 1. De conventies zijn ruw en worden vaak verkeerd toegepast, maar ruwweg geldt: boven 0,90 is vereist wanneer een score het leven van een individu beïnvloedt, 0,80 tot 0,90 is solide voor de meeste toegepaste toepassingen, 0,70 tot 0,80 is acceptabel voor onderzoek en voor groepsvergelijkingen, en onder 0,70 betekent dat de score meer ruis bevat dan de meeste conclusies kunnen doorstaan.

Twee waarschuwingen bij deze drempels. Ten eerste zijn het conventies, geen wetten; het acceptabele niveau hangt volledig af van waarvoor de score gebruikt zal worden. Ten tweede duidt een zeer hoge alfa op een korte schaal meestal erop dat de items bijna-parafrases van elkaar zijn, wat consistentie oplevert ten koste van de dekking van het construct. Een schaal van tien vragen die allemaal in licht andere woorden vragen "ben je georganiseerd?" zal een uitstekende interne consistentie hebben en een smalle weergave van consciëntieusheid.

Wat het betekent voor jouw eigen score

Betrouwbaarheid vertaalt zich direct in hoeveel vertrouwen een enkel getal verdient. Een test met een betrouwbaarheid van 0,85 draagt een meetfout met zich mee die groot genoeg is dat een verschil van een paar punten tussen twee personen, of tussen jouw score vandaag en jouw score van vorige maand, zeer waarschijnlijk ruis is in plaats van signaal.

Dit is de praktische consequentie: een goed instrument rapporteert zijn betrouwbaarheid zodat je weet hoe breed de onzekerheid rond jouw score is. De technische uitdrukking van die onzekerheid is de standaardmeetfout, die een betrouwbaarheidscoëfficiënt vertaalt naar een plus-of-min-marge rond de score.

Een instrument dat helemaal geen betrouwbaarheidscijfer rapporteert, is daardoor niet preciezer. Het heeft simpelweg nagelaten je te vertellen hoe onnauwkeurig het is.