Wat is Cronbach's alpha, en wat is het niet
De meest gerapporteerde statistiek in psychologisch testen, en de meest verkeerd begrepen. Alpha zegt niet dat een schaal eendimensionaal is, en een hoge waarde is vaak een symptoom in plaats van een verdienste.
Cronbach's alpha is een coëfficiënt van interne consistentie: de mate waarin de items van een schaal onderling correleren. Gepubliceerd in 1951, is het de meest gerapporteerde psychometrische statistiek, en de alomtegenwoordigheid ervan heeft de bruikbaarheid ervan overtroffen.
Alpha loopt van 0 tot 1 en wordt bepaald door twee dingen: de gemiddelde correlatie tussen items, en het aantal items. Die tweede afhankelijkheid is de bron van de meeste misvattingen.
Wat een hoge alpha niet betekent
Het betekent niet dat de schaal één ding meet. Dit is de meest voorkomende fout. Alpha kan hoog zijn voor een schaal met twee of drie afzonderlijke factoren, mits de items in totaal voldoende correleren. Unidimensionaliteit moet worden vastgesteld door middel van factoranalyse; alpha kan dit niet vaststellen en was daar ook nooit voor bedoeld.
Het betekent niet dat de schaal valide is. Alpha zegt niets over wat de items meten. Twintig vragen over schoenmaat zouden een uitstekende interne consistentie hebben en een validiteit van nul als maat voor iets psychologisch.
Het betekent niet dat de schaal goed is. Omdat alpha stijgt met het aantal items, scoort een lange schaal met middelmatige items beter dan een korte schaal met uitstekende items. Een schaal van veertig items met een gemiddelde correlatie tussen items van 0,2 komt boven 0,90 uit.
Een zeer hoge alpha is vaak een waarschuwingssignaal. Boven ongeveer 0,95 zijn de items meestal bijna parafrases van elkaar. Dat levert consistentie op ten koste van dekking van het construct: de schaal meet één smalle facet zeer precies en mist de rest van het construct. Dit heet de attenuatieparadox, en het is de reden waarom meer consistentie niet monotoon beter is.
Wat het veronderstelt
Alpha is een ondergrens voor betrouwbaarheid onder een specifieke aanname, namelijk tau-equivalentie, wat betekent dat elk item in gelijke mate bijdraagt aan de onderliggende eigenschap. Echte schalen voldoen hier vrijwel nooit aan. Items verschillen in hoe sterk ze op de factor laden, en wanneer dat het geval is, onderschat alpha de betrouwbaarheid.
McDonald's omega laat de aanname van gelijke bijdrage los en schat de betrouwbaarheid op basis van de werkelijke factorladingen. Methodologen bevelen dit al twintig jaar aan boven alpha. De rapportagepraktijk is hierin traag gevolgd, vooral omdat alpha een enkele regel is in elk statistiekpakket en omega niet.
Het in de praktijk interpreteren
Ruwe conventies: 0,70 en hoger is acceptabel voor onderzoek waarin groepen worden vergeleken, 0,80 en hoger voor toegepast gebruik, 0,90 en hoger wanneer een score een individuele beslissing beïnvloedt. Beschouw dit als richting, niet als grenswaarden: het vereiste niveau hangt af van het belang van de beslissing waarop de score is gebaseerd.
De meer informatieve cijfers staan meestal elders in hetzelfde artikel. De gemiddelde correlatie tussen items (0,15 tot 0,50 is een gezonde bandbreedte) vertelt je of een hoge alpha voortkwam uit itemkwaliteit of itemaantal. Het aantal items vertelt je hetzelfde vanuit de andere richting. Test-hertestbetrouwbaarheid vertelt je iets wat alpha structureel niet kan: of de score stabiel is bij dezelfde persoon over tijd.
Een schaal die alleen alpha rapporteert, heeft het gemakkelijkst te verkrijgen betrouwbaarheidscijfer gerapporteerd, en het minst veeleisende om te behalen.
Doe de test zelf
Lezen over meting is één ding. Je eigen score zien gerapporteerd met de bron, de normgroep en de beperkingen ervan is iets anders. Gratis te doen, geen aanmelding vereist.
Lees verder
- Wat is psychometrie?De discipline die uitzoekt of een psychologische meting deugt, en de reden waarom twee tests die vergelijkbare vragen stellen enorm kunnen verschillen in wat hun resultaten waard zijn.
- Wat is betrouwbaarheid bij psychologisch testen?Betrouwbaarheid is consistentie van meting, geen juistheid. Een test kan zeer betrouwbaar zijn en toch het verkeerde meten, en daarom is het de eerste vraag die gesteld wordt en nooit de laatste.
- Wat is validiteit bij psychologisch testen?Validiteit is geen eigenschap die een test heeft. Het is een argument over of een bepaalde interpretatie van een bepaalde score, voor een bepaald doel, houdbaar is, en het moet voor elke nieuwe toepassing opnieuw worden opgebouwd.
- Wat is begripsvaliditeit?De moeilijkste vraag in het meten: of het ding dat je meet bestaat zoals je het hebt gedefinieerd, en of je instrument dat bereikt in plaats van iets ernaast.
- Convergente en discriminante validiteitTwee spiegelbeeldige eisen: een meetinstrument moet overeenkomen met wat het zou moeten overeenkomen, en het moet duidelijk onderscheiden blijven van wat het naar eigen zeggen niet is. De meeste zwakke instrumenten falen op het tweede punt.
- Standaardmeetfout: hoeveel je score zou kunnen afwijkenElke score heeft een foutmarge, en bij de meeste psychologische tests is die groter dan mensen aannemen. Dit is het getal dat je vertelt wanneer een verschil echt is en wanneer het ruis is.
- Normen en percentielen: waar je score mee wordt vergelekenEen ruwe score is op zichzelf niet te interpreteren. Die wordt alleen betekenisvol in vergelijking met een referentiegroep, en welke groep is gebruikt, is een van de meest ingrijpende en minst bekendgemaakte feiten over elke test.
- Hoe een psychometrische test daadwerkelijk wordt gebouwdVan constructdefinitie tot gepubliceerde normen: het proces duurt jaren en verwerpt het meeste van wat erin gaat. Als je de stappen kent, wordt het duidelijk welke een snelle online quiz heeft overgeslagen.
- Wat betekent het als een test gevalideerd wordt genoemd?Het woord is ongereguleerd en wordt vrijelijk gebruikt door producten die geen van het werk hebben verricht. Hier is wat het betekent wanneer het iets betekent, en de vier vragen die de twee gevallen van elkaar onderscheiden.
- Waarom de meeste persoonlijkheidstests op internet niet betrouwbaar zijnNiet omdat ze oneerlijk zijn, maar omdat de stappen die een meting betrouwbaar maken onzichtbaar, duur en makkelijk over te slaan zijn, en het overslaan ervan verandert niets aan hoe het resultaat eruitziet.
- Wat zelfrapportage wel en niet kan metenVragenlijsten vragen je om waarnemer van jezelf te zijn, wat bij sommige dingen beter werkt dan bij andere. Weten waar de methode sterk is en waar ze faalt, verandert hoe je elk resultaat leest.
- Wat het betekent wanneer een test iets voorspeltEen correlatie van 0,30 is een sterke bevinding in persoonlijkheidsonderzoek en een zwakke basis voor een beslissing over één persoon. Beide uitspraken zijn waar, en de kloof daartussen veroorzaakt het meeste misbruik van testresultaten.
- Screening is geen diagnoseEen screeningsvragenlijst is gebouwd om zo veel mogelijk mogelijke gevallen op te sporen, en accepteert daarbij een hoog percentage vals-positieven als prijs. Een screeningsscore lezen als een diagnose keert om waarvoor het instrument is ontworpen.