Convergente en discriminante validiteit
Twee spiegelbeeldige eisen: een meetinstrument moet overeenkomen met wat het zou moeten overeenkomen, en het moet duidelijk onderscheiden blijven van wat het naar eigen zeggen niet is. De meeste zwakke instrumenten falen op het tweede punt.
Convergente en discriminante validiteit zijn de twee helften van één vereiste. Een meetinstrument moet correleren met dingen waarmee het theoretisch zou moeten correleren, en mag niet te sterk correleren met dingen waarvan het geacht wordt te verschillen. Aan één van de twee voldoen zonder de ander is geen gedeeltelijk succes; het is meestal een teken dat het construct niet is wat het beweert te zijn.
Convergente validiteit
Convergent bewijs toont dat een meetinstrument overeenkomt met andere indicatoren van hetzelfde construct. Een nieuwe angstschaal zou substantieel moeten correleren met gevestigde angstschalen, met beoordelingen van clinici en, idealiter, met iets dat geen andere vragenlijst is, zoals fysiologische metingen of geobserveerd vermijdingsgedrag.
Correlaties worden hierbij doorgaans boven 0.50 verwacht, vaak boven 0.70 wanneer het vergelijkingsinstrument een gevestigd instrument is voor hetzelfde construct. Ligt de correlatie daaronder, dan meet de nieuwe schaal of het vergelijkingsinstrument iets anders.
Er schuilt een valkuil in. Een correlatie van 0.95 met een bestaande schaal is geen triomf, het betekent dat het nieuwe instrument een herverpakking is, en de eerlijke vraag wordt wat het toevoegt. Convergente validiteit is een ondergrens, geen doel om te maximaliseren.
Discriminante validiteit
Discriminant bewijs toont dat het meetinstrument gescheiden blijft van constructen waarvan het beweert te verschillen. Hier bevinden zich de interessante mislukkingen.
Dit patroon herhaalt zich in de literatuur. Grit correleert ongeveer 0.84 met consciëntieusheid, dicht genoeg dat metaonderzoek vond dat het bijna niets toevoegt aan academische voorspelling zodra er wordt gecontroleerd voor consciëntieusheid. Emotionele intelligentie op basis van zelfrapportage overlapt sterk met emotionele stabiliteit, extraversie en consciëntieusheid samen. De gedeelde variantie binnen de Dark Triad verdwijnt grotendeels zodra Honesty-Humility uit het HEXACO-model wordt meegenomen. In elk geval werd het construct gepresenteerd als nieuw terrein, maar bleek het een hernoemd gebied van een bestaande kaart te zijn.
Discriminante validiteit is ook waar methode-effecten naar boven komen. Als elk construct dat via zelfrapportage is gemeten in een onderzoek 0.4 correleert met elk ander construct, is de gemeenschappelijke factor waarschijnlijk de responsstijl van de respondent, niet een gedeelde psychologische eigenschap.
De test die de doorslag geeft
De doorslaggevende procedure is incrementele validiteit: voer eerst het gevestigde meetinstrument in een regressie in, daarna het nieuwe, en kijk of het nieuwe instrument extra variantie in de uitkomst verklaart. Zo niet, dan kan het construct nog steeds theoretisch interessant zijn, maar meet het instrument niets wat het vakgebied niet al had.
Dit is een strenge norm, en heel veel gepubliceerde schalen zijn hier nooit aan onderworpen. Wanneer dat wel gebeurt, is de uitkomst vaak de eerder genoemde redundantiebevinding. Dat is geen schandaal, het is normale wetenschappelijke opruiming, maar het betekent wel dat de populariteit van een construct niets zegt over of het deze test doorstaat.
Wat dit betekent voor een lezer
Wanneer een test verschillende scores rapporteert, is de nuttige vraag of die scores werkelijk van elkaar te onderscheiden zijn. Vier dimensies die 0.8 met elkaar correleren zijn in feite één dimensie met vier labels, en een profiel dat daarop is gebaseerd, zal gedifferentieerd lijken terwijl het bijna geen onafhankelijke informatie bevat.
Instrumenten die hun correlaties tussen schalen rapporteren, stellen je in staat dit zelf te controleren. Instrumenten die een viervlaks-type presenteren zonder ooit te laten zien hoe de kwadranten zich tot elkaar verhouden, hebben die controle onmogelijk gemaakt, en dat is meestal precies de bedoeling.
Doe de test zelf
Lezen over meting is één ding. Je eigen score zien gerapporteerd met de bron, de normgroep en de beperkingen ervan is iets anders. Gratis te doen, geen aanmelding vereist.
Lees verder
- Wat is psychometrie?De discipline die uitzoekt of een psychologische meting deugt, en de reden waarom twee tests die vergelijkbare vragen stellen enorm kunnen verschillen in wat hun resultaten waard zijn.
- Wat is betrouwbaarheid bij psychologisch testen?Betrouwbaarheid is consistentie van meting, geen juistheid. Een test kan zeer betrouwbaar zijn en toch het verkeerde meten, en daarom is het de eerste vraag die gesteld wordt en nooit de laatste.
- Wat is validiteit bij psychologisch testen?Validiteit is geen eigenschap die een test heeft. Het is een argument over of een bepaalde interpretatie van een bepaalde score, voor een bepaald doel, houdbaar is, en het moet voor elke nieuwe toepassing opnieuw worden opgebouwd.
- Wat is begripsvaliditeit?De moeilijkste vraag in het meten: of het ding dat je meet bestaat zoals je het hebt gedefinieerd, en of je instrument dat bereikt in plaats van iets ernaast.
- Wat is Cronbach's alpha, en wat is het nietDe meest gerapporteerde statistiek in psychologisch testen, en de meest verkeerd begrepen. Alpha zegt niet dat een schaal eendimensionaal is, en een hoge waarde is vaak een symptoom in plaats van een verdienste.
- Standaardmeetfout: hoeveel je score zou kunnen afwijkenElke score heeft een foutmarge, en bij de meeste psychologische tests is die groter dan mensen aannemen. Dit is het getal dat je vertelt wanneer een verschil echt is en wanneer het ruis is.
- Normen en percentielen: waar je score mee wordt vergelekenEen ruwe score is op zichzelf niet te interpreteren. Die wordt alleen betekenisvol in vergelijking met een referentiegroep, en welke groep is gebruikt, is een van de meest ingrijpende en minst bekendgemaakte feiten over elke test.
- Hoe een psychometrische test daadwerkelijk wordt gebouwdVan constructdefinitie tot gepubliceerde normen: het proces duurt jaren en verwerpt het meeste van wat erin gaat. Als je de stappen kent, wordt het duidelijk welke een snelle online quiz heeft overgeslagen.
- Wat betekent het als een test gevalideerd wordt genoemd?Het woord is ongereguleerd en wordt vrijelijk gebruikt door producten die geen van het werk hebben verricht. Hier is wat het betekent wanneer het iets betekent, en de vier vragen die de twee gevallen van elkaar onderscheiden.
- Waarom de meeste persoonlijkheidstests op internet niet betrouwbaar zijnNiet omdat ze oneerlijk zijn, maar omdat de stappen die een meting betrouwbaar maken onzichtbaar, duur en makkelijk over te slaan zijn, en het overslaan ervan verandert niets aan hoe het resultaat eruitziet.
- Wat zelfrapportage wel en niet kan metenVragenlijsten vragen je om waarnemer van jezelf te zijn, wat bij sommige dingen beter werkt dan bij andere. Weten waar de methode sterk is en waar ze faalt, verandert hoe je elk resultaat leest.
- Wat het betekent wanneer een test iets voorspeltEen correlatie van 0,30 is een sterke bevinding in persoonlijkheidsonderzoek en een zwakke basis voor een beslissing over één persoon. Beide uitspraken zijn waar, en de kloof daartussen veroorzaakt het meeste misbruik van testresultaten.
- Screening is geen diagnoseEen screeningsvragenlijst is gebouwd om zo veel mogelijk mogelijke gevallen op te sporen, en accepteert daarbij een hoog percentage vals-positieven als prijs. Een screeningsscore lezen als een diagnose keert om waarvoor het instrument is ontworpen.