Konvergent och diskriminant validitet

Konvergent och diskriminant validitet är två halvor av ett och samma krav. Ett mått måste korrelera med saker det teoretiskt borde korrelera med, och får inte korrelera för högt med saker det påstås skilja sig från. Att uppfylla det ena utan det andra är inte en delvis framgång; det är oftast ett tecken på att konstruktet inte är vad det utger sig för att vara.

Konvergent validitet

Konvergenta belägg visar att ett mått stämmer överens med andra indikatorer på samma sak. En ny skala för ångest bör korrelera betydligt med etablerade ångestskalor, med kliniska bedömningar och, i bästa fall, med något som inte är en till enkätfråga, till exempel fysiologiska mått eller observerat undvikandebeteende.

Här förväntas korrelationer vanligtvis ligga över 0,50, ofta över 0,70 när jämförelsemåttet är ett väletablerat instrument för samma konstrukt. Under det mäter antingen den nya skalan eller jämförelsemåttet något annat.

Det finns en fälla. En korrelation på 0,95 med en befintlig skala är inte en triumf, den betyder att det nya instrumentet är en omförpackning, och den ärliga frågan blir vad det tillför. Konvergent validitet är ett golv, inte ett mål att maximera.

Diskriminant validitet

Diskriminanta belägg visar att måttet förblir avskilt från konstrukt det påstås skilja sig från. Det är här de intressanta misslyckandena finns.

Mönstret återkommer i litteraturen. Grit korrelerar omkring 0,84 med samvetsgrannhet, tillräckligt nära för att en metaanalys skulle finna att den knappt tillför något till prediktion av akademiska resultat när man kontrollerar för samvetsgrannhet. Självskattad emotionell intelligens överlappar kraftigt med emotionell stabilitet, extraversion och samvetsgrannhet tillsammans. Den gemensamma variansen inom den mörka triaden försvinner till stor del när man tar hänsyn till Ärlighet-Ödmjukhet från HEXACO-modellen. I varje fall presenterades konstruktet som nytt territorium men visade sig vara en omdöpt region på en befintlig karta.

Diskriminant validitet är också där metodeffekter blir synliga. Om alla självskattade konstrukt i en studie korrelerar 0,4 med alla andra, är den gemensamma faktorn troligen respondentens svarsstil snarare än någon delad psykologi.

Testet som avgör saken

Den avgörande metoden är inkrementell validitet: för in det etablerade måttet i en regression först, sedan det nya, och se om det nya förklarar någon ytterligare varians i utfallet. Om det inte gör det kan konstruktet fortfarande vara teoretiskt intressant, men instrumentet mäter inget som fältet inte redan hade.

Detta är en krävande måttstock och väldigt många publicerade skalor har aldrig utsatts för den. När de utsätts för den är resultatet ofta redundansfyndet ovan. Det är inte en skandal, det är normal vetenskaplig gallring, men det betyder att ett konstrukts popularitet inte säger något om huruvida det klarar testet.

Vad det innebär för en läsare

När ett test rapporterar flera poäng är den relevanta frågan om dessa poäng faktiskt är åtskilda. Fyra dimensioner som korrelerar 0,8 med varandra är en dimension med fyra namn, och en profil byggd på dem kommer att se differentierad ut men bär nästan ingen oberoende information.

Instrument som redovisar sina korrelationer mellan skalor låter dig kontrollera detta själv. Instrument som presenterar en fyrfältstyp utan att någonsin visa hur fälten förhåller sig till varandra har gjort kontrollen omöjlig, vilket oftast är poängen.