Co je validita v psychologickém testování?

Validita se ptá, zda test měří to, co tvrdí, že měří, a zda jsou závěry, které lidé z jeho skóre vyvozují, oprávněné. Je to ústřední otázka psychometrie a zároveň ta, na kterou se nejčastěji odpovídá marketingovým tvrzením místo důkazů.

Moderní pojetí, platné od Messickovy práce v 80. letech, říká, že validita není pevnou vlastností nástroje. Je to vlastnost interpretace skóre pro konkrétní použití. Tentýž dotazník může být dobře validovaný pro popis toho, jak člověk vnímá sám sebe, a zcela nevalidovaný pro rozhodnutí, zda ho zaměstnat. Říct "tento test je validní" a neříct, k čemu je validní, není tvrzení; je to slogan.

Druhy důkazů

Validita se buduje z nashromážděných důkazů několika typů. Starší texty je prezentují jako samostatné druhy validity; současný pohled je chápe jako různé argumenty podporující jediný případ.

Důkazy o obsahu se ptají, zda položky konstrukt náležitě pokrývají. Škála deprese, která se ptá jen na spánek a chuť k jídlu, pokrývá somatické příznaky a míjí ty, které se týkají nálady a kognice. Pokrytí obsahu obvykle posuzují odborníci na danou oblast a právě proto jsou velmi krátké škály vždy kompromisem.

Důkazy o vnitřní struktuře se ptají, zda se položky seskupují tak, jak říká teorie. Pokud model tvrdí, že existují čtyři odlišné fasety, faktorová analýza by měla odhalit čtyři faktory, a to zásadně v nezávislém vzorku, ne jen v tom, na kterém byla škála vytvořena. Velké množství nástrojů reprodukuje zamýšlenou strukturu ve vývojovém vzorku a v jakémkoli jiném selže.

Vztahy k dalším proměnným jsou oblastí, kde se odvádí většina práce. Konvergentní důkazy ukazují, že škála koreluje s tím, s čím by korelovat měla. Diskriminační důkazy ukazují, že nekoreluje příliš vysoko s tím, od čeho by měla být odlišná. Jde o chronicky opomíjený požadavek a právě na něm ztroskotá mnoho nově pojmenovaných konstruktů. Kriteriální důkazy ukazují, že skóre souvisí s výsledkem, na kterém záleží, ať už měřeným současně, nebo předpovídaným předem.

Důkazy o důsledcích se ptají, co se stane, když se test použije. Pokud nástroj systematicky znevýhodňuje určitou skupinu z důvodů, které s konstruktem nesouvisejí, jde o problém validity, nejen o problém etický.

Otázka, která odhalí většinu tvrzení

Nejostřejší zkouškou tvrzení o validitě je inkrementální validita: přidává tento nástroj něco navíc k tomu, co ti už řekne levnější, starší a zavedené měřítko?

Pozoruhodné množství značkových konstruktů zde selhává. Korelují na úrovni 0,7 nebo vyšší s některou existující doménou Big Five, předpovídají stejné výsledky ve stejné síle a po statistické kontrole staršího měřítka nepřidávají nic. Konstrukt je nový; měření nikoli. Proto se kritické části seriózní dokumentace nástrojů tak často točí kolem nadbytečnosti, a ne nepřesnosti.

Na co se zaměřit

Když někdo tvrdí, že je test validovaný, užitečné otázky jsou konkrétní. Validovaný vůči jakému kritériu? V jaké populaci a o jaké velikosti? Byla faktorová struktura potvrzena v nezávislém vzorku? Existují publikované důkazy od výzkumníků, kteří nemají na výsledku komerční zájem? Přidává něco navíc oproti zavedené alternativě?

Nástroj, který na tyto otázky odpovídá poctivě, si zaslouží, abys ho bral/a vážně, včetně jeho omezení. Nástroj, jehož validace spočívá ve stránce s referencemi a tvrzení, že ho vyplnily miliony lidí, odpověděl na úplně jinou otázku. Popularita není důkaz a počet lidí, kteří test vyplnili, neříká nic o tom, zda jeho skóre něco znamenají.