Konvergentná a diskriminačná validita
Dve zrkadlové požiadavky: miera sa musí zhodovať s tým, s čím by sa mala zhodovať, a musí zostať odlišná od toho, čím podľa vlastných slov nie je. Väčšina slabých nástrojov zlyháva v tej druhej.
Konvergentná a diskriminačná validita sú dve polovice jednej požiadavky. Meranie musí korelovať s tým, s čím by teoreticky malo, a nesmie príliš vysoko korelovať s tým, od čoho sa má odlišovať. Splnenie jednej bez druhej nie je čiastočný úspech; zvyčajne je to znak, že konštrukt nie je tým, za čo sa vydáva.
Konvergentná validita
Konvergentné dôkazy ukazujú, že meranie je v súlade s inými ukazovateľmi tej istej veci. Nová škála úzkosti by mala výrazne korelovať so zavedenými škálami úzkosti, s hodnoteniami klinických odborníkov a ideálne aj s niečím, čo nie je ďalší dotazník, napríklad s fyziologickými meraniami alebo pozorovaným vyhýbavým správaním.
Korelácie sa tu zvyčajne očakávajú nad 0,50, často nad 0,70, ak je porovnávacím meraním dobre zavedený nástroj pre ten istý konštrukt. Pod touto hranicou buď nová škála, alebo porovnávacie meranie meria niečo iné.
Je tu však pasca. Korelácia 0,95 s existujúcou škálou nie je triumf. Znamená, že nový nástroj je len prebalením, a úprimná otázka znie, čo vlastne pridáva. Konvergentná validita je spodná hranica, nie cieľ, ktorý treba maximalizovať.
Diskriminačná validita
Diskriminačné dôkazy ukazujú, že meranie zostáva oddelené od konštruktov, od ktorých sa podľa vlastného tvrdenia líši. Práve tu sa odohrávajú zaujímavé zlyhania.
Tento vzorec sa v literatúre opakuje. Húževnatosť (grit) koreluje so svedomitosťou približne na úrovni 0,84, čo je tak blízko, že metaanalýza zistila, že po kontrole svedomitosti nepridáva k predikcii študijných výsledkov takmer nič. Emočná inteligencia meraná sebavýpoveďou sa výrazne prekrýva s kombináciou emočnej stability, extraverzie a svedomitosti. Spoločný rozptyl v rámci Temnej triády do veľkej miery zmizne, keď sa zohľadní Čestnosť-Pokora z modelu HEXACO. V každom prípade bol konštrukt predstavený ako nové územie a ukázalo sa, že ide o premenovanú oblasť existujúcej mapy.
Diskriminačná validita je tiež miestom, kde sa prejavujú metodické efekty. Ak každý konštrukt meraný sebavýpoveďou v štúdii koreluje s každým iným na úrovni 0,4, spoločným faktorom je pravdepodobne štýl odpovedania respondenta, a nie nejaká spoločná psychológia.
Test, ktorý to rozhodne
Rozhodujúcim postupom je inkrementálna validita: do regresie najprv vlož zavedené meranie, potom nové a sleduj, či nové vysvetľuje nejaký dodatočný rozptyl vo výsledku. Ak nie, konštrukt môže byť stále teoreticky zaujímavý, ale nástroj nemeria nič, čo by odbor už nemal.
Je to náročný štandard a veľké množstvo publikovaných škál mu nikdy nebolo podrobených. Keď sa tak stane, výsledkom je často spomínané zistenie nadbytočnosti. Nie je to škandál, ide o bežné vedecké prečisťovanie, ale znamená to, že popularita konštruktu nič nehovorí o tom, či testom prejde.
Čo to mení pre čitateľa
Keď test uvádza niekoľko skóre, užitočná otázka znie, či sú tieto skóre skutočne odlišné. Štyri dimenzie, ktoré medzi sebou korelujú na úrovni 0,8, sú jedna dimenzia so štyrmi označeniami a profil z nich zostavený bude pôsobiť diferencovane, hoci nesie takmer žiadnu nezávislú informáciu.
Nástroje, ktoré uvádzajú korelácie medzi škálami, ti umožňujú overiť si to sám. Nástroje, ktoré predstavujú typ so štyrmi kvadrantmi bez toho, aby niekedy ukázali, ako spolu kvadranty súvisia, takéto overenie znemožnili, a o to zvyčajne ide.
Vyskúšaj to v teste
Čítať o meraní je jedna vec. Vidieť vlastné skóre spolu s jeho zdrojom, normatívnou vzorkou a obmedzeniami je niečo iné. Zadarmo, bez registrácie.
Čítať ďalej
- Čo je psychometria?Disciplína, ktorá zisťuje, či je psychologické meranie naozaj kvalitné, a dôvod, prečo sa dva testy s podobnými otázkami môžu obrovsky líšiť v tom, akú hodnotu majú ich výsledky.
- Čo je reliabilita v psychologickom testovaní?Reliabilita je konzistencia merania, nie jeho správnosť. Test môže mať vysokú reliabilitu, a pritom merať niečo iné, než má. Preto je to prvá otázka, ktorú si kladieme, a nikdy nie posledná.
- Čo je validita v psychologickom testovaní?Validita nie je vlastnosť, ktorú test má. Je to argument o tom, či je konkrétna interpretácia konkrétneho skóre na konkrétny účel obhájiteľná, a pre každé nové použitie sa musí vybudovať odznova.
- Čo je konštruktová validita?Najťažšia otázka merania: či to, čo meriaš, existuje tak, ako si to definoval, a či tvoj nástroj zachytáva práve to, a nie niečo príbuzné.
- Čo je Cronbachova alfa a čo ňou nie jeNajčastejšie uvádzaná štatistika v psychologickom testovaní a zároveň najčastejšie nesprávne chápaná. Alfa ti nepovie, že škála je jednodimenzionálna, a vysoká hodnota je často skôr symptómom než prednosťou.
- Štandardná chyba merania: o koľko sa tvoje skóre môže odchyľovaťKaždé skóre má určitú chybu merania a pri väčšine psychologických testov je väčšia, než si ľudia myslia. Toto je číslo, ktoré ti povie, kedy je rozdiel skutočný a kedy ide len o šum.
- Normy a percentily: s čím sa tvoje skóre porovnávaHrubé skóre samo osebe nemožno interpretovať. Zmysel nadobúda až v porovnaní s referenčnou skupinou, a to, ktorá skupina bola použitá, je jedným z najzávažnejších a najmenej zdôrazňovaných faktov o akomkoľvek teste.
- Ako sa psychometrický test naozaj vytváraOd definície konštruktu po zverejnené normy trvá tento postup roky a väčšina toho, čo doň vstupuje, sa vyradí. Keď poznáš jednotlivé kroky, je zrejmé, ktoré z nich rýchly online kvíz vynechal.
- Čo znamená, keď sa o teste hovorí, že je validovaný?Toto slovo nie je nijako regulované a voľne ho používajú produkty, ktoré nevykonali nič z potrebnej práce. Tu je, čo znamená, keď naozaj niečo znamená, a štyri otázky, ktoré tieto dva prípady od seba odlíšia.
- Prečo väčšina internetových testov osobnosti nie je reliabilnáNie preto, že by boli nečestní, ale preto, že kroky, vďaka ktorým je meranie dôveryhodné, sú neviditeľné, drahé a ľahko sa dajú vynechať; a ich vynechanie nijako nezmení to, ako výsledok vyzerá.
- Čo sebavýpoveď dokáže a nedokáže meraťDotazníky od teba žiadajú, aby si bol pozorovateľom samého seba, čo pri niektorých veciach funguje lepšie než pri iných. Keď vieš, kde je táto metóda silná a kde zlyháva, zmení to spôsob, akým čítaš akýkoľvek výsledok.
- Čo znamená, keď test niečo predpovedáKorelácia 0,30 je vo výskume osobnosti silným zistením, no slabým základom na rozhodnutie o jednom človeku. Obe tvrdenia sú pravdivé a práve rozdiel medzi nimi spôsobuje väčšinu nesprávneho používania výsledkov testov.
- Skríning nie je diagnózaSkríningový dotazník je skonštruovaný tak, aby zachytil čo najviac možných prípadov, pričom vysoký podiel falošne pozitívnych výsledkov akceptuje ako daň. Ak čítaš skríningové skóre ako diagnózu, obraciaš naruby to, na čo bol navrhnutý.