Čo znamená, keď test niečo predpovedá
Korelácia 0,30 je vo výskume osobnosti silným zistením, no slabým základom na rozhodnutie o jednom človeku. Obe tvrdenia sú pravdivé a práve rozdiel medzi nimi spôsobuje väčšinu nesprávneho používania výsledkov testov.
Výskum osobnosti uvádza, že svedomitosť predikuje pracovný výkon. Keď si túto vetu prečíta väčšina ľudí, predstaví si niečo oveľa silnejšie, než čo ukazujú dáta. Práve v priepasti medzi štatistickým tvrdením a bežným významom slova "predikuje" sa začína väčšina zneužívania psychologického testovania.
O aké čísla ide
Veľkosti účinku vo výskume osobnosti sa zvyčajne uvádzajú ako korelácie. Metaanalytické hodnoty pre dobre podložené vzťahy sa spravidla pohybujú medzi 0,20 a 0,35. Vzťah svedomitosti a pracovného výkonu je okolo 0,20 až 0,25. Vzťah pracovnej spokojnosti a pracovného výkonu je okolo 0,30. Všeobecné mentálne schopnosti, najsilnejší samostatný prediktor v tejto oblasti, dosahujú pri zložitej práci približne 0,50.
Keď koreláciu umocníš na druhú, dostaneš podiel vysvetleného rozptylu. Korelácia 0,25 vysvetľuje asi šesť percent rozdielov medzi ľuďmi. Deväťdesiatštyri percent tvorí niečo iné: schopnosti, príležitosti, zaškolenie, vedenie, zdravie, šťastie.
Prečo je 0,25 napriek tomu skutočné zistenie
V populačnom meradle vytvárajú malé korelácie podstatné súhrnné účinky. Ak vyberáš tisíc ľudí, prediktor s hodnotou 0,25 zlepší tvoj priemerný výsledok merateľne a opakovane. Poisťovatelia a epidemiológovia stavajú celé postupy na účinkoch takejto veľkosti.
Háčik je v tom, že súhrnný prínos a individuálna predikcia sú odlišné veličiny. Korelácia 0,25 znamená, že medzi ľuďmi s vysokým skóre bude viac tých, ktorí podajú dobrý výkon, než medzi ľuďmi s nízkym skóre. Zároveň to však znamená, že veľmi veľa ľudí s vysokým skóre bude podávať slabý výkon a veľmi veľa ľudí s nízkym skóre bude vynikať. Obe tvrdenia vychádzajú z toho istého čísla.
Individuálny prípad
Toto je krok, ktorý sa vynecháva. Korelácia opisuje vzťah medzi dvoma rozdeleniami. Neoprávňuje na tvrdenie o žiadnej konkrétnej osobe.
Ak svedomitosť koreluje s výkonom na úrovni 0,25, potom znalosť niečieho skóre svedomitosti zúži pravdepodobný rozsah jeho výkonu len nepatrne. Predikčný interval pre jedného jednotlivca zostáva dosť široký na to, aby zahŕňal takmer celý rozsah výsledkov. Informácia, že si na 80. percentile svedomitosti, ti povie veľmi málo o tom, ako sa ti bude dariť v konkrétnej práci.
Preto je používanie skóre osobnosti ako hlavného výberového filtra slabo podložené, aj keď je samotný výskum spoľahlivý. Výskum podporuje tvrdenie, že na danej črte záleží. Nepodporuje tvrdenie, že skóre ti povie, čo uchádzač urobí.
Dve ďalšie upozornenia
Predikovať a spôsobovať nie je to isté. Takmer celá táto literatúra je korelačná. To, že svedomitosť predikuje zdravotné výsledky, je v súlade s tým, že svedomitosť spôsobuje lepšie zdravotné správanie, s tým, že oboje spôsobuje tretí faktor, aj s opačnou kauzalitou. Longitudinálne dizajny možnosti zužujú; len zriedka ich uzavrú.
Kritériá založené na sebavýpovedi čísla nafukujú. Keď prediktor aj výsledok uvádza v sebavýpovedi tá istá osoba v to isté popoludnie, rozptyl spoločnej metódy koreláciu zvyšuje. Štúdie s objektívnymi výsledkami alebo hodnoteniami od iných ľudí zvyčajne uvádzajú menšie účinky, a práve tým treba prikladať väčšiu váhu.
Na čo je skóre naozaj dobré
Ak ho čítaš ako opis, a nie ako proroctvo, je skóre z testu skutočne užitočné. Povie ti, kde stojíš v porovnaní s referenčnou populáciou v črte, ktorá má zdokumentované dôsledky, a dá ti slovník pre vzorec, ktorý si možno vnímal/a, no nevedel/a si ho pomenovať.
To stojí za to mať. Je to však niečo iné než predpoveď a toto rozlíšenie by za teba mala urobiť poctivá správa, namiesto toho, aby ťa nechala domýšľať si ho.
Vyskúšaj to v teste
Čítať o meraní je jedna vec. Vidieť vlastné skóre spolu s jeho zdrojom, normatívnou vzorkou a obmedzeniami je niečo iné. Zadarmo, bez registrácie.
Čítať ďalej
- Čo je psychometria?Disciplína, ktorá zisťuje, či je psychologické meranie naozaj kvalitné, a dôvod, prečo sa dva testy s podobnými otázkami môžu obrovsky líšiť v tom, akú hodnotu majú ich výsledky.
- Čo je reliabilita v psychologickom testovaní?Reliabilita je konzistencia merania, nie jeho správnosť. Test môže mať vysokú reliabilitu, a pritom merať niečo iné, než má. Preto je to prvá otázka, ktorú si kladieme, a nikdy nie posledná.
- Čo je validita v psychologickom testovaní?Validita nie je vlastnosť, ktorú test má. Je to argument o tom, či je konkrétna interpretácia konkrétneho skóre na konkrétny účel obhájiteľná, a pre každé nové použitie sa musí vybudovať odznova.
- Čo je konštruktová validita?Najťažšia otázka merania: či to, čo meriaš, existuje tak, ako si to definoval, a či tvoj nástroj zachytáva práve to, a nie niečo príbuzné.
- Konvergentná a diskriminačná validitaDve zrkadlové požiadavky: miera sa musí zhodovať s tým, s čím by sa mala zhodovať, a musí zostať odlišná od toho, čím podľa vlastných slov nie je. Väčšina slabých nástrojov zlyháva v tej druhej.
- Čo je Cronbachova alfa a čo ňou nie jeNajčastejšie uvádzaná štatistika v psychologickom testovaní a zároveň najčastejšie nesprávne chápaná. Alfa ti nepovie, že škála je jednodimenzionálna, a vysoká hodnota je často skôr symptómom než prednosťou.
- Štandardná chyba merania: o koľko sa tvoje skóre môže odchyľovaťKaždé skóre má určitú chybu merania a pri väčšine psychologických testov je väčšia, než si ľudia myslia. Toto je číslo, ktoré ti povie, kedy je rozdiel skutočný a kedy ide len o šum.
- Normy a percentily: s čím sa tvoje skóre porovnávaHrubé skóre samo osebe nemožno interpretovať. Zmysel nadobúda až v porovnaní s referenčnou skupinou, a to, ktorá skupina bola použitá, je jedným z najzávažnejších a najmenej zdôrazňovaných faktov o akomkoľvek teste.
- Ako sa psychometrický test naozaj vytváraOd definície konštruktu po zverejnené normy trvá tento postup roky a väčšina toho, čo doň vstupuje, sa vyradí. Keď poznáš jednotlivé kroky, je zrejmé, ktoré z nich rýchly online kvíz vynechal.
- Čo znamená, keď sa o teste hovorí, že je validovaný?Toto slovo nie je nijako regulované a voľne ho používajú produkty, ktoré nevykonali nič z potrebnej práce. Tu je, čo znamená, keď naozaj niečo znamená, a štyri otázky, ktoré tieto dva prípady od seba odlíšia.
- Prečo väčšina internetových testov osobnosti nie je reliabilnáNie preto, že by boli nečestní, ale preto, že kroky, vďaka ktorým je meranie dôveryhodné, sú neviditeľné, drahé a ľahko sa dajú vynechať; a ich vynechanie nijako nezmení to, ako výsledok vyzerá.
- Čo sebavýpoveď dokáže a nedokáže meraťDotazníky od teba žiadajú, aby si bol pozorovateľom samého seba, čo pri niektorých veciach funguje lepšie než pri iných. Keď vieš, kde je táto metóda silná a kde zlyháva, zmení to spôsob, akým čítaš akýkoľvek výsledok.
- Skríning nie je diagnózaSkríningový dotazník je skonštruovaný tak, aby zachytil čo najviac možných prípadov, pričom vysoký podiel falošne pozitívnych výsledkov akceptuje ako daň. Ak čítaš skríningové skóre ako diagnózu, obraciaš naruby to, na čo bol navrhnutý.