Prečo väčšina internetových testov osobnosti nie je reliabilná
Nie preto, že by boli nečestní, ale preto, že kroky, vďaka ktorým je meranie dôveryhodné, sú neviditeľné, drahé a ľahko sa dajú vynechať; a ich vynechanie nijako nezmení to, ako výsledok vyzerá.
Bezplatný online test osobnosti a validovaný psychometrický nástroj produkujú výstup, ktorý vyzerá rovnako: skóre, percentil, odsek, ktorý ťa opisuje. Rozdiel je výlučne v práci, ktorú z obrazovky s výsledkami nevidíš.
Oplatí sa to povedať presne, pretože bežné tvrdenie, že internetové testy sú podvod, je väčšinou nesprávne a nie veľmi užitočné. Väčšinu z nich vytvorili ľudia bez úmyslu klamať. Sú nespoľahlivé zo štrukturálnych dôvodov.
Čo sa zvyčajne vynecháva
Analýza položiek. Pri správne zostavenej škále sa väčšina navrhnutých položiek po pilotnom overení vyradí: položky, v ktorých sa ľudia nelíšia, položky, ktoré slabo korelujú s celkovým skóre, položky, ktoré sýtia viac ako jeden faktor, položky, ktoré sa správajú odlišne v rôznych vekových alebo jazykových skupinách. Test napísaný a zverejnený bez pilotného overenia si ponechal všetko, vrátane položiek, ktoré nefungujú.
Nezávislé potvrdenie štruktúry. Faktorová analýza na dátach, z ktorých si škálu zostavil, odhalí štruktúru, ktorú si navrhol. Jej potvrdenie na novej vzorke je samostatná štúdia a práve v tomto kroku zlyhá veľká časť škál.
Normy. Percentil musí odniekiaľ pochádzať. Ak stránka neuvádza svoju referenčnú populáciu, číslo je odvodené buď od predchádzajúcich návštevníkov, teda od samovýberovej skupiny neznámeho zloženia, alebo z ničoho konkrétneho.
Dáta test-retest. Overiť, že ľudia dosiahnu rovnaké skóre aj o mesiac, si vyžaduje znovu ich nájsť. Takmer nikto to nerobí, čo znamená, že stabilita, ktorú naznačuje slovo "črta", nebola preukázaná.
Motivácie pri návrhu ťahajú nesprávnym smerom
Test vytvorený pre angažovanosť je optimalizovaný na iný výsledok ako test vytvorený pre presnosť a tieto dva ciele sa rozchádzajú predvídateľným spôsobom.
Lichotivé výsledky fungujú lepšie. Výsledok, ktorý ti povie niečo nepríjemné, sa zdieľa menej, takže výsledky sa posúvajú k opisom, v ktorých sa spozná každý. Ide o Barnumov efekt, preukázaný v 40. rokoch 20. storočia a odvtedy spoľahlivo replikovaný: ľudia hodnotia všeobecné opisy osobnosti ako veľmi presne vystihujúce práve ich.
Typy fungujú lepšie ako dimenzie. "Si Architekt" sa zdieľa lepšie ako "si na 68. percentile v otvorenosti so širokým intervalom spoľahlivosti". Typy navyše zakrývajú chybu merania, pretože niekto, kto je o jeden bod na jednej či druhej strane hranice kategórie, dostane úplne odlišné označenie.
Krátke funguje lepšie ako dostatočné. Každá ďalšia otázka stojí respondentov, takže testy sa skracujú na dĺžku, ktorá maximalizuje dokončenie, a nie na takú, ktorá pokryje konštrukt.
Nič z toho nie je lož. Je to optimalizácia na inú metriku ako presnosť.
Ako to rozpoznať asi za tridsať sekúnd
Hľadaj pomenovaný zdrojový nástroj s autormi a rokom. Hľadaj údaj o tom, z akej populácie pochádzajú normy. Hľadaj akékoľvek priznanie obmedzení alebo chyby merania. Všimni si, či je výsledkom spojité skóre alebo kategória. Všimni si, či tá istá stránka zároveň nesľubuje, že na základe dvadsiatich otázok určí tvoje ideálne povolanie, partnera alebo životné poslanie.
Test, ktorý pomenúva svoj nástroj, cituje svoj zdroj, uvádza svoje normy a hovorí, čo ti povedať nedokáže, tú prácu urobil. Ten, ktorý nerobí nič z toho, môže byť stále príjemným spôsobom, ako stráviť päť minút, no číslo, ktoré vyprodukuje, je len ozdoba.
Každý nástroj v katalógu NOESIS uvádza, ktorý publikovaný test implementuje, kto ho napísal, v ktorom roku, ako sa vyhodnocuje a čo jeho výsledky nepreukazujú. Práve tú poslednú časť sa oplatí porovnávať.
Vyskúšaj to v teste
Čítať o meraní je jedna vec. Vidieť vlastné skóre spolu s jeho zdrojom, normatívnou vzorkou a obmedzeniami je niečo iné. Zadarmo, bez registrácie.
Čítať ďalej
- Čo je psychometria?Disciplína, ktorá zisťuje, či je psychologické meranie naozaj kvalitné, a dôvod, prečo sa dva testy s podobnými otázkami môžu obrovsky líšiť v tom, akú hodnotu majú ich výsledky.
- Čo je reliabilita v psychologickom testovaní?Reliabilita je konzistencia merania, nie jeho správnosť. Test môže mať vysokú reliabilitu, a pritom merať niečo iné, než má. Preto je to prvá otázka, ktorú si kladieme, a nikdy nie posledná.
- Čo je validita v psychologickom testovaní?Validita nie je vlastnosť, ktorú test má. Je to argument o tom, či je konkrétna interpretácia konkrétneho skóre na konkrétny účel obhájiteľná, a pre každé nové použitie sa musí vybudovať odznova.
- Čo je konštruktová validita?Najťažšia otázka merania: či to, čo meriaš, existuje tak, ako si to definoval, a či tvoj nástroj zachytáva práve to, a nie niečo príbuzné.
- Konvergentná a diskriminačná validitaDve zrkadlové požiadavky: miera sa musí zhodovať s tým, s čím by sa mala zhodovať, a musí zostať odlišná od toho, čím podľa vlastných slov nie je. Väčšina slabých nástrojov zlyháva v tej druhej.
- Čo je Cronbachova alfa a čo ňou nie jeNajčastejšie uvádzaná štatistika v psychologickom testovaní a zároveň najčastejšie nesprávne chápaná. Alfa ti nepovie, že škála je jednodimenzionálna, a vysoká hodnota je často skôr symptómom než prednosťou.
- Štandardná chyba merania: o koľko sa tvoje skóre môže odchyľovaťKaždé skóre má určitú chybu merania a pri väčšine psychologických testov je väčšia, než si ľudia myslia. Toto je číslo, ktoré ti povie, kedy je rozdiel skutočný a kedy ide len o šum.
- Normy a percentily: s čím sa tvoje skóre porovnávaHrubé skóre samo osebe nemožno interpretovať. Zmysel nadobúda až v porovnaní s referenčnou skupinou, a to, ktorá skupina bola použitá, je jedným z najzávažnejších a najmenej zdôrazňovaných faktov o akomkoľvek teste.
- Ako sa psychometrický test naozaj vytváraOd definície konštruktu po zverejnené normy trvá tento postup roky a väčšina toho, čo doň vstupuje, sa vyradí. Keď poznáš jednotlivé kroky, je zrejmé, ktoré z nich rýchly online kvíz vynechal.
- Čo znamená, keď sa o teste hovorí, že je validovaný?Toto slovo nie je nijako regulované a voľne ho používajú produkty, ktoré nevykonali nič z potrebnej práce. Tu je, čo znamená, keď naozaj niečo znamená, a štyri otázky, ktoré tieto dva prípady od seba odlíšia.
- Čo sebavýpoveď dokáže a nedokáže meraťDotazníky od teba žiadajú, aby si bol pozorovateľom samého seba, čo pri niektorých veciach funguje lepšie než pri iných. Keď vieš, kde je táto metóda silná a kde zlyháva, zmení to spôsob, akým čítaš akýkoľvek výsledok.
- Čo znamená, keď test niečo predpovedáKorelácia 0,30 je vo výskume osobnosti silným zistením, no slabým základom na rozhodnutie o jednom človeku. Obe tvrdenia sú pravdivé a práve rozdiel medzi nimi spôsobuje väčšinu nesprávneho používania výsledkov testov.
- Skríning nie je diagnózaSkríningový dotazník je skonštruovaný tak, aby zachytil čo najviac možných prípadov, pričom vysoký podiel falošne pozitívnych výsledkov akceptuje ako daň. Ak čítaš skríningové skóre ako diagnózu, obraciaš naruby to, na čo bol navrhnutý.