Proč většina internetových testů osobnosti není reliabilní

Bezplatný online test osobnosti a validovaný psychometrický nástroj dávají výsledky, které vypadají stejně: skóre, percentil, odstavec, který tě popisuje. Rozdíl spočívá výhradně v práci, kterou na obrazovce s výsledky nevidíš.

Stojí za to být v tom přesný, protože obvyklé tvrzení, že internetové testy jsou podvod, je většinou mylné a příliš nepomáhá. Většinu z nich vytvářejí lidé bez úmyslu klamat. Nespolehlivé jsou ze strukturálních důvodů.

Co se obvykle vynechává

Analýza položek. V řádně vytvořené škále se po pilotním ověření většina navržených položek vyřadí: položky, na které všichni odpovídají stejně, položky, které slabě korelují s celkovým skóre, položky, které se vážou k více než jednomu faktoru, i položky, které se chovají odlišně v různých věkových nebo jazykových skupinách. Test napsaný a zveřejněný bez pilotního ověření si ponechal všechno, včetně položek, které nefungují.

Nezávislé potvrzení struktury. Faktorová analýza dat, na nichž byla škála vytvořena, odhalí strukturu, kterou její tvůrci navrhli. Potvrdit ji na novém vzorku vyžaduje samostatnou studii a právě v tomto kroku značná část škál neuspěje.

Normy. Percentil musí z něčeho vycházet. Pokud web neuvádí svou referenční populaci, číslo je odvozené buď od předchozích návštěvníků, tedy skupiny neznámého složení, jejíž členové se sami rozhodli test vyplnit, nebo nemá žádný konkrétní základ.

Údaje z opakovaného testování. Zjistit, zda lidé dosáhnou stejného skóre i příští měsíc, vyžaduje znovu je kontaktovat. To téměř nikdo nedělá, takže stabilita, kterou slovo "rys" naznačuje, nebyla prokázána.

Motivace při tvorbě testu míří špatným směrem

Test vytvořený s cílem zaujmout je optimalizovaný na jiný výsledek než test vytvořený s cílem být přesný. Tyto dva cíle se předvídatelným způsobem rozcházejí.

Lichotivé výsledky fungují lépe. Výsledek, který ti sděluje něco nepříjemného, lidé sdílejí méně, a popisy se tak posouvají k tomu, v čem se pozná každý. Jde o Barnumův efekt, prokázaný ve 40. letech 20. století a od té doby opakovaně potvrzovaný: lidé hodnotí obecné popisy osobnosti jako velmi přesné právě pro sebe.

Typy fungují lépe než dimenze. "Jsi Architekt" se sdílí snáz než "v otevřenosti jsi na 68. percentilu s širokým intervalem spolehlivosti". Typy také zakrývají chybu měření, protože lidé, jejichž skóre leží o jediný bod na opačných stranách hranice mezi kategoriemi, dostanou úplně odlišná označení.

Krátký test funguje lépe než dostatečně obsáhlý. S každou další otázkou část respondentů odpadne, takže se testy zkracují na délku, která maximalizuje počet dokončení, místo aby dostatečně pokrývaly konstrukt.

Nic z toho není lež. Jde o optimalizaci podle jiného ukazatele, než je přesnost.

Jak to poznat asi za třicet sekund

Hledej pojmenovaný zdrojový nástroj s uvedením autorů a roku. Hledej údaj o tom, z jaké populace pocházejí normy. Hledej jakoukoli zmínku o omezeních nebo chybě měření. Podívej se, zda je výsledkem spojité skóre, nebo kategorie. A zda stejná stránka zároveň slibuje, že z dvaceti otázek určí tvou ideální kariéru, partnera nebo životní poslání.

Test, který uvádí svůj nástroj, cituje zdroj, popisuje normy a říká, co ti nemůže sdělit, má potřebnou práci za sebou. Test, který nic z toho nedělá, může být pořád příjemným způsobem, jak strávit pět minut, ale číslo, které nabídne, je jen na ozdobu.

U každého nástroje v katalogu NOESIS je uvedeno, který publikovaný test používá, kdo jej vytvořil, ve kterém roce, jak se vypočítává skóre a co jeho výsledky neprokazují. Právě tu poslední část stojí za to porovnat.