Čo je psychometria?
Disciplína, ktorá zisťuje, či je psychologické meranie naozaj kvalitné, a dôvod, prečo sa dva testy s podobnými otázkami môžu obrovsky líšiť v tom, akú hodnotu majú ich výsledky.
Psychometria je odvetvie psychológie, ktoré sa zaoberá samotným meraním. Nie tým, čo znamená extraverzia, ale tým, či daný súbor otázok extraverziu skutočne meria, koľko chyby je vo výslednom čísle a čo toto číslo smie predpovedať.
Tento rozdiel je dôležitejší, než sa zdá. Ktokoľvek môže napísať dvadsať otázok o tom, aký je niekto spoločenský, a sčítať odpovede. Psychometria je práca, ktorá prichádza potom: ukázať, že tých dvadsať otázok drží pokope, že merajú jednu vec, a nie tri, že ten istý človek dosiahne o mesiac približne rovnaké skóre, že skóre súvisí s tým, ako sa daný človek skutočne správa, a že celý aparát funguje rovnako pre 22-ročného človeka v Lisabone ako pre 55-ročného v Mníchove.
Prečo bola potrebná samostatná disciplína
Fyzikálne meranie má výhodu, ktorú psychológia nemá: k meranej veci môžeš priložiť meter. Na svedomitosť žiadny meter neexistuje. Táto črta nie je priamo pozorovateľná; usudzuje sa na ňu zo správania a odpovede v dotazníku sú ďalšou vrstvou usudzovania navyše.
Psychometrici to nazývajú latentná premenná: niečo dostatočne skutočné na to, aby to malo dôsledky, no dosiahnuteľné vždy len cez nepriame ukazovatele. Celý metodologický aparát existuje práve kvôli tejto nepriamosti. Každá technika, s ktorou sa stretneš (faktorová analýza, koeficienty reliability, teória odpovede na položku, normatívne vzorky), je pokusom povedať niečo obhájiteľné o veličine, ktorú nikto nemôže pozorovať.
Tri otázky
Ak odhliadneš od odbornej slovnej zásoby, psychometria kladie každému nástroju tri otázky.
Je konzistentný? Ak je meranie väčšinou šum, na ničom inom nezáleží. Konzistentnosť sa overuje naprieč položkami (zhodujú sa otázky medzi sebou?), v čase (dosiahne ten istý človek o mesiac rovnaké skóre?) a tam, kde je to relevantné, aj naprieč hodnotiteľmi. Toto je reliabilita.
Meria to, čo tvrdí? Dotazník môže byť dokonale konzistentný, a pritom merať nesprávnu vec. Škála, ktorá tvrdí, že meria potenciál na vedenie, no koreluje na úrovni 0,8 s obyčajnou sebaúctou, meria sebaúctu. Toto je validita a nie je to vlastnosť, ktorú nástroj buď má, alebo nemá; je to argument postavený z nahromadených dôkazov.
V porovnaní s kým? Hrubé skóre 34 samo osebe nič neznamená. Interpretovateľným sa stáva až vo vzťahu k referenčnej skupine: 34 je vysoké v porovnaní s akou populáciou, meranou kedy a kde? Toto je úloha noriem a práve tento krok väčšina spotrebiteľských testov úplne vynecháva.
Ako vyzerá dobrá prax
Dobre zostavený nástroj má za sebou zdokumentovanú stopu. Niekto zverejnil, ako boli položky napísané a ktoré boli vyradené. Niekto uviedol koeficienty reliability v konkrétnych vzorkách aj s ich veľkosťou. Niekto overil, či faktorová štruktúra obstojí v druhej, nezávislej vzorke, a nie v tej, na ktorej bol nástroj vytvorený. Niekto skontroloval, či sa položky správajú rovnako naprieč jazykmi a vekovými skupinami. A niekto ďalší, ideálne bez akéhokoľvek záujmu na danom nástroji, sa pokúsil zistenia zopakovať a oznámil, čo sa stalo.
Nič z toho nerobí test neomylným. Robí to jeho hranice poznateľnými, a to je iná a užitočnejšia vlastnosť. Nástroj so zdokumentovanou chybou merania ti povie, nakoľko môžeš dôverovať malému rozdielu medzi dvoma skóre. Nástroj bez zverejneného odhadu chyby nie je presnejší; len o svojej nepresnosti mlčí.
Kam ťa to privádza
Psychometria ti nepovie, že test je pravdivý. Povie ti, ako ďaleko možno skóre posunúť, kým prestane čokoľvek znamenať: na ktoré otázky dokáže odpovedať, na akých populáciách bolo kalibrované a aký veľký musí byť rozdiel, aby stál za povšimnutie.
Je to užší prísľub, než aký dáva väčšina produktov o osobnosti. Je to však aj jediný prísľub, ktorý obstojí pri konfrontácii s dôkazmi.
Vyskúšaj to v teste
Čítať o meraní je jedna vec. Vidieť vlastné skóre spolu s jeho zdrojom, normatívnou vzorkou a obmedzeniami je niečo iné. Zadarmo, bez registrácie.
Čítať ďalej
- Čo je reliabilita v psychologickom testovaní?Reliabilita je konzistencia merania, nie jeho správnosť. Test môže mať vysokú reliabilitu, a pritom merať niečo iné, než má. Preto je to prvá otázka, ktorú si kladieme, a nikdy nie posledná.
- Čo je validita v psychologickom testovaní?Validita nie je vlastnosť, ktorú test má. Je to argument o tom, či je konkrétna interpretácia konkrétneho skóre na konkrétny účel obhájiteľná, a pre každé nové použitie sa musí vybudovať odznova.
- Čo je konštruktová validita?Najťažšia otázka merania: či to, čo meriaš, existuje tak, ako si to definoval, a či tvoj nástroj zachytáva práve to, a nie niečo príbuzné.
- Konvergentná a diskriminačná validitaDve zrkadlové požiadavky: miera sa musí zhodovať s tým, s čím by sa mala zhodovať, a musí zostať odlišná od toho, čím podľa vlastných slov nie je. Väčšina slabých nástrojov zlyháva v tej druhej.
- Čo je Cronbachova alfa a čo ňou nie jeNajčastejšie uvádzaná štatistika v psychologickom testovaní a zároveň najčastejšie nesprávne chápaná. Alfa ti nepovie, že škála je jednodimenzionálna, a vysoká hodnota je často skôr symptómom než prednosťou.
- Štandardná chyba merania: o koľko sa tvoje skóre môže odchyľovaťKaždé skóre má určitú chybu merania a pri väčšine psychologických testov je väčšia, než si ľudia myslia. Toto je číslo, ktoré ti povie, kedy je rozdiel skutočný a kedy ide len o šum.
- Normy a percentily: s čím sa tvoje skóre porovnávaHrubé skóre samo osebe nemožno interpretovať. Zmysel nadobúda až v porovnaní s referenčnou skupinou, a to, ktorá skupina bola použitá, je jedným z najzávažnejších a najmenej zdôrazňovaných faktov o akomkoľvek teste.
- Ako sa psychometrický test naozaj vytváraOd definície konštruktu po zverejnené normy trvá tento postup roky a väčšina toho, čo doň vstupuje, sa vyradí. Keď poznáš jednotlivé kroky, je zrejmé, ktoré z nich rýchly online kvíz vynechal.
- Čo znamená, keď sa o teste hovorí, že je validovaný?Toto slovo nie je nijako regulované a voľne ho používajú produkty, ktoré nevykonali nič z potrebnej práce. Tu je, čo znamená, keď naozaj niečo znamená, a štyri otázky, ktoré tieto dva prípady od seba odlíšia.
- Prečo väčšina internetových testov osobnosti nie je reliabilnáNie preto, že by boli nečestní, ale preto, že kroky, vďaka ktorým je meranie dôveryhodné, sú neviditeľné, drahé a ľahko sa dajú vynechať; a ich vynechanie nijako nezmení to, ako výsledok vyzerá.
- Čo sebavýpoveď dokáže a nedokáže meraťDotazníky od teba žiadajú, aby si bol pozorovateľom samého seba, čo pri niektorých veciach funguje lepšie než pri iných. Keď vieš, kde je táto metóda silná a kde zlyháva, zmení to spôsob, akým čítaš akýkoľvek výsledok.
- Čo znamená, keď test niečo predpovedáKorelácia 0,30 je vo výskume osobnosti silným zistením, no slabým základom na rozhodnutie o jednom človeku. Obe tvrdenia sú pravdivé a práve rozdiel medzi nimi spôsobuje väčšinu nesprávneho používania výsledkov testov.
- Skríning nie je diagnózaSkríningový dotazník je skonštruovaný tak, aby zachytil čo najviac možných prípadov, pričom vysoký podiel falošne pozitívnych výsledkov akceptuje ako daň. Ak čítaš skríningové skóre ako diagnózu, obraciaš naruby to, na čo bol navrhnutý.