Ako sa psychometrický test naozaj vytvára
Od definície konštruktu po zverejnené normy trvá tento postup roky a väčšina toho, čo doň vstupuje, sa vyradí. Keď poznáš jednotlivé kroky, je zrejmé, ktoré z nich rýchly online kvíz vynechal.
Psychometrický nástroj, ktorý sa dostane až k publikácii, má zvyčajne za sebou päť alebo šesť rokov práce a väčšinu toho, čo sa preň napísalo, zahodil. Oplatí sa poznať celý postup, pretože každá jeho fáza zodpovedá jednému spôsobu, akým môže byť test nedostatočný.
1. Vymedzenie konštruktu
Skôr než sa napíše akákoľvek položka, treba konštrukt špecifikovať tak presne, aby sa dalo povedať, čo už doň nepatrí. To znamená definíciu, opis dimenzionálnej štruktúry (jedna dimenzia alebo viacero, a ak viacero, aký je medzi nimi vzťah) a výslovné určenie, od ktorých susedných konštruktov sa má odlišovať.
Vynechanie tejto fázy je pôvodom väčšiny nadbytočných nástrojov. Škála postavená na intuitívnom chápaní nejakého pojmu zvyčajne nakoniec meria zavedenú črtu pod novým názvom.
2. Vytvorenie súboru položiek
Položiek sa napíše oveľa viac, než koľko ich prežije, typicky trojnásobok až päťnásobok konečného počtu. Pochádzajú z teórie, z existujúcich nástrojov, z rozhovorov s ľuďmi, ktorí majú opisovanú skúsenosť, a od odborníkov na danú oblasť.
V tejto fáze sa súbor posudzuje z hľadiska pokrytia obsahu (pokrýva celý konštrukt, alebo sa sústreďuje na jeden aspekt?), náročnosti na čítanie, dvojitých formulácií a položiek, ktoré sa v skutočnosti pýtajú na niečo iné.
3. Pilotáž a vyraďovanie
Súbor sa predloží prvej vzorke. Analýza je prevažne deštruktívna.
Vyraďujú sa položky takmer bez rozptylu: otázka, na ktorú všetci odpovedajú rovnako, nikoho od nikoho neodlíši. Vyraďujú sa položky, ktoré slabo korelujú s celkovým skóre. Vyraďujú sa položky, ktoré sýtia viac ako jeden faktor. Vyraďujú sa položky, ktoré sa v rôznych demografických skupinách správajú odlišne z dôvodov nesúvisiacich s črtou (diferenciálne fungovanie položiek), a práve táto kontrola sa vynecháva najčastejšie.
To, čo prežije, je typicky tretina z napísaného.
4. Potvrdenie štruktúry na novej vzorke
Toto je krok, ktorý oddeľuje seriózne nástroje od ostatných. Faktorová analýza na vývojovej vzorke odhalí štruktúru, ktorá bola do nástroja navrhnutá; musí, pretože položky boli vybrané tak, aby ju vytvorili. Skutočným testom je konfirmačná faktorová analýza na nezávislej vzorke.
Veľmi mnoho publikovaných škál odhalí zamýšľanú štruktúru len v dátach, na ktorých boli zostavené. Keď niekto iný zozbiera nové dáta, faktory sa neobjavia. Toto zlyhanie je také časté, že otázka "bola štruktúra potvrdená na nezávislej vzorke?" patrí medzi najefektívnejšie otázky, aké si možno o akomkoľvek nástroji položiť.
5. Zhromažďovanie dôkazov o validite
Korelácie so zavedenými mierami toho istého konštruktu. Korelácie s konštruktmi, od ktorých sa má odlišovať, a tie by mali byť nižšie. Vzťahy s výsledkami, na ktorých záleží. Inkrementálna validita oproti tomu, čo už existuje. Test-retest stabilita v intervale primeranom danému konštruktu.
Táto fáza sa nekončí. Pokračuje, kým sa nástroj používa, a práve v nej sa nástroje najčastejšie ukážu ako nedostatočné aj roky po publikácii.
6. Tvorba noriem
Referenčná vzorka dostatočne veľká a dostatočne reprezentatívna pre cieľovú populáciu, stratifikovaná tam, kde sa črta líši podľa veku alebo pohlavia, s dokumentovaným rokom a krajinou. A potom sa to periodicky opakuje, pretože normy sa posúvajú.
7. Preklad, ak sa bude nástroj používať inde
Preklad nie je jazykové cvičenie. Riadna adaptácia znamená preklad do cieľového jazyka, nezávislý spätný preklad, posúdenie odborníkmi, kognitívne rozhovory s hovoriacimi cieľového jazyka a potom novú psychometrickú štúdiu v novom jazyku, ktorá overí, či štruktúra platí a či položky fungujú ekvivalentne. Nástroj preložený bez takejto štúdie je v danom jazyku neotestovaný nástroj, nech má v origináli akékoľvek renomé.
Čo to znamená pre rýchly kvíz
Test napísaný za jedno popoludnie dokončil krok dva. Môže celkom dobre priniesť vierohodne vyzerajúci výsledok, percentil a odsek popisu. Kroky, ktoré vynechal, sú práve tie, ktoré by preukázali, či z toho niečo vôbec niečo znamená.
Vyskúšaj to v teste
Čítať o meraní je jedna vec. Vidieť vlastné skóre spolu s jeho zdrojom, normatívnou vzorkou a obmedzeniami je niečo iné. Zadarmo, bez registrácie.
Čítať ďalej
- Čo je psychometria?Disciplína, ktorá zisťuje, či je psychologické meranie naozaj kvalitné, a dôvod, prečo sa dva testy s podobnými otázkami môžu obrovsky líšiť v tom, akú hodnotu majú ich výsledky.
- Čo je reliabilita v psychologickom testovaní?Reliabilita je konzistencia merania, nie jeho správnosť. Test môže mať vysokú reliabilitu, a pritom merať niečo iné, než má. Preto je to prvá otázka, ktorú si kladieme, a nikdy nie posledná.
- Čo je validita v psychologickom testovaní?Validita nie je vlastnosť, ktorú test má. Je to argument o tom, či je konkrétna interpretácia konkrétneho skóre na konkrétny účel obhájiteľná, a pre každé nové použitie sa musí vybudovať odznova.
- Čo je konštruktová validita?Najťažšia otázka merania: či to, čo meriaš, existuje tak, ako si to definoval, a či tvoj nástroj zachytáva práve to, a nie niečo príbuzné.
- Konvergentná a diskriminačná validitaDve zrkadlové požiadavky: miera sa musí zhodovať s tým, s čím by sa mala zhodovať, a musí zostať odlišná od toho, čím podľa vlastných slov nie je. Väčšina slabých nástrojov zlyháva v tej druhej.
- Čo je Cronbachova alfa a čo ňou nie jeNajčastejšie uvádzaná štatistika v psychologickom testovaní a zároveň najčastejšie nesprávne chápaná. Alfa ti nepovie, že škála je jednodimenzionálna, a vysoká hodnota je často skôr symptómom než prednosťou.
- Štandardná chyba merania: o koľko sa tvoje skóre môže odchyľovaťKaždé skóre má určitú chybu merania a pri väčšine psychologických testov je väčšia, než si ľudia myslia. Toto je číslo, ktoré ti povie, kedy je rozdiel skutočný a kedy ide len o šum.
- Normy a percentily: s čím sa tvoje skóre porovnávaHrubé skóre samo osebe nemožno interpretovať. Zmysel nadobúda až v porovnaní s referenčnou skupinou, a to, ktorá skupina bola použitá, je jedným z najzávažnejších a najmenej zdôrazňovaných faktov o akomkoľvek teste.
- Čo znamená, keď sa o teste hovorí, že je validovaný?Toto slovo nie je nijako regulované a voľne ho používajú produkty, ktoré nevykonali nič z potrebnej práce. Tu je, čo znamená, keď naozaj niečo znamená, a štyri otázky, ktoré tieto dva prípady od seba odlíšia.
- Prečo väčšina internetových testov osobnosti nie je reliabilnáNie preto, že by boli nečestní, ale preto, že kroky, vďaka ktorým je meranie dôveryhodné, sú neviditeľné, drahé a ľahko sa dajú vynechať; a ich vynechanie nijako nezmení to, ako výsledok vyzerá.
- Čo sebavýpoveď dokáže a nedokáže meraťDotazníky od teba žiadajú, aby si bol pozorovateľom samého seba, čo pri niektorých veciach funguje lepšie než pri iných. Keď vieš, kde je táto metóda silná a kde zlyháva, zmení to spôsob, akým čítaš akýkoľvek výsledok.
- Čo znamená, keď test niečo predpovedáKorelácia 0,30 je vo výskume osobnosti silným zistením, no slabým základom na rozhodnutie o jednom človeku. Obe tvrdenia sú pravdivé a práve rozdiel medzi nimi spôsobuje väčšinu nesprávneho používania výsledkov testov.
- Skríning nie je diagnózaSkríningový dotazník je skonštruovaný tak, aby zachytil čo najviac možných prípadov, pričom vysoký podiel falošne pozitívnych výsledkov akceptuje ako daň. Ak čítaš skríningové skóre ako diagnózu, obraciaš naruby to, na čo bol navrhnutý.