Čo znamená, keď sa o teste hovorí, že je validovaný?
Toto slovo nie je nijako regulované a voľne ho používajú produkty, ktoré nevykonali nič z potrebnej práce. Tu je, čo znamená, keď naozaj niečo znamená, a štyri otázky, ktoré tieto dva prípady od seba odlíšia.
"Vedecky validovaný" nie je chránený pojem. Nikto ho necertifikuje, žiadny orgán ho nekontroluje a objavuje sa aj na produktoch, ktorých jediným dôkazom je, že ich vyplnilo veľa ľudí. Oplatí sa vedieť, čo znamená, keď sa používa správne.
Stručne
Validovaný nástroj má publikované záznamy o tom, čo meria, s akou presnosťou, v ktorých populáciách a na čo možno jeho skóre oprávnene použiť. Validácia nie je certifikát. Je to súbor dôkazov, ktorý sa zvyčajne zhromažďuje roky a zvyčajne obsahuje aj zistenia, ktoré použitie nástroja obmedzujú, namiesto toho, aby mu lichotili.
Prítomnosť zdokumentovaných obmedzení patrí medzi lepšie signály. Skutočná validačná literatúra je nimi plná: táto škála funguje slabo u adolescentov, tento aspekt sa nereplikuje, hraničná hodnota závisí od populácie. Produkt, ktorý uvádza len silné stránky, nezverejnil svoju validáciu; zverejnil svoj marketing.
Štyri otázky, ktoré urobia prácu
Aká je zdrojová publikácia? Validovaný nástroj má pôvodný článok v recenzovanom časopise, s autormi, rokom a zvyčajne aj DOI. Tento článok opisuje, ako vznikli položky a aké boli počiatočné psychometrické vlastnosti. Ak nikto nevie článok pomenovať, niet o akej validácii hovoriť.
Potvrdil štruktúru niekto iný? Tím, ktorý nástroj vyvinul, nájde štruktúru, ktorú sám navrhol. Podstatné je, či nezávislá skupina s nezávislými dátami zistila to isté. Je to najinformatívnejšia otázka, akú môžeš položiť, a zároveň tá, ktorá najčastejšie zostáva bez odpovede.
Na akej populácii boli vytvorené normy a kedy? Skóre je pozícia v referenčnom rozdelení. Nástroj, ktorý uvádza percentil bez toho, aby povedal, na akú populáciu sa vzťahuje, ti dal číslo bez menovateľa.
Čo pridáva? Inkrementálnu validitu oproti zavedenému meraniu. Mnohé značkové konštrukty tu zlyhávajú: korelujú so zavedenou črtou tak silno, že nevysvetľujú žiadny ďalší rozptyl v ničom. Je to bežný výsledok vedeckého skúmania a zostáva neviditeľný, kým to niekto neotestuje.
Kde to komplikuje preklad
Nástroj validovaný v angličtine tým nie je validovaný v nemčine. Riadna medzikultúrna adaptácia vyžaduje preklad a spätný preklad, odborné posúdenie, kognitívne rozhovory a potom novú psychometrickú štúdiu v novom jazyku, ktorá overí, či faktorová štruktúra platí a či jednotlivé položky fungujú v rôznych skupinách rovnocenne.
Nástroje, ktoré tento krok vynechajú, sú bežné. Dotazník s bezchybnou pôvodnou validáciou sa môže správať úplne inak v jazyku, v ktorom má kľúčová položka iný význam, a bez štúdie sa to nedá zistiť. Keď sa test ponúka v desiatich jazykoch, užitočná otázka znie, či bol validovaný v desiatich jazykoch, alebo validovaný v jednom a preložený do deviatich.
Čo validácia nezaručí
Neurobí skóre istým. Validovaný nástroj stále obsahuje chybu merania, stále opisuje pravidelnosť na úrovni populácie, nie osud jednotlivca, a stále meria len to, na čo jeho položky dosiahnu.
Validácia ti dáva poznateľné hranice. Môžeš zistiť, aká veľká je chyba, v ktorej populácii a na aký účel. Je to skromnejšie tvrdenie než "tento test odhalí, kým naozaj si", a je to jediné, ktoré obstojí.
Ak chceš vidieť, ako vyzerá dokumentácia, keď existuje: každý test v katalógu testov NOESIS uvádza nástroj, ktorý používa, jeho autorov a rok, metódu skórovania a dôkazy, o ktoré sa opiera, vrátane toho, kde sú tieto dôkazy sporné.
Vyskúšaj to v teste
Čítať o meraní je jedna vec. Vidieť vlastné skóre spolu s jeho zdrojom, normatívnou vzorkou a obmedzeniami je niečo iné. Zadarmo, bez registrácie.
Čítať ďalej
- Čo je psychometria?Disciplína, ktorá zisťuje, či je psychologické meranie naozaj kvalitné, a dôvod, prečo sa dva testy s podobnými otázkami môžu obrovsky líšiť v tom, akú hodnotu majú ich výsledky.
- Čo je reliabilita v psychologickom testovaní?Reliabilita je konzistencia merania, nie jeho správnosť. Test môže mať vysokú reliabilitu, a pritom merať niečo iné, než má. Preto je to prvá otázka, ktorú si kladieme, a nikdy nie posledná.
- Čo je validita v psychologickom testovaní?Validita nie je vlastnosť, ktorú test má. Je to argument o tom, či je konkrétna interpretácia konkrétneho skóre na konkrétny účel obhájiteľná, a pre každé nové použitie sa musí vybudovať odznova.
- Čo je konštruktová validita?Najťažšia otázka merania: či to, čo meriaš, existuje tak, ako si to definoval, a či tvoj nástroj zachytáva práve to, a nie niečo príbuzné.
- Konvergentná a diskriminačná validitaDve zrkadlové požiadavky: miera sa musí zhodovať s tým, s čím by sa mala zhodovať, a musí zostať odlišná od toho, čím podľa vlastných slov nie je. Väčšina slabých nástrojov zlyháva v tej druhej.
- Čo je Cronbachova alfa a čo ňou nie jeNajčastejšie uvádzaná štatistika v psychologickom testovaní a zároveň najčastejšie nesprávne chápaná. Alfa ti nepovie, že škála je jednodimenzionálna, a vysoká hodnota je často skôr symptómom než prednosťou.
- Štandardná chyba merania: o koľko sa tvoje skóre môže odchyľovaťKaždé skóre má určitú chybu merania a pri väčšine psychologických testov je väčšia, než si ľudia myslia. Toto je číslo, ktoré ti povie, kedy je rozdiel skutočný a kedy ide len o šum.
- Normy a percentily: s čím sa tvoje skóre porovnávaHrubé skóre samo osebe nemožno interpretovať. Zmysel nadobúda až v porovnaní s referenčnou skupinou, a to, ktorá skupina bola použitá, je jedným z najzávažnejších a najmenej zdôrazňovaných faktov o akomkoľvek teste.
- Ako sa psychometrický test naozaj vytváraOd definície konštruktu po zverejnené normy trvá tento postup roky a väčšina toho, čo doň vstupuje, sa vyradí. Keď poznáš jednotlivé kroky, je zrejmé, ktoré z nich rýchly online kvíz vynechal.
- Prečo väčšina internetových testov osobnosti nie je reliabilnáNie preto, že by boli nečestní, ale preto, že kroky, vďaka ktorým je meranie dôveryhodné, sú neviditeľné, drahé a ľahko sa dajú vynechať; a ich vynechanie nijako nezmení to, ako výsledok vyzerá.
- Čo sebavýpoveď dokáže a nedokáže meraťDotazníky od teba žiadajú, aby si bol pozorovateľom samého seba, čo pri niektorých veciach funguje lepšie než pri iných. Keď vieš, kde je táto metóda silná a kde zlyháva, zmení to spôsob, akým čítaš akýkoľvek výsledok.
- Čo znamená, keď test niečo predpovedáKorelácia 0,30 je vo výskume osobnosti silným zistením, no slabým základom na rozhodnutie o jednom človeku. Obe tvrdenia sú pravdivé a práve rozdiel medzi nimi spôsobuje väčšinu nesprávneho používania výsledkov testov.
- Skríning nie je diagnózaSkríningový dotazník je skonštruovaný tak, aby zachytil čo najviac možných prípadov, pričom vysoký podiel falošne pozitívnych výsledkov akceptuje ako daň. Ak čítaš skríningové skóre ako diagnózu, obraciaš naruby to, na čo bol navrhnutý.