Čo je konštruktová validita?
Najťažšia otázka merania: či to, čo meriaš, existuje tak, ako si to definoval, a či tvoj nástroj zachytáva práve to, a nie niečo príbuzné.
Konštruktová validita sa pýta, či nástroj meria teoretický konštrukt, ktorý tvrdí, že meria, a nie niečo, čo s ním súvisí, niečo užšie alebo vôbec nič súdržné. Je to najhlbšia forma dôkazov o validite a tá, ktorej preukázanie trvá roky, nie jednu štúdiu.
Ťažkosť je štrukturálna. Konštrukt, ako je odolnosť alebo emocionálna inteligencia, nie je objekt; je to navrhovaná pravidelnosť v správaní. Ak chceš ukázať, že ho škála meria, musíš súčasne obhájiť tvrdenie, že konštrukt existuje tak, ako je opísaný, aj to, že práve tieto položky ho zachytávajú. Tieto dve tvrdenia sa nedajú oddeliť, a preto ho Cronbach a Meehl, ktorí túto myšlienku predstavili v roku 1955, poňali ako testovanie celej teoretickej siete, nie jedného nástroja.
Ako sa dôkazy budujú
Predpovedané vzorce korelácií. Teória hovorí, s čím by mal konštrukt súvisieť a ako silno. Súcit so sebou by mal pozitívne korelovať so spokojnosťou so životom, negatívne s depresiou a len stredne so sebaúctou; ak by so sebaúctou koreloval na úrovni 0,9, nebol by samostatným konštruktom. Každá z týchto predpovedí je overiteľné tvrdenie a ak sa niektorá nepotvrdí, aj to niečo hovorí.
Očakávané rozdiely medzi skupinami. Ak teória hovorí, že sa črta vyvíja s vekom alebo je zvýšená v klinickej populácii, nástroj by to mal ukázať. Ak sa rozdiel, ktorý teória vyžaduje, nenájde, je to dôkaz proti nástroju, teórii alebo oboje.
Reakcia na intervenciu. Ak sa má konštrukt dať trénovať, skóre by sa po tréningu malo zmeniť a v kontrolnej skupine nie. Konštrukty, ktoré nikdy na nič nereagujú, sa ťažko odlišujú od artefaktov.
Vnútorná štruktúra. Faktorová štruktúra by mala zodpovedať teoreticky predpokladanej štruktúre, a to dôležité, na novej vzorke. Exploračná faktorová analýza na vývojových dátach nájde akúkoľvek štruktúru, ktorá do nich bola vložená; až konfirmačná analýza na nových dátach tvrdenie skutočne testuje.
Myšlienka viacerých čŕt a viacerých metód
Prínos Campbella a Fiskeho z roku 1959 spočíval v trvaní na tom, že konštruktová validita vyžaduje dve veci naraz: merania tej istej črty rôznymi metódami by sa mali zhodovať a merania rôznych čŕt tou istou metódou by sa zhodovať nemali.
Práve v tejto druhej časti má väčšina nástrojov problémy. Ak tvoja empatia v sebavýpovedi koreluje na úrovni 0,7 s tvojou prívetivosťou v sebavýpovedi a na úrovni 0,2 s empatiou hodnotenou pozorovateľom, tvoj dotazník najsilnejšie nemeria empatiu, ale tvoj všeobecný spôsob, akým sa v dotazníkoch opisuješ. Rozptyl spôsobený metódou je jedným z najtrvalejších problémov výskumu založeného na sebavýpovedi, a preto sa seriózna validačná práca snaží všade, kde je to možné, nájsť kritérium mimo dotazníka.
Prečo je to dôležité pri čítaní tvojich výsledkov
Konštruktová validita je to, čo stojí medzi skóre a jeho interpretáciou. Keď dobre validovaný nástroj uvádza, že máš vysoké skóre v nejakej črte, reťazec úvah za týmto tvrdením zahŕňa desaťročia publikovanej práce, ktorá preukázala, že sa črta správa ako súdržná veličina, že ju tieto položky zachytávajú a že skóre znamená niečo podobné u rôznych ľudí, ktorí test vypĺňajú.
Keď to isté uvádza test bez konštruktovej validácie, skóre je číslo vygenerované algoritmom, ktorý nikto neoveril. Na obrazovke s výsledkami vyzerajú obe rovnako. Rozdiel je výlučne v dokumentácii, a preto sa oplatí ju hľadať.
Vyskúšaj to v teste
Čítať o meraní je jedna vec. Vidieť vlastné skóre spolu s jeho zdrojom, normatívnou vzorkou a obmedzeniami je niečo iné. Zadarmo, bez registrácie.
Čítať ďalej
- Čo je psychometria?Disciplína, ktorá zisťuje, či je psychologické meranie naozaj kvalitné, a dôvod, prečo sa dva testy s podobnými otázkami môžu obrovsky líšiť v tom, akú hodnotu majú ich výsledky.
- Čo je reliabilita v psychologickom testovaní?Reliabilita je konzistencia merania, nie jeho správnosť. Test môže mať vysokú reliabilitu, a pritom merať niečo iné, než má. Preto je to prvá otázka, ktorú si kladieme, a nikdy nie posledná.
- Čo je validita v psychologickom testovaní?Validita nie je vlastnosť, ktorú test má. Je to argument o tom, či je konkrétna interpretácia konkrétneho skóre na konkrétny účel obhájiteľná, a pre každé nové použitie sa musí vybudovať odznova.
- Konvergentná a diskriminačná validitaDve zrkadlové požiadavky: miera sa musí zhodovať s tým, s čím by sa mala zhodovať, a musí zostať odlišná od toho, čím podľa vlastných slov nie je. Väčšina slabých nástrojov zlyháva v tej druhej.
- Čo je Cronbachova alfa a čo ňou nie jeNajčastejšie uvádzaná štatistika v psychologickom testovaní a zároveň najčastejšie nesprávne chápaná. Alfa ti nepovie, že škála je jednodimenzionálna, a vysoká hodnota je často skôr symptómom než prednosťou.
- Štandardná chyba merania: o koľko sa tvoje skóre môže odchyľovaťKaždé skóre má určitú chybu merania a pri väčšine psychologických testov je väčšia, než si ľudia myslia. Toto je číslo, ktoré ti povie, kedy je rozdiel skutočný a kedy ide len o šum.
- Normy a percentily: s čím sa tvoje skóre porovnávaHrubé skóre samo osebe nemožno interpretovať. Zmysel nadobúda až v porovnaní s referenčnou skupinou, a to, ktorá skupina bola použitá, je jedným z najzávažnejších a najmenej zdôrazňovaných faktov o akomkoľvek teste.
- Ako sa psychometrický test naozaj vytváraOd definície konštruktu po zverejnené normy trvá tento postup roky a väčšina toho, čo doň vstupuje, sa vyradí. Keď poznáš jednotlivé kroky, je zrejmé, ktoré z nich rýchly online kvíz vynechal.
- Čo znamená, keď sa o teste hovorí, že je validovaný?Toto slovo nie je nijako regulované a voľne ho používajú produkty, ktoré nevykonali nič z potrebnej práce. Tu je, čo znamená, keď naozaj niečo znamená, a štyri otázky, ktoré tieto dva prípady od seba odlíšia.
- Prečo väčšina internetových testov osobnosti nie je reliabilnáNie preto, že by boli nečestní, ale preto, že kroky, vďaka ktorým je meranie dôveryhodné, sú neviditeľné, drahé a ľahko sa dajú vynechať; a ich vynechanie nijako nezmení to, ako výsledok vyzerá.
- Čo sebavýpoveď dokáže a nedokáže meraťDotazníky od teba žiadajú, aby si bol pozorovateľom samého seba, čo pri niektorých veciach funguje lepšie než pri iných. Keď vieš, kde je táto metóda silná a kde zlyháva, zmení to spôsob, akým čítaš akýkoľvek výsledok.
- Čo znamená, keď test niečo predpovedáKorelácia 0,30 je vo výskume osobnosti silným zistením, no slabým základom na rozhodnutie o jednom človeku. Obe tvrdenia sú pravdivé a práve rozdiel medzi nimi spôsobuje väčšinu nesprávneho používania výsledkov testov.
- Skríning nie je diagnózaSkríningový dotazník je skonštruovaný tak, aby zachytil čo najviac možných prípadov, pričom vysoký podiel falošne pozitívnych výsledkov akceptuje ako daň. Ak čítaš skríningové skóre ako diagnózu, obraciaš naruby to, na čo bol navrhnutý.