Co je konstruktová validita?
Nejtěžší otázka měření: zda to, co měříš, existuje tak, jak jsi to definoval/a, a zda tvůj nástroj zachycuje právě to, a ne něco příbuzného.
Konstruktová validita se ptá, zda nástroj měří teoretický konstrukt, který podle svého tvrzení měřit má, a ne něco, co s ním pouze koreluje, něco užšího nebo vůbec nic soudržného. Jde o nejhlubší podobu důkazů validity a její prokázání trvá roky, nikoli jednu studii.
Potíž vyplývá ze samotné povahy konstruktu. Konstrukt, jako je odolnost nebo emoční inteligence, není předmět; je to předpokládaná pravidelnost v chování. Chceš-li ukázat, že jej škála měří, musíš současně obhájit tvrzení, že konstrukt existuje v popsané podobě a že jej tyto konkrétní položky zachycují. Obě tvrzení nelze oddělit. Proto Cronbach a Meehl, kteří tuto myšlenku představili v roce 1955, pojali ověřování jako test celé teoretické sítě, nikoli jediného nástroje.
Jak se shromažďují důkazy
Předpovězené vzorce korelací. Teorie určuje, s čím by měl konstrukt souviset a jak silně. Soucit se sebou samým by měl pozitivně korelovat se spokojeností se životem, negativně s depresí a se sebeúctou jen středně silně. Kdyby se sebeúctou koreloval na úrovni 0,9, nešlo by o samostatný konstrukt. Každá z těchto předpovědí je ověřitelným tvrzením a její nesplnění přináší cennou informaci.
Očekávané rozdíly mezi skupinami. Pokud teorie říká, že se určitý rys vyvíjí s věkem nebo je výraznější v klinické populaci, nástroj by to měl ukázat. Pokud se nepodaří najít rozdíl, který teorie předpokládá, je to důkaz proti nástroji, teorii nebo oběma.
Reakce na intervenci. Pokud má být možné konstrukt trénovat, měla by se skóre po tréninku změnit, zatímco v kontrolní skupině nikoli. Konstrukty, které nikdy na nic nereagují, je těžké odlišit od artefaktů.
Vnitřní struktura. Faktorová struktura by měla odpovídat předpokládané struktuře, a to především v novém vzorku. Explorační faktorová analýza dat použitých při vývoji odhalí strukturu, která do nich byla vložena; teprve konfirmační analýza nových dat dané tvrzení skutečně testuje.
Myšlenka více rysů a více metod
Campbell a Fiske v roce 1959 zdůraznili, že konstruktová validita vyžaduje dvě věci zároveň: měření stejného rysu různými metodami by se měla shodovat, zatímco měření různých rysů stejnou metodou by se shodovat neměla.
Právě s druhou částí má většina nástrojů potíže. Pokud tvoje vlastní hodnocení empatie koreluje na úrovni 0,7 s tvým vlastním hodnocením přívětivosti, ale jen na úrovni 0,2 s hodnocením tvé empatie pozorovatelem, pak tvůj dotazník nejsilněji měří nikoli empatii, ale tvůj obecný způsob, jakým se v dotaznících popisuješ. Variance způsobená metodou je jedním z nejvytrvalejších problémů výzkumu založeného na sebehodnocení. Proto se důkladné validační studie snaží najít kritérium nezaložené na dotazníku všude, kde nějaké existuje.
Proč na tom záleží při čtení tvých výsledků
Konstruktová validita tvoří most mezi skóre a jeho interpretací. Když dobře validovaný nástroj uvádí, že máš v určitém rysu vysoké skóre, opírá se toto tvrzení o desetiletí publikovaných prací. Ty ukazují, že se rys projevuje jako soudržná veličina, že jej tyto položky zachycují a že skóre má u různých lidí, kteří nástroj vyplní, podobný význam.
Když totéž uvádí test bez ověření konstruktové validity, je skóre jen číslo vygenerované algoritmem, který nikdo neověřil. Na obrazovce s výsledky vypadají obě čísla stejně. Rozdíl spočívá výhradně v dokumentaci. Proto stojí za to ji vyhledat.
Vyzkoušej to
Číst si o měření je jedna věc. Vidět své vlastní skóre společně s jeho zdrojem, normativním vzorkem a omezeními je něco jiného. Test je zdarma a registrace není nutná.
Pokračovat ve čtení
- Co je psychometrie?Obor, který zjišťuje, zda je psychologické měření kvalitní. Vysvětluje také, proč se dva testy s podobnými otázkami mohou výrazně lišit v hodnotě svých výsledků.
- Co je reliabilita v psychologickém testování?Reliabilita znamená konzistenci měření, ne jeho správnost. Test může mít vysokou reliabilitu, a přesto měřit něco jiného, než má. Proto je reliabilita první otázkou, kterou je třeba položit, ale nikdy ne poslední.
- Co je validita v psychologickém testování?Validita není vlastnost, kterou test má. Jde o argument, zda je určitá interpretace konkrétního skóre pro konkrétní účel obhajitelná, a pro každé nové použití je třeba tento argument znovu vybudovat.
- Konvergentní a diskriminační validitaDva vzájemně zrcadlové požadavky: měření musí odpovídat tomu, čemu by odpovídat mělo, a zároveň se musí odlišovat od toho, čím podle svého tvrzení není. Většina slabých nástrojů nesplňuje druhý požadavek.
- Co je Cronbachovo alfa a co neníNejčastěji uváděná statistika v psychologickém testování a zároveň nejčastěji chybně vykládaná. Alfa ti neřekne, zda je škála jednodimenzionální, a vysoká hodnota je často spíše příznakem problému než předností.
- Standardní chyba měření: o kolik se může tvé skóre lišitKaždé skóre má určitou míru chyby a u většiny psychologických testů je větší, než si lidé myslí. Právě tato hodnota ti říká, kdy je rozdíl skutečný a kdy jde jen o šum.
- Normy a percentily: s čím se porovnává tvé skóreHrubé skóre samo o sobě nelze interpretovat. Smysl získává teprve ve vztahu k referenční skupině. To, která skupina byla použita, patří k nejdůležitějším, ale nejméně uváděným informacím o jakémkoli testu.
- Jak se skutečně vytváří psychometrický testOd definice konstruktu po zveřejnění norem trvá celý postup roky a většina původních návrhů neprojde. Když znáš jednotlivé kroky, snadno poznáš, které z nich rychlý online kvíz vynechal.
- Co znamená, když se o testu říká, že byl validován?Toto označení nepodléhá regulaci a volně ho používají produkty, které pro jeho oprávněné použití nic neudělaly. Tady se dozvíš, co znamená, když má skutečný obsah, a které čtyři otázky ti pomohou oba případy rozlišit.
- Proč většina internetových testů osobnosti není reliabilníNe proto, že by byli nepoctiví, ale proto, že kroky, díky nimž je měření důvěryhodné, nejsou vidět, jsou nákladné a dají se snadno vynechat. Když je vynecháš, na vzhledu výsledku se nic nezmění.
- Co může a nemůže měřit sebehodnoceníDotazníky tě žádají, abys pozoroval/a sám/sama sebe. U některých věcí to funguje lépe než u jiných. Když víš, v čem je tato metoda silná a kde selhává, mění to způsob, jakým čteš každý výsledek.
- Co znamená, když test něco předpovídáKorelace 0,30 je ve výzkumu osobnosti významným zjištěním, ale slabým základem pro rozhodnutí o jednom člověku. Obě tvrzení jsou pravdivá a rozdíl mezi nimi vede k většině případů nesprávného použití výsledků testů.
- Screening není diagnózaScreeningový dotazník je navržen tak, aby zachytil co nejvíce možných případů, i za cenu vysokého podílu falešně pozitivních výsledků. Považovat skóre ze screeningu za diagnózu znamená připisovat mu účel, pro který nebylo určeno.