Što je konstruktna valjanost?
Najteže pitanje u mjerenju: postoji li ono što mjeriš onako kako si ga definirao i dopire li tvoj instrument upravo do toga, a ne do nečega susjednog.
Valjanost konstrukta pita mjeri li instrument teorijski konstrukt koji tvrdi da mjeri, a ne nešto što je s njim povezano, nešto uže od njega ili ništa koherentno. To je najdublji oblik dokaza o valjanosti i onaj za čije je utvrđivanje potrebno nekoliko godina, a ne jedno istraživanje.
Teškoća je strukturalna. Konstrukt poput otpornosti ili emocionalne inteligencije nije predmet; to je pretpostavljena pravilnost u ponašanju. Da bi pokazao da ga ljestvica mjeri, moraš istodobno braniti tvrdnju da konstrukt postoji onako kako je opisan i tvrdnju da ga upravo te čestice dosežu. Te se dvije tvrdnje ne mogu razdvojiti, i zato su Cronbach i Meehl, koji su ideju uveli 1955., to postavili kao provjeru cijele teorijske mreže, a ne jednog instrumenta.
Kako se gradi dokaz
Predviđeni obrasci korelacija. Teorija govori s čime bi konstrukt trebao biti povezan i koliko snažno. Samosuosjećanje bi trebalo pozitivno korelirati sa zadovoljstvom životom, negativno s depresijom i samo umjereno sa samopoštovanjem; kad bi sa samopoštovanjem koreliralo 0,9, ne bi bilo zaseban konstrukt. Svako od tih predviđanja je tvrdnja koja se može provjeriti, a neuspjeh bilo kojeg od njih je informativan.
Očekivane razlike među skupinama. Ako teorija kaže da se neka crta razvija s dobi ili da je povišena u kliničkoj populaciji, instrument bi to trebao pokazati. Ako se ne pronađe razlika koju teorija zahtijeva, to je dokaz protiv instrumenta, teorije ili oboje.
Odgovor na intervenciju. Ako bi se konstrukt trebao moći uvježbati, rezultati bi se nakon treninga trebali pomaknuti, a u kontrolnoj skupini ne. Konstrukte koji ni na što ne reagiraju teško je razlikovati od artefakata.
Unutarnja struktura. Faktorska struktura trebala bi odgovarati teorijski pretpostavljenoj strukturi, i to, što je važno, na novom uzorku. Eksploratorna faktorska analiza na podacima iz razvoja instrumenta pronaći će onu strukturu koja je u njega ugrađena; konfirmatorna analiza na novim podacima mjesto je gdje se tvrdnja zaista provjerava.
Ideja višestrukih crta i višestrukih metoda
Doprinos Campbella i Fiskea iz 1959. bio je u inzistiranju na tome da valjanost konstrukta zahtijeva dvije stvari istodobno: mjere iste crte dobivene različitim metodama trebaju se slagati, a mjere različitih crta dobivene istom metodom ne bi se trebale slagati.
U toj drugoj polovici većina instrumenata posrće. Ako tvoja samoprocjena empatije korelira 0,7 s tvojom samoprocjenom ugodnosti, a 0,2 s empatijom koju procjenjuje promatrač, ono što tvoj upitnik najsnažnije mjeri nije empatija, nego tvoj opći način opisivanja sebe u upitnicima. Varijanca metode jedan je od najtrajnijih problema u istraživanjima utemeljenima na samoprocjeni i razlog je zbog kojeg ozbiljan rad na validaciji traži kriterij koji nije upitnik gdje god on postoji.
Zašto je to važno kad čitaš svoje rezultate
Valjanost konstrukta je ono što stoji između rezultata i njegove interpretacije. Kad dobro validiran instrument javi da imaš visok rezultat na nekoj crti, lanac zaključivanja iza te tvrdnje uključuje desetljeća objavljenih radova koji utvrđuju da se crta ponaša kao koherentna veličina, da je te čestice prate i da rezultat znači nešto slično kod svih ljudi koji rješavaju test.
Kad test bez validacije konstrukta javi isto, rezultat je broj koji je generirao algoritam koji nitko nije provjerio. Na zaslonu s rezultatima oboje izgleda jednako. Razlika je u potpunosti u dokumentaciji, i zato je dokumentaciju vrijedno potražiti.
Provjeri na testu
Čitati o mjerenju jedno je. Vidjeti vlastiti rezultat prikazan s izvorom, normativnim uzorkom i ograničenjima nešto je drugo. Besplatno, bez registracije.
Nastavi čitati
- Što je psihometrija?Disciplina koja utvrđuje je li neko psihološko mjerenje uopće dobro. Ujedno i razlog zašto se dva testa sa sličnim pitanjima mogu golemo razlikovati u tome koliko njihovi rezultati vrijede.
- Što je pouzdanost u psihološkom testiranju?Pouzdanost je dosljednost mjerenja, a ne točnost. Test može biti vrlo pouzdan, a ipak mjeriti pogrešnu stvar. Zato je to prvo pitanje koje se postavlja, a nikad posljednje.
- Što je valjanost u psihološkom testiranju?Valjanost nije svojstvo koje test posjeduje. To je argument o tome je li određena interpretacija određenog rezultata, za određenu svrhu, opravdana; i taj argument treba iznova izgraditi za svaku novu primjenu.
- Konvergentna i diskriminativna valjanostDva zrcalna zahtjeva: mjera se mora slagati s onim s čim bi se trebala slagati i mora ostati različita od onoga što tvrdi da nije. Većina slabih instrumenata ne zadovoljava drugi.
- Što je Cronbachov alfa, a što on nijeNajčešće navođena statistika u psihološkom testiranju i ona koja se najčešće pogrešno tumači. Alfa ti ne govori je li ljestvica jednodimenzionalna, a visoka vrijednost često je simptom, a ne vrlina.
- Standardna pogreška mjerenja: koliko bi tvoj rezultat mogao odstupatiSvaki rezultat nosi određenu pogrešku mjerenja, a kod većine psiholoških testova ona je veća nego što ljudi pretpostavljaju. To je broj koji ti govori kada je razlika stvarna, a kada je samo šum.
- Norme i percentili: s čime se uspoređuje tvoj rezultatSirovi rezultat sam po sebi nije moguće interpretirati. Smisao dobiva tek u usporedbi s referentnom skupinom, a to koja je skupina korištena jedna je od najvažnijih i najmanje isticanih činjenica o bilo kojem testu.
- Kako se psihometrijski test zapravo izrađujeOd definicije konstrukta do objavljenih normi, taj slijed traje godinama i odbacuje većinu onoga što u njega uđe. Kad poznaješ korake, odmah ti je jasno koje je brzi internetski kviz preskočio.
- Što znači kada se za test kaže da je validiran?Ta riječ nije zaštićena i slobodno je koriste proizvodi koji nisu obavili nimalo tog posla. Evo što znači kad doista nešto znači, i četiri pitanja koja razlikuju ta dva slučaja.
- Zašto većina internetskih testova osobnosti nije pouzdanaNe zato što su nepošteni, nego zato što su koraci koji mjerenje čine pouzdanim nevidljivi, skupi i lako ih je preskočiti; a njihovo preskakanje ne mijenja ništa u tome kako rezultat izgleda.
- Što samoprocjena može, a što ne može mjeritiUpitnici traže da budeš promatrač samog sebe, što za neke stvari funkcionira bolje nego za druge. Kad znaš gdje je metoda snažna, a gdje zakazuje, drukčije čitaš svaki rezultat.
- Što znači kada test nešto predviđaKorelacija od 0,30 snažan je nalaz u istraživanjima osobnosti, ali slaba osnova za odluku o jednoj osobi. Obje su tvrdnje točne, a jaz između njih uzrok je većine zlouporaba rezultata testova.
- Probir nije dijagnozaUpitnik za probir osmišljen je tako da otkrije što više mogućih slučajeva, pri čemu je visoka stopa lažno pozitivnih nalaza cijena koja se prihvaća. Čitati rezultat probira kao dijagnozu znači izokrenuti ono za što je osmišljen.