Što je pouzdanost u psihološkom testiranju?
Pouzdanost je dosljednost mjerenja, a ne točnost. Test može biti vrlo pouzdan, a ipak mjeriti pogrešnu stvar. Zato je to prvo pitanje koje se postavlja, a nikad posljednje.
Pouzdanost je stupanj u kojem je mjerenje ponovljivo, a ne puki šum. Kad bi se izvagao tri puta u minuti i dobio 71, 78 i 66 kilograma, vaga bi bila nepouzdana i iz nje ne bi mogao saznati svoju stvarnu težinu. Psihološko mjerenje suočava se s istim problemom, uz daleko manje precizne instrumente.
Ključno je razumjeti što pouzdanost ne tvrdi. Kupaonska vaga koja dosljedno pokazuje osam kilograma više savršeno je pouzdana i potpuno pogrešna. Pouzdanost se odnosi na dosljednost; znači li broj ono što treba značiti posebno je pitanje, koje se naziva valjanost. Pouzdanost je nužna za valjanost, ali ni približno dovoljna.
Oblici pouzdanosti
Unutarnja konzistencija propituje slažu li se čestice neke ljestvice međusobno. Ako deset pitanja trebaju zahvaćati istu temeljnu crtu, osobe koje na jednom odgovore visoko trebale bi i na ostalima odgovarati visoko. Obično se izražava Cronbachovim koeficijentom alfa ili, bolje, McDonaldovim koeficijentom omega.
Test-retest pouzdanost propituje postiže li ista osoba sličan rezultat u dvije prilike. Taj je oblik najvažniji za crte, koje bi po definiciji trebale biti stabilne. Ujedno se najčešće i ne navodi, jer zahtijeva da se isti sudionici ponovno pronađu nekoliko tjedana kasnije.
Pouzdanost među procjenjivačima primjenjuje se kad instrument boduju ljudi: klinički intervjui, projektivne tehnike, opažanje ponašanja. Propituje dolaze li dva obučena procjenjivača koja gledaju isti materijal do istog zaključka.
Pouzdanost paralelnih oblika propituje daju li dvije različite verzije istog testa, izrađene da budu ekvivalentne, iste rezultate. Važna je kad god se test primjenjuje više puta i kad je izloženost čestica problem.
Kako čitati brojeve
Koeficijenti pouzdanosti kreću se od 0 do 1. Konvencije su grube i često se pogrešno koriste, ali otprilike: iznad 0,90 potrebno je kad rezultat utječe na život pojedinca, od 0,80 do 0,90 solidno je za većinu primijenjenih svrha, od 0,70 do 0,80 prihvatljivo je za istraživanja i usporedbe skupina, a ispod 0,70 znači da rezultat sadrži više šuma nego što većina zaključaka može podnijeti.
Dva upozorenja o tim pragovima. Prvo, to su konvencije, a ne zakoni; prihvatljiva razina u potpunosti ovisi o tome za što će se rezultat koristiti. Drugo, vrlo visoka alfa na kratkoj ljestvici obično pokazuje da su čestice gotovo parafraze jedna druge, čime se dosljednost kupuje po cijenu obuhvaćanja konstrukta. Ljestvica od deset pitanja koja sva pitaju "jesi li organiziran?" malo drukčijim riječima imat će izvrsnu unutarnju konzistenciju i usko tumačenje savjesnosti.
Što to znači za tvoj rezultat
Pouzdanost se izravno prevodi u to koliko povjerenja zaslužuje pojedinačni broj. Test s pouzdanošću od 0,85 nosi pogrešku mjerenja dovoljno veliku da je razlika od nekoliko bodova između dvije osobe, ili između tvog današnjeg rezultata i onog od prošlog mjeseca, vrlo vjerojatno šum, a ne signal.
To je praktična posljedica: dobar instrument navodi svoju pouzdanost kako bi znao koliko je široka nesigurnost oko tvog rezultata. Tehnički izraz te nesigurnosti je standardna pogreška mjerenja, koja koeficijent pouzdanosti pretvara u raspon plus-minus oko rezultata.
Instrument koji uopće ne navodi podatak o pouzdanosti time nije precizniji. Samo ti je odbio reći koliko je neprecizan.
Provjeri na testu
Čitati o mjerenju jedno je. Vidjeti vlastiti rezultat prikazan s izvorom, normativnim uzorkom i ograničenjima nešto je drugo. Besplatno, bez registracije.
Nastavi čitati
- Što je psihometrija?Disciplina koja utvrđuje je li neko psihološko mjerenje uopće dobro. Ujedno i razlog zašto se dva testa sa sličnim pitanjima mogu golemo razlikovati u tome koliko njihovi rezultati vrijede.
- Što je valjanost u psihološkom testiranju?Valjanost nije svojstvo koje test posjeduje. To je argument o tome je li određena interpretacija određenog rezultata, za određenu svrhu, opravdana; i taj argument treba iznova izgraditi za svaku novu primjenu.
- Što je konstruktna valjanost?Najteže pitanje u mjerenju: postoji li ono što mjeriš onako kako si ga definirao i dopire li tvoj instrument upravo do toga, a ne do nečega susjednog.
- Konvergentna i diskriminativna valjanostDva zrcalna zahtjeva: mjera se mora slagati s onim s čim bi se trebala slagati i mora ostati različita od onoga što tvrdi da nije. Većina slabih instrumenata ne zadovoljava drugi.
- Što je Cronbachov alfa, a što on nijeNajčešće navođena statistika u psihološkom testiranju i ona koja se najčešće pogrešno tumači. Alfa ti ne govori je li ljestvica jednodimenzionalna, a visoka vrijednost često je simptom, a ne vrlina.
- Standardna pogreška mjerenja: koliko bi tvoj rezultat mogao odstupatiSvaki rezultat nosi određenu pogrešku mjerenja, a kod većine psiholoških testova ona je veća nego što ljudi pretpostavljaju. To je broj koji ti govori kada je razlika stvarna, a kada je samo šum.
- Norme i percentili: s čime se uspoređuje tvoj rezultatSirovi rezultat sam po sebi nije moguće interpretirati. Smisao dobiva tek u usporedbi s referentnom skupinom, a to koja je skupina korištena jedna je od najvažnijih i najmanje isticanih činjenica o bilo kojem testu.
- Kako se psihometrijski test zapravo izrađujeOd definicije konstrukta do objavljenih normi, taj slijed traje godinama i odbacuje većinu onoga što u njega uđe. Kad poznaješ korake, odmah ti je jasno koje je brzi internetski kviz preskočio.
- Što znači kada se za test kaže da je validiran?Ta riječ nije zaštićena i slobodno je koriste proizvodi koji nisu obavili nimalo tog posla. Evo što znači kad doista nešto znači, i četiri pitanja koja razlikuju ta dva slučaja.
- Zašto većina internetskih testova osobnosti nije pouzdanaNe zato što su nepošteni, nego zato što su koraci koji mjerenje čine pouzdanim nevidljivi, skupi i lako ih je preskočiti; a njihovo preskakanje ne mijenja ništa u tome kako rezultat izgleda.
- Što samoprocjena može, a što ne može mjeritiUpitnici traže da budeš promatrač samog sebe, što za neke stvari funkcionira bolje nego za druge. Kad znaš gdje je metoda snažna, a gdje zakazuje, drukčije čitaš svaki rezultat.
- Što znači kada test nešto predviđaKorelacija od 0,30 snažan je nalaz u istraživanjima osobnosti, ali slaba osnova za odluku o jednoj osobi. Obje su tvrdnje točne, a jaz između njih uzrok je većine zlouporaba rezultata testova.
- Probir nije dijagnozaUpitnik za probir osmišljen je tako da otkrije što više mogućih slučajeva, pri čemu je visoka stopa lažno pozitivnih nalaza cijena koja se prihvaća. Čitati rezultat probira kao dijagnozu znači izokrenuti ono za što je osmišljen.