Kako se psihometrijski test zapravo izrađuje
Od definicije konstrukta do objavljenih normi, taj slijed traje godinama i odbacuje većinu onoga što u njega uđe. Kad poznaješ korake, odmah ti je jasno koje je brzi internetski kviz preskočio.
Psihometrijski instrument koji stigne do objavljivanja obično ima iza sebe pet ili šest godina rada i odbacio je većinu onoga što je za njega napisano. Taj slijed vrijedi poznavati jer svaka njegova faza odgovara jednom načinu na koji test može biti neadekvatan.
1. Definiraj konstrukt
Prije nego što se napiše ijedna čestica, konstrukt treba odrediti dovoljno precizno da se može reći što izlazi izvan njega. To znači definiciju, opis dimenzionalne strukture (jedna dimenzija ili više njih, a ako ih je više, kako su međusobno povezane) i izričito navođenje od kojih se srodnih konstrukata treba razlikovati.
Preskakanje ove faze izvor je većine suvišnih instrumenata. Ljestvica izgrađena na intuitivnom shvaćanju nekog pojma obično na kraju mjeri već poznatu crtu pod novim imenom.
2. Sastavi skup čestica
Čestica se napiše znatno više nego što će ih preživjeti, obično tri do pet puta više od konačnog broja. Nastaju iz teorije, iz postojećih instrumenata, iz intervjua s ljudima koji imaju iskustvo koje se opisuje i od stručnjaka za područje.
U ovoj se fazi skup provjerava s obzirom na pokrivenost sadržaja (obuhvaća li cijeli konstrukt ili se gomila oko jedne facete?), razinu čitljivosti, dvostruka pitanja u jednoj formulaciji i čestice koje zapravo pitaju o nečemu drugom.
3. Pilotiraj i reži
Skup čestica primjenjuje se na prvom uzorku. Analiza je uglavnom razorna.
Čestice gotovo bez varijance otpadaju: pitanje na koje svi odgovaraju jednako ne razlikuje nikoga. Čestice koje slabo koreliraju s ukupnim rezultatom otpadaju. Čestice koje imaju zasićenja na više od jednog faktora otpadaju. Čestice koje se ponašaju različito u različitim demografskim skupinama iz razloga nepovezanih s crtom, tzv. diferencijalno funkcioniranje čestica, otpadaju, a ta se provjera među najčešće preskače.
Preživi obično trećina napisanoga.
4. Potvrdi strukturu na novom uzorku
Ovo je korak koji odvaja ozbiljne instrumente od ostalih. Faktorska analiza na razvojnom uzorku pronaći će strukturu koja je u njega ugrađena; mora je pronaći, jer su čestice odabrane upravo zato da je proizvedu. Pravi je test konfirmatorna faktorska analiza na neovisnom uzorku.
Velik broj objavljenih ljestvica pronalazi predviđenu strukturu samo u podacima na kojima je izgrađena. Kad netko drugi prikupi nove podatke, faktori se ne pojave. Taj je neuspjeh dovoljno čest da je pitanje "je li struktura potvrđena na neovisnom uzorku?" jedno od najučinkovitijih pitanja koja možeš postaviti o bilo kojem instrumentu.
5. Prikupljaj dokaze o valjanosti
Korelacije s etabliranim mjerama istog konstrukta. Korelacije s konstruktima od kojih bi se trebao razlikovati, koje bi trebale biti niže. Povezanost s ishodima koji su važni. Inkrementalna valjanost u odnosu na ono što već postoji. Test-retest stabilnost kroz razdoblje primjereno konstruktu.
Ova faza ne završava. Traje sve dok se instrument koristi, i upravo se u njoj instrumenti najčešće pokažu manjkavima godinama nakon objavljivanja.
6. Izradi norme
Referentni uzorak dovoljno velik i dovoljno reprezentativan za ciljanu populaciju, stratificiran ondje gdje crta varira s dobi ili spolom, s dokumentiranom godinom i zemljom. Zatim se postupak periodično ponavlja, jer se norme s vremenom pomiču.
7. Prevedi, ako će se koristiti drugdje
Prevođenje nije jezična vježba. Prava prilagodba znači prijevod na ciljni jezik, neovisan povratni prijevod, stručnu reviziju, kognitivne intervjue s govornicima ciljnog jezika, a zatim novo psihometrijsko istraživanje na novom jeziku kako bi se provjerilo drži li se struktura i funkcioniraju li čestice ekvivalentno. Instrument preveden bez takvog istraživanja na tom je jeziku neprovjeren instrument, kakve god vjerodajnice imao na izvornom jeziku.
Što to govori o brzom kvizu
Test napisan u jednom popodnevu prošao je drugi korak. Može sasvim lijepo dati rezultat koji izgleda uvjerljivo, percentil i odlomak opisa. Koraci koje je preskočio upravo su oni koji bi utvrdili znači li išta od toga nešto.
Provjeri na testu
Čitati o mjerenju jedno je. Vidjeti vlastiti rezultat prikazan s izvorom, normativnim uzorkom i ograničenjima nešto je drugo. Besplatno, bez registracije.
Nastavi čitati
- Što je psihometrija?Disciplina koja utvrđuje je li neko psihološko mjerenje uopće dobro. Ujedno i razlog zašto se dva testa sa sličnim pitanjima mogu golemo razlikovati u tome koliko njihovi rezultati vrijede.
- Što je pouzdanost u psihološkom testiranju?Pouzdanost je dosljednost mjerenja, a ne točnost. Test može biti vrlo pouzdan, a ipak mjeriti pogrešnu stvar. Zato je to prvo pitanje koje se postavlja, a nikad posljednje.
- Što je valjanost u psihološkom testiranju?Valjanost nije svojstvo koje test posjeduje. To je argument o tome je li određena interpretacija određenog rezultata, za određenu svrhu, opravdana; i taj argument treba iznova izgraditi za svaku novu primjenu.
- Što je konstruktna valjanost?Najteže pitanje u mjerenju: postoji li ono što mjeriš onako kako si ga definirao i dopire li tvoj instrument upravo do toga, a ne do nečega susjednog.
- Konvergentna i diskriminativna valjanostDva zrcalna zahtjeva: mjera se mora slagati s onim s čim bi se trebala slagati i mora ostati različita od onoga što tvrdi da nije. Većina slabih instrumenata ne zadovoljava drugi.
- Što je Cronbachov alfa, a što on nijeNajčešće navođena statistika u psihološkom testiranju i ona koja se najčešće pogrešno tumači. Alfa ti ne govori je li ljestvica jednodimenzionalna, a visoka vrijednost često je simptom, a ne vrlina.
- Standardna pogreška mjerenja: koliko bi tvoj rezultat mogao odstupatiSvaki rezultat nosi određenu pogrešku mjerenja, a kod većine psiholoških testova ona je veća nego što ljudi pretpostavljaju. To je broj koji ti govori kada je razlika stvarna, a kada je samo šum.
- Norme i percentili: s čime se uspoređuje tvoj rezultatSirovi rezultat sam po sebi nije moguće interpretirati. Smisao dobiva tek u usporedbi s referentnom skupinom, a to koja je skupina korištena jedna je od najvažnijih i najmanje isticanih činjenica o bilo kojem testu.
- Što znači kada se za test kaže da je validiran?Ta riječ nije zaštićena i slobodno je koriste proizvodi koji nisu obavili nimalo tog posla. Evo što znači kad doista nešto znači, i četiri pitanja koja razlikuju ta dva slučaja.
- Zašto većina internetskih testova osobnosti nije pouzdanaNe zato što su nepošteni, nego zato što su koraci koji mjerenje čine pouzdanim nevidljivi, skupi i lako ih je preskočiti; a njihovo preskakanje ne mijenja ništa u tome kako rezultat izgleda.
- Što samoprocjena može, a što ne može mjeritiUpitnici traže da budeš promatrač samog sebe, što za neke stvari funkcionira bolje nego za druge. Kad znaš gdje je metoda snažna, a gdje zakazuje, drukčije čitaš svaki rezultat.
- Što znači kada test nešto predviđaKorelacija od 0,30 snažan je nalaz u istraživanjima osobnosti, ali slaba osnova za odluku o jednoj osobi. Obje su tvrdnje točne, a jaz između njih uzrok je većine zlouporaba rezultata testova.
- Probir nije dijagnozaUpitnik za probir osmišljen je tako da otkrije što više mogućih slučajeva, pri čemu je visoka stopa lažno pozitivnih nalaza cijena koja se prihvaća. Čitati rezultat probira kao dijagnozu znači izokrenuti ono za što je osmišljen.