Što znači kada se za test kaže da je validiran?
Ta riječ nije zaštićena i slobodno je koriste proizvodi koji nisu obavili nimalo tog posla. Evo što znači kad doista nešto znači, i četiri pitanja koja razlikuju ta dva slučaja.
"Znanstveno validirano" nije zaštićen izraz. Nitko ga ne certificira, nijedno tijelo ga ne provjerava, a pojavljuje se i na proizvodima čija se cjelokupna baza dokaza svodi na to da ih je ispunilo mnogo ljudi. Vrijedi znati što znači kada se koristi ispravno.
Ukratko
Validirani instrument ima objavljenu dokumentaciju koja pokazuje što mjeri, koliko precizno, u kojim populacijama i za što se njegovi rezultati mogu opravdano koristiti. Validacija nije certifikat. To je skup dokaza, obično prikupljan godinama, koji obično uključuje i nalaze koji ograničavaju upotrebu instrumenta umjesto da mu laskaju.
Postojanje dokumentiranih ograničenja jedan je od boljih znakova. Prava literatura o validaciji puna ih je: ova ljestvica loše funkcionira kod adolescenata, ta se faceta ne replicira, granična vrijednost ovisi o populaciji. Proizvod koji navodi samo snage nije objavio svoju validaciju; objavio je svoj marketing.
Četiri pitanja koja obavljaju posao
Koja je izvorna publikacija? Validirani instrument ima izvorni rad u recenziranom časopisu, s autorima, godinom i obično DOI oznakom. Taj rad opisuje kako su čestice razvijene i kakva su bila početna psihometrijska svojstva. Ako nitko ne može navesti rad, nema validacije o kojoj bi se raspravljalo.
Je li strukturu potvrdio netko drugi? Tim koji je razvio instrument pronaći će strukturu koju je osmislio. Važno je je li neovisna skupina, s neovisnim podacima, došla do istog nalaza. To je najinformativnije pitanje koje možeš postaviti i ono koje najčešće ostaje bez odgovora.
Na kojoj su populaciji izgrađene norme i kada? Rezultat je položaj u referentnoj distribuciji. Instrument koji navodi percentil bez navođenja na koju se populaciju odnosi dao ti je broj bez nazivnika.
Što dodaje? Inkrementalnu valjanost u odnosu na etablirani instrument. Velik broj brendiranih konstrukata ovdje ne prolazi: toliko visoko koreliraju s postojećom crtom da ne objašnjavaju nikakvu dodatnu varijancu ni u čemu. To je normalan ishod znanstvene provjere i ostaje nevidljiv dok netko ne provede taj test.
Gdje prijevod sve komplicira
Instrument validiran na engleskom time nije validiran na njemačkom. Pravilna međukulturna prilagodba zahtijeva prijevod i povratni prijevod, stručnu reviziju, kognitivne intervjue, a zatim i novo psihometrijsko istraživanje na novom jeziku kojim se provjerava drži li se faktorska struktura i funkcioniraju li pojedine čestice jednako u različitim skupinama.
Instrumenti koji to preskaču česti su. Upitnik čija je izvorna validacija besprijekorna može se ponašati sasvim drukčije na jeziku u kojem ključna čestica nosi drugačiju konotaciju, a to se ne može znati bez istraživanja. Kada se test nudi na deset jezika, korisno je pitanje je li validiran na deset jezika ili je validiran na jednom i preveden na devet.
Što validacija ne donosi
Ne čini rezultat sigurnim. Validirani instrument i dalje nosi pogrešku mjerenja, i dalje opisuje pravilnost na razini populacije, a ne sudbinu pojedinca, i dalje mjeri samo ono do čega njegove čestice dopiru.
Validacija donosi poznata ograničenja. Možeš saznati kolika je pogreška, u kojoj populaciji i za koju svrhu. To je skromnija tvrdnja od "ovaj test otkriva tko si zapravo", i jedina koja se održi.
Ako želiš vidjeti kako dokumentacija izgleda kada postoji, svaki test u NOESIS katalogu testova navodi instrument koji primjenjuje, njegove autore i godinu, metodu bodovanja i dokaze na kojima počiva, uključujući i ono gdje su ti dokazi sporni.
Provjeri na testu
Čitati o mjerenju jedno je. Vidjeti vlastiti rezultat prikazan s izvorom, normativnim uzorkom i ograničenjima nešto je drugo. Besplatno, bez registracije.
Nastavi čitati
- Što je psihometrija?Disciplina koja utvrđuje je li neko psihološko mjerenje uopće dobro. Ujedno i razlog zašto se dva testa sa sličnim pitanjima mogu golemo razlikovati u tome koliko njihovi rezultati vrijede.
- Što je pouzdanost u psihološkom testiranju?Pouzdanost je dosljednost mjerenja, a ne točnost. Test može biti vrlo pouzdan, a ipak mjeriti pogrešnu stvar. Zato je to prvo pitanje koje se postavlja, a nikad posljednje.
- Što je valjanost u psihološkom testiranju?Valjanost nije svojstvo koje test posjeduje. To je argument o tome je li određena interpretacija određenog rezultata, za određenu svrhu, opravdana; i taj argument treba iznova izgraditi za svaku novu primjenu.
- Što je konstruktna valjanost?Najteže pitanje u mjerenju: postoji li ono što mjeriš onako kako si ga definirao i dopire li tvoj instrument upravo do toga, a ne do nečega susjednog.
- Konvergentna i diskriminativna valjanostDva zrcalna zahtjeva: mjera se mora slagati s onim s čim bi se trebala slagati i mora ostati različita od onoga što tvrdi da nije. Većina slabih instrumenata ne zadovoljava drugi.
- Što je Cronbachov alfa, a što on nijeNajčešće navođena statistika u psihološkom testiranju i ona koja se najčešće pogrešno tumači. Alfa ti ne govori je li ljestvica jednodimenzionalna, a visoka vrijednost često je simptom, a ne vrlina.
- Standardna pogreška mjerenja: koliko bi tvoj rezultat mogao odstupatiSvaki rezultat nosi određenu pogrešku mjerenja, a kod većine psiholoških testova ona je veća nego što ljudi pretpostavljaju. To je broj koji ti govori kada je razlika stvarna, a kada je samo šum.
- Norme i percentili: s čime se uspoređuje tvoj rezultatSirovi rezultat sam po sebi nije moguće interpretirati. Smisao dobiva tek u usporedbi s referentnom skupinom, a to koja je skupina korištena jedna je od najvažnijih i najmanje isticanih činjenica o bilo kojem testu.
- Kako se psihometrijski test zapravo izrađujeOd definicije konstrukta do objavljenih normi, taj slijed traje godinama i odbacuje većinu onoga što u njega uđe. Kad poznaješ korake, odmah ti je jasno koje je brzi internetski kviz preskočio.
- Zašto većina internetskih testova osobnosti nije pouzdanaNe zato što su nepošteni, nego zato što su koraci koji mjerenje čine pouzdanim nevidljivi, skupi i lako ih je preskočiti; a njihovo preskakanje ne mijenja ništa u tome kako rezultat izgleda.
- Što samoprocjena može, a što ne može mjeritiUpitnici traže da budeš promatrač samog sebe, što za neke stvari funkcionira bolje nego za druge. Kad znaš gdje je metoda snažna, a gdje zakazuje, drukčije čitaš svaki rezultat.
- Što znači kada test nešto predviđaKorelacija od 0,30 snažan je nalaz u istraživanjima osobnosti, ali slaba osnova za odluku o jednoj osobi. Obje su tvrdnje točne, a jaz između njih uzrok je većine zlouporaba rezultata testova.
- Probir nije dijagnozaUpitnik za probir osmišljen je tako da otkrije što više mogućih slučajeva, pri čemu je visoka stopa lažno pozitivnih nalaza cijena koja se prihvaća. Čitati rezultat probira kao dijagnozu znači izokrenuti ono za što je osmišljen.