Zašto većina internetskih testova osobnosti nije pouzdana
Ne zato što su nepošteni, nego zato što su koraci koji mjerenje čine pouzdanim nevidljivi, skupi i lako ih je preskočiti; a njihovo preskakanje ne mijenja ništa u tome kako rezultat izgleda.
Besplatni online test osobnosti i validirani psihometrijski instrument daju rezultate koji izgledaju jednako: rezultat, percentil, odlomak koji te opisuje. Razlika je u potpunosti u poslu koji ne možeš vidjeti sa zaslona s rezultatima.
Ovdje se isplati biti precizan, jer je uobičajeno tumačenje, da su internetski testovi prijevara, uglavnom pogrešno i nije osobito korisno. Većinu ih izrađuju ljudi bez ikakve namjere da zavaraju. Nepouzdani su zbog strukturnih razloga.
Što se obično preskače
Analiza čestica. U pravilno izrađenoj ljestvici većina napisanih čestica odbacuje se nakon pilot-istraživanja: čestice u kojima se nitko ne razlikuje, čestice koje slabo koreliraju s ukupnim rezultatom, čestice koje zasićuju više od jednog faktora, čestice koje se različito ponašaju u različitim dobnim ili jezičnim skupinama. Test koji je napisan i objavljen bez pilot-istraživanja zadržao je sve, uključujući čestice koje ne funkcioniraju.
Neovisna potvrda strukture. Faktorska analiza na podacima iz kojih si izradio ljestvicu otkrit će strukturu koju si osmislio. Potvrđivanje na novom uzorku zasebno je istraživanje i upravo je to korak na kojem velik dio ljestvica padne.
Norme. Percentil mora odnekud doći. Ako stranica ne navodi svoju referentnu populaciju, broj se izvodi ili iz prethodnih posjetitelja, samoodabrane skupine nepoznatog sastava, ili ni iz čega posebnog.
Podaci o test-retest pouzdanosti. Da bi se utvrdilo da ljudi idući mjesec postižu isti rezultat, treba ih ponovno pronaći. Gotovo nitko to ne radi, što znači da stabilnost koju podrazumijeva riječ "crta" nije dokazana.
Poticaji u dizajnu vode u pogrešnom smjeru
Test izrađen za angažman optimiziran je za drukčiji ishod od testa izrađenog za točnost, a to se dvoje razilazi na predvidljive načine.
Laskavi rezultati prolaze bolje. Rezultat koji ti kaže nešto neugodno manje se dijeli, pa rezultati klize prema opisima u kojima se svatko prepoznaje. To je Barnumov efekt, pokazan 1940-ih i otada pouzdano ponavljan: ljudi generičke opise osobnosti ocjenjuju kao vrlo točne upravo za sebe.
Tipovi prolaze bolje od dimenzija. "Ti si Arhitekt" lakše se dijeli nego "nalaziš se na 68. percentilu otvorenosti sa širokim intervalom pouzdanosti". Tipovi također skrivaju pogrešku mjerenja, jer netko tko je jedan bod s jedne ili druge strane granice kategorije dobiva potpuno različite oznake.
Kratko prolazi bolje od primjerenog. Svako dodatno pitanje gubi ispitanike, pa se testovi skraćuju na duljinu koja maksimizira dovršavanje, a ne na onu koja pokriva konstrukt.
Ništa od toga nije laž. To je optimizacija za neku drugu mjeru, a ne za točnost.
Kako to prepoznati za tridesetak sekundi
Potraži imenovani izvorni instrument s autorima i godinom. Potraži navod o tome iz koje populacije potječu norme. Potraži bilo kakvo priznanje ograničenja ili pogreške mjerenja. Pogledaj je li rezultat kontinuirani rezultat ili kategorija. Pogledaj obećava li ista stranica i da će na temelju dvadeset pitanja otkriti tvoju idealnu karijeru, partnera ili životnu svrhu.
Test koji imenuje svoj instrument, navodi izvor, iznosi svoje norme i kaže što ti ne može reći obavio je posao. Onaj koji ništa od toga ne čini može i dalje biti ugodan način da provedeš pet minuta, ali broj koji daje samo je ukras.
Svaki instrument u katalogu NOESIS navodi koji objavljeni test primjenjuje, tko ga je napisao, koje godine, kako se boduje i što njegovi rezultati ne utvrđuju. Upravo taj posljednji dio vrijedi usporediti.
Provjeri na testu
Čitati o mjerenju jedno je. Vidjeti vlastiti rezultat prikazan s izvorom, normativnim uzorkom i ograničenjima nešto je drugo. Besplatno, bez registracije.
Nastavi čitati
- Što je psihometrija?Disciplina koja utvrđuje je li neko psihološko mjerenje uopće dobro. Ujedno i razlog zašto se dva testa sa sličnim pitanjima mogu golemo razlikovati u tome koliko njihovi rezultati vrijede.
- Što je pouzdanost u psihološkom testiranju?Pouzdanost je dosljednost mjerenja, a ne točnost. Test može biti vrlo pouzdan, a ipak mjeriti pogrešnu stvar. Zato je to prvo pitanje koje se postavlja, a nikad posljednje.
- Što je valjanost u psihološkom testiranju?Valjanost nije svojstvo koje test posjeduje. To je argument o tome je li određena interpretacija određenog rezultata, za određenu svrhu, opravdana; i taj argument treba iznova izgraditi za svaku novu primjenu.
- Što je konstruktna valjanost?Najteže pitanje u mjerenju: postoji li ono što mjeriš onako kako si ga definirao i dopire li tvoj instrument upravo do toga, a ne do nečega susjednog.
- Konvergentna i diskriminativna valjanostDva zrcalna zahtjeva: mjera se mora slagati s onim s čim bi se trebala slagati i mora ostati različita od onoga što tvrdi da nije. Većina slabih instrumenata ne zadovoljava drugi.
- Što je Cronbachov alfa, a što on nijeNajčešće navođena statistika u psihološkom testiranju i ona koja se najčešće pogrešno tumači. Alfa ti ne govori je li ljestvica jednodimenzionalna, a visoka vrijednost često je simptom, a ne vrlina.
- Standardna pogreška mjerenja: koliko bi tvoj rezultat mogao odstupatiSvaki rezultat nosi određenu pogrešku mjerenja, a kod većine psiholoških testova ona je veća nego što ljudi pretpostavljaju. To je broj koji ti govori kada je razlika stvarna, a kada je samo šum.
- Norme i percentili: s čime se uspoređuje tvoj rezultatSirovi rezultat sam po sebi nije moguće interpretirati. Smisao dobiva tek u usporedbi s referentnom skupinom, a to koja je skupina korištena jedna je od najvažnijih i najmanje isticanih činjenica o bilo kojem testu.
- Kako se psihometrijski test zapravo izrađujeOd definicije konstrukta do objavljenih normi, taj slijed traje godinama i odbacuje većinu onoga što u njega uđe. Kad poznaješ korake, odmah ti je jasno koje je brzi internetski kviz preskočio.
- Što znači kada se za test kaže da je validiran?Ta riječ nije zaštićena i slobodno je koriste proizvodi koji nisu obavili nimalo tog posla. Evo što znači kad doista nešto znači, i četiri pitanja koja razlikuju ta dva slučaja.
- Što samoprocjena može, a što ne može mjeritiUpitnici traže da budeš promatrač samog sebe, što za neke stvari funkcionira bolje nego za druge. Kad znaš gdje je metoda snažna, a gdje zakazuje, drukčije čitaš svaki rezultat.
- Što znači kada test nešto predviđaKorelacija od 0,30 snažan je nalaz u istraživanjima osobnosti, ali slaba osnova za odluku o jednoj osobi. Obje su tvrdnje točne, a jaz između njih uzrok je većine zlouporaba rezultata testova.
- Probir nije dijagnozaUpitnik za probir osmišljen je tako da otkrije što više mogućih slučajeva, pri čemu je visoka stopa lažno pozitivnih nalaza cijena koja se prihvaća. Čitati rezultat probira kao dijagnozu znači izokrenuti ono za što je osmišljen.