Konvergentna i diskriminativna valjanost
Dva zrcalna zahtjeva: mjera se mora slagati s onim s čim bi se trebala slagati i mora ostati različita od onoga što tvrdi da nije. Većina slabih instrumenata ne zadovoljava drugi.
Konvergentna i diskriminantna valjanost dvije su polovice jednog te istog zahtjeva. Mjera mora korelirati s onim s čime bi teorijski trebala korelirati i ne smije previsoko korelirati s onim od čega bi se trebala razlikovati. Ispunjavanje jednog bez drugog nije djelomičan uspjeh; obično je znak da konstrukt nije ono što tvrdi da jest.
Konvergentna valjanost
Konvergentni dokazi pokazuju da se mjera slaže s drugim pokazateljima iste stvari. Nova ljestvica anksioznosti trebala bi znatno korelirati s etabliranim ljestvicama anksioznosti, s procjenama kliničara i, idealno, s nečim što nije još jedan upitnik, primjerice s fiziološkim mjerama ili opaženim ponašanjem izbjegavanja.
Ovdje se obično očekuju korelacije iznad 0,50, često iznad 0,70 kada je usporedna mjera dobro etabliran instrument za isti konstrukt. Ispod toga ili nova ljestvica ili usporedna mjera mjeri nešto drugo.
Postoji zamka. Korelacija od 0,95 s postojećom ljestvicom nije trijumf: znači da je novi instrument samo prepakiran, a iskreno pitanje postaje što on donosi. Konvergentna valjanost je donja granica, a ne cilj koji treba maksimizirati.
Diskriminantna valjanost
Diskriminantni dokazi pokazuju da mjera ostaje odvojena od konstrukata od kojih se tvrdi da se razlikuje. Upravo se ovdje kriju zanimljivi neuspjesi.
Obrazac se ponavlja u literaturi. Ustrajnost (grit) korelira oko 0,84 sa savjesnošću, dovoljno blisko da je metaanaliza utvrdila kako ne dodaje gotovo ništa predviđanju akademskog uspjeha nakon kontrole savjesnosti. Emocionalna inteligencija mjerena samoprocjenom uvelike se preklapa s emocionalnom stabilnošću, ekstraverzijom i savjesnošću zajedno. Zajednička varijanca unutar Mračne trijade uglavnom nestaje kada se uzme u obzir Poštenje-Poniznost iz modela HEXACO. U svakom od tih slučajeva konstrukt je predstavljen kao novo područje, a pokazalo se da je preimenovani dio postojeće karte.
Diskriminantna valjanost također je mjesto gdje izbijaju učinci metode. Ako svaki konstrukt mjeren samoprocjenom u istraživanju korelira 0,4 sa svakim drugim, zajednički faktor vjerojatno je stil odgovaranja ispitanika, a ne neka zajednička psihološka osobina.
Test koji to razrješava
Odlučujući postupak je inkrementalna valjanost: u regresiju najprije uneseš etabliranu mjeru, zatim novu, i provjeriš objašnjava li nova ikakvu dodatnu varijancu ishoda. Ako ne objašnjava, konstrukt može i dalje biti teorijski zanimljiv, ali instrument ne mjeri ništa što područje već nije imalo.
To je zahtjevan standard i velik broj objavljenih ljestvica nikada mu nije podvrgnut. Kada jest, rezultat je često gore opisani nalaz o redundantnosti. To nije skandal, nego uobičajeno znanstveno obrezivanje, ali znači da popularnost konstrukta ne govori ništa o tome hoće li proći test.
Što to mijenja za čitatelja
Kada test izvještava o nekoliko rezultata, korisno je pitanje jesu li ti rezultati doista različiti. Četiri dimenzije koje međusobno koreliraju 0,8 jedna su dimenzija s četiri oznake, a profil izgrađen od njih izgledat će diferencirano iako ne nosi gotovo nikakvu neovisnu informaciju.
Instrumenti koji izvještavaju o korelacijama među ljestvicama omogućuju ti da to sam provjeriš. Instrumenti koji prikazuju tip od četiri kvadranta, a nikad ne pokažu kako su kvadranti međusobno povezani, onemogućili su provjeru, što je obično i bila svrha.
Provjeri na testu
Čitati o mjerenju jedno je. Vidjeti vlastiti rezultat prikazan s izvorom, normativnim uzorkom i ograničenjima nešto je drugo. Besplatno, bez registracije.
Nastavi čitati
- Što je psihometrija?Disciplina koja utvrđuje je li neko psihološko mjerenje uopće dobro. Ujedno i razlog zašto se dva testa sa sličnim pitanjima mogu golemo razlikovati u tome koliko njihovi rezultati vrijede.
- Što je pouzdanost u psihološkom testiranju?Pouzdanost je dosljednost mjerenja, a ne točnost. Test može biti vrlo pouzdan, a ipak mjeriti pogrešnu stvar. Zato je to prvo pitanje koje se postavlja, a nikad posljednje.
- Što je valjanost u psihološkom testiranju?Valjanost nije svojstvo koje test posjeduje. To je argument o tome je li određena interpretacija određenog rezultata, za određenu svrhu, opravdana; i taj argument treba iznova izgraditi za svaku novu primjenu.
- Što je konstruktna valjanost?Najteže pitanje u mjerenju: postoji li ono što mjeriš onako kako si ga definirao i dopire li tvoj instrument upravo do toga, a ne do nečega susjednog.
- Što je Cronbachov alfa, a što on nijeNajčešće navođena statistika u psihološkom testiranju i ona koja se najčešće pogrešno tumači. Alfa ti ne govori je li ljestvica jednodimenzionalna, a visoka vrijednost često je simptom, a ne vrlina.
- Standardna pogreška mjerenja: koliko bi tvoj rezultat mogao odstupatiSvaki rezultat nosi određenu pogrešku mjerenja, a kod većine psiholoških testova ona je veća nego što ljudi pretpostavljaju. To je broj koji ti govori kada je razlika stvarna, a kada je samo šum.
- Norme i percentili: s čime se uspoređuje tvoj rezultatSirovi rezultat sam po sebi nije moguće interpretirati. Smisao dobiva tek u usporedbi s referentnom skupinom, a to koja je skupina korištena jedna je od najvažnijih i najmanje isticanih činjenica o bilo kojem testu.
- Kako se psihometrijski test zapravo izrađujeOd definicije konstrukta do objavljenih normi, taj slijed traje godinama i odbacuje većinu onoga što u njega uđe. Kad poznaješ korake, odmah ti je jasno koje je brzi internetski kviz preskočio.
- Što znači kada se za test kaže da je validiran?Ta riječ nije zaštićena i slobodno je koriste proizvodi koji nisu obavili nimalo tog posla. Evo što znači kad doista nešto znači, i četiri pitanja koja razlikuju ta dva slučaja.
- Zašto većina internetskih testova osobnosti nije pouzdanaNe zato što su nepošteni, nego zato što su koraci koji mjerenje čine pouzdanim nevidljivi, skupi i lako ih je preskočiti; a njihovo preskakanje ne mijenja ništa u tome kako rezultat izgleda.
- Što samoprocjena može, a što ne može mjeritiUpitnici traže da budeš promatrač samog sebe, što za neke stvari funkcionira bolje nego za druge. Kad znaš gdje je metoda snažna, a gdje zakazuje, drukčije čitaš svaki rezultat.
- Što znači kada test nešto predviđaKorelacija od 0,30 snažan je nalaz u istraživanjima osobnosti, ali slaba osnova za odluku o jednoj osobi. Obje su tvrdnje točne, a jaz između njih uzrok je većine zlouporaba rezultata testova.
- Probir nije dijagnozaUpitnik za probir osmišljen je tako da otkrije što više mogućih slučajeva, pri čemu je visoka stopa lažno pozitivnih nalaza cijena koja se prihvaća. Čitati rezultat probira kao dijagnozu znači izokrenuti ono za što je osmišljen.