Miksi useimmat internetin persoonallisuustestit eivät ole reliaabeleita
Ei siksi, että he olisivat epärehellisiä, vaan siksi, että ne vaiheet, jotka tekevät mittauksesta luotettavan, ovat näkymättömiä, kalliita ja helppoja ohittaa. Niiden ohittaminen ei muuta mitenkään sitä, miltä tulos näyttää.
Ilmainen verkossa tehtävä persoonallisuustesti ja validoitu psykometrinen mittari tuottavat näennäisesti samanlaisen tuloksen: pistemäärän, persentiilin ja kappaleen, joka kuvaa sinua. Ero on kokonaan työssä, jota et näe tulosnäkymästä.
Tästä kannattaa puhua tarkasti, koska tavallinen näkökulma, jonka mukaan internetin testit ovat huijauksia, on enimmäkseen väärä eikä kovin hyödyllinen. Useimmat niistä ovat tehneet ihmiset, joilla ei ole aikomusta johtaa harhaan. Ne ovat epäluotettavia rakenteellisista syistä.
Mikä tyypillisesti jätetään väliin
Osioanalyysi. Asianmukaisesti rakennetussa asteikossa suurin osa luonnostelluista osioista hylätään esitestauksen jälkeen: osiot, joissa vastaukset eivät vaihtele, osiot, jotka korreloivat heikosti kokonaispistemäärän kanssa, osiot, jotka latautuvat useammalle kuin yhdelle faktorille, ja osiot, jotka toimivat eri tavoin eri ikä- tai kieliryhmissä. Ilman esitestausta kirjoitettu ja julkaistu testi on säilyttänyt kaiken, myös osiot, jotka eivät toimi.
Rakenteen riippumaton vahvistaminen. Faktorianalyysi samalla aineistolla, jonka pohjalta asteikko rakennettiin, löytää sen rakenteen, jonka itse suunnittelit. Rakenteen vahvistaminen uudessa otoksessa on erillinen tutkimus, ja juuri tässä vaiheessa suuri osa asteikoista epäonnistuu.
Normit. Persentiilin on tultava jostakin. Jos sivusto ei kerro viiteperusjoukkoaan, luku on johdettu joko aiemmista kävijöistä, jotka ovat itsevalikoitunut ryhmä tuntemattomalla koostumuksella, tai ei mistään erityisestä.
Toistomittausaineisto. Sen osoittaminen, että ihmiset saavat saman pistemäärän seuraavana kuukautena, edellyttää heidän tavoittamistaan uudelleen. Lähes kukaan ei tee tätä, mikä tarkoittaa, että sitä pysyvyyttä, johon sana "piirre" viittaa, ei ole osoitettu.
Suunnittelun kannustimet vievät väärään suuntaan
Sitoutumista varten rakennettu testi on optimoitu eri lopputulokseen kuin tarkkuutta varten rakennettu testi, ja nämä kaksi erkanevat toisistaan ennustettavilla tavoilla.
Imartelevat tulokset menestyvät paremmin. Tulosta, joka kertoo sinulle jotain epämieluisaa, jaetaan vähemmän, joten tulokset liukuvat kohti kuvauksia, jotka jokainen tunnistaa itsessään. Tämä on Barnum-ilmiö, joka osoitettiin 1940-luvulla ja joka on sittemmin toistettu luotettavasti: ihmiset arvioivat yleisluontoiset persoonallisuuskuvaukset erittäin osuviksi juuri itsensä kohdalla.
Tyypit menestyvät paremmin kuin ulottuvuudet. "Olet Arkkitehti" on jaettavampi kuin "olet avoimuudessa 68. persentiilillä leveällä luottamusvälillä". Tyypit myös peittävät mittausvirheen, koska henkilö, joka on yhden pisteen luokkarajan jommallakummalla puolella, saa täysin eri nimikkeen.
Lyhyt menestyy paremmin kuin riittävä. Jokainen lisäkysymys karsii vastaajia, joten testit lyhennetään pituuteen, joka maksimoi loppuun suorittamisen, eikä pituuteen, joka kattaa konstruktin.
Mikään näistä ei ole valhetta. Ne ovat optimointia jonkin muun mittarin kuin tarkkuuden mukaan.
Näin tunnistat sen noin kolmessakymmenessä sekunnissa
Etsi nimetty lähdemittari, jolla on tekijät ja vuosiluku. Etsi maininta siitä, mistä perusjoukosta normit ovat peräisin. Etsi mitä tahansa rajoitusten tai mittausvirheen tunnustamista. Katso, onko tulos jatkuva pistemäärä vai luokka. Katso, lupaako sama sivu myös tunnistaa ihanteellisen urasi, kumppanisi tai elämäsi tarkoituksen kahdenkymmenen kysymyksen perusteella.
Testi, joka nimeää mittarinsa, mainitsee lähteensä, kertoo normistaan ja sanoo, mitä se ei pysty kertomaan sinulle, on tehnyt työnsä. Testi, joka ei tee mitään näistä, voi silti olla mukava tapa viettää viisi minuuttia, mutta sen tuottama luku on koriste.
Jokainen NOESIS-testiluettelon mittari kertoo, mitä julkaistua testiä se toteuttaa, kuka sen on kirjoittanut, minä vuonna, miten se pisteytetään ja mitä sen tulokset eivät osoita. Juuri tuota viimeistä kohtaa kannattaa verrata.
Testaa itse
Mittaamisesta lukeminen on yksi asia. Oman pistemääräsi näkeminen lähteineen, normiotoksineen ja rajoituksineen on toinen. Maksuton, ei rekisteröitymistä.
Jatka lukemista
- Mitä on psykometriikka?Tieteenala, joka selvittää, onko psykologinen mittaus hyvä vai ei. Se myös selittää, miksi kahden samankaltaisia kysymyksiä esittävän testin tulosten arvo voi poiketa toisistaan valtavasti.
- Mitä reliabiliteetti on psykologisessa testauksessa?Reliabiliteetti on mittauksen johdonmukaisuutta, ei oikeellisuutta. Testillä voi olla korkea reliabiliteetti, ja silti se voi mitata väärää asiaa. Siksi se on ensimmäinen kysymys, jonka esitämme, mutta ei koskaan viimeinen.
- Mitä validiteetti on psykologisessa testauksessa?Validiteetti ei ole testin ominaisuus. Se on perustelu sille, onko tietyn pistemäärän tietty tulkinta tiettyyn tarkoitukseen puolustettavissa, ja se on rakennettava uudelleen jokaista uutta käyttötarkoitusta varten.
- Mitä on konstruktivaliditeetti?Mittaamisen vaikein kysymys: onko mittaamasi asia olemassa sellaisena kuin olet sen määritellyt, ja tavoittaako mittarisi juuri sen eikä jotakin sen lähellä olevaa.
- Konvergentti ja diskriminantti validiteettiKaksi toistensa peilikuvana olevaa vaatimusta: mittarin on oltava yhtäpitävä sen kanssa, minkä kanssa sen pitääkin olla, ja sen on pysyttävä erillisenä siitä, mitä se väittää olevansa olematta. Useimmat heikot mittarit eivät täytä jälkimmäistä.
- Mitä Cronbachin alfa on ja mitä se ei olePsykologisen testauksen eniten raportoitu tunnusluku ja myös useimmin väärin tulkittu. Alfa ei kerro, että asteikko on yksiulotteinen, ja korkea arvo on usein pikemminkin oire kuin ansio.
- Mittauksen keskivirhe: kuinka paljon pistemääräsi voi poiketa todellisestaJokaiseen pistemäärään liittyy virhemarginaali, ja useimmissa psykologisissa testeissä se on suurempi kuin ihmiset olettavat. Tämä luku kertoo sinulle, milloin ero on todellinen ja milloin se on pelkkää kohinaa.
- Normit ja persentiilit: mihin pistemäärääsi verrataanRaakapistemäärä ei ole yksinään tulkittavissa. Se saa merkityksen vasta suhteessa viiteryhmään, ja se, mitä ryhmää käytettiin, on yksi minkä tahansa testin merkittävimmistä ja vähiten esille tuoduista seikoista.
- Miten psykometrinen testi oikeasti rakennetaanKonstruktin määrittelystä julkaistuihin normeihin prosessi kestää vuosia, ja suurin osa siihen syötetystä aineksesta karsitaan matkan varrella. Kun tunnet vaiheet, on helppo nähdä, mitkä niistä nopea verkkovisa jätti väliin.
- Mitä tarkoittaa, kun testiä kutsutaan validoiduksi?Sana on sääntelemätön, ja sitä käyttävät vapaasti tuotteet, jotka eivät ole tehneet mitään tarvittavasta työstä. Tässä on, mitä se tarkoittaa silloin, kun se tarkoittaa jotakin, ja neljä kysymystä, jotka erottavat nämä kaksi tapausta toisistaan.
- Mitä itsearvioinnilla voi mitata ja mitä eiKyselylomakkeet pyytävät sinua tarkkailemaan itseäsi, mikä toimii joissakin asioissa paremmin kuin toisissa. Kun tiedät, missä menetelmä on vahva ja missä se pettää, luet minkä tahansa tuloksen eri tavalla.
- Mitä tarkoittaa, kun testi ennustaa jotakinKorrelaatio 0,30 on persoonallisuustutkimuksessa vahva löydös mutta heikko peruste yhtä ihmistä koskevalle päätökselle. Kumpikin väite pitää paikkansa, ja niiden välinen ero aiheuttaa suurimman osan testitulosten väärinkäytöstä.
- Seulonta ei ole diagnoosiSeulontaan tarkoitettu kyselylomake on rakennettu tunnistamaan mahdollisimman monta mahdollista tapausta, ja korkea väärien positiivisten osuus hyväksytään sen hintana. Jos seulonnan pistemäärää luetaan diagnoosina, käännetään päinvastaiseksi se, mihin lomake on suunniteltu.