Mittauksen keskivirhe: kuinka paljon pistemääräsi voi poiketa todellisesta
Jokaiseen pistemäärään liittyy virhemarginaali, ja useimmissa psykologisissa testeissä se on suurempi kuin ihmiset olettavat. Tämä luku kertoo sinulle, milloin ero on todellinen ja milloin se on pelkkää kohinaa.
Mittauksen keskivirhe muuttaa abstraktin reliabiliteettikertoimen konkreettiseksi: pistemäärän ympärille asettuvaksi plus-miinus-vaihteluväliksi. Se vastaa kysymykseen, joka useimmilta tulosnäkymiltä jää vastaamatta: kuinka paljon tämä luku olisi voinut poiketa, jos olisin tehnyt testin jonain toisena iltapäivänä?
Kaava on yksinkertainen. Kerro asteikon keskihajonta luvulla, joka saadaan ottamalla neliöjuuri erotuksesta yksi miinus asteikon reliabiliteetti. Asteikolla, jonka keskihajonta on 10 ja reliabiliteetti 0,85, keskivirhe on noin 3,9 pistettä.
Mitä tuo vaihteluväli todella kattaa
Noin kahdessa tapauksessa kolmesta henkilön todellinen taso on yhden keskivirheen päässä hänen havaitusta pistemäärästään. Jotta voit olla noin 95-prosenttisen varma, tarvitset suunnilleen kaksi keskivirhettä kummallekin puolelle.
Otetaan yllä oleva esimerkki. Joku saa pistemäärän 62. 95 prosentin luottamusväli ulottuu noin 54:stä 70:een. Se on kuudentoista pisteen ikkuna asteikolla, jolla tyypillinen ero keskitason ja selvästi keskitason yläpuolella olevan välillä voi olla kymmenen pistettä.
Tämä ei ole juuri tämän testin vika. Reliabiliteetti 0,85 on kunnioitettava. Se on psykologisen mittauksen tavallinen tarkkuus, ja juuri siksi huolelliset raportit esittävät vaihteluvälejä eivätkä yksittäisiä pisteitä.
Seuraukset, jotka jäävät huomaamatta
Pienet erot asteikkojen välillä ovat yleensä merkityksettömiä. Jos ulospäinsuuntautuneisuutesi on 58 ja avoimuutesi 54, rehellinen tulkinta on, että niitä ei voi erottaa toisistaan. Profiilitulkinnat, jotka rakentavat kertomuksen neljän pisteen eroista, lukevat kohinaa.
Myös pienet muutokset ajan myötä ovat yleensä merkityksettömiä. Jos teet testin uudelleen ja tulos muuttuu viisi pistettä, muutos on useimmilla mittareilla virherajojen sisällä. Todellinen piirteiden muutos tapahtuu vuosien kuluessa ja näkyy liikkeenä selvästi virhevälin ulkopuolelle, ei muutamana pisteenä kuukaudesta toiseen.
Järjestyssijoitukset voimistavat ongelmaa. Muutaman raakapisteen ero voi siirtää jonkun kymmenen persentiilisijaa jakauman tiheässä keskiosassa, koska siellä useimmat ihmiset ovat. Persentiilisijoitukset näyttävät tarkoilta, mutta ne ovat epävakain tapa ilmaista pistemäärä.
Tarkkuus ei ole tasainen koko asteikolla. Klassinen testiteoria olettaa saman virhearvon jokaiselle pistemäärälle, mikä on yksinkertaistus. Osioresponssiteoria mallintaa virheen erikseen piirteen jokaisella tasolla, ja virhe on lähes aina suurempi ääripäissä, eli juuri siellä, missä seurauksiltaan merkittävimmät tulkinnat tehdään. Hyvin korkea tai hyvin matala pistemäärä on tyypillisesti epätarkempi kuin keskivaiheilla oleva, ei tarkempi.
Miksi rehellinen raportointi näyttää vähemmän vaikuttavalta
Mittari, joka raportoi luottamusvälit, näyttää epämääräisemmältä kuin mittari, joka raportoi yksittäisen luvun yhden desimaalin tarkkuudella. Epämääräisempi kertoo totuuden. Tarkalta näyttävällä on sama taustalla oleva virhe, ja se on vain päättänyt olla näyttämättä sitä.
Tämä kannattaa muistaa, kun vertaat tieteellisesti dokumentoitua testiä kaupalliseen tuotteeseen, joka sijoittaa sinut johonkin kategoriaan. Kategorian raja on tietyssä pistemäärässä, ja henkilö yhden pisteen sen alapuolella ja henkilö yhden pisteen sen yläpuolella ovat tilastollisesti sama ihminen. Tyyppinimike peittää tämän täysin. Se on yksi vakavimmista tyyppipohjaisia mittareita vastaan esitetyistä argumenteista ja syy siihen, miksi jatkuvat pistemäärät ilmoitettuine virheineen ovat tutkimuksessa standardi.
Testaa itse
Mittaamisesta lukeminen on yksi asia. Oman pistemääräsi näkeminen lähteineen, normiotoksineen ja rajoituksineen on toinen. Maksuton, ei rekisteröitymistä.
Jatka lukemista
- Mitä on psykometriikka?Tieteenala, joka selvittää, onko psykologinen mittaus hyvä vai ei. Se myös selittää, miksi kahden samankaltaisia kysymyksiä esittävän testin tulosten arvo voi poiketa toisistaan valtavasti.
- Mitä reliabiliteetti on psykologisessa testauksessa?Reliabiliteetti on mittauksen johdonmukaisuutta, ei oikeellisuutta. Testillä voi olla korkea reliabiliteetti, ja silti se voi mitata väärää asiaa. Siksi se on ensimmäinen kysymys, jonka esitämme, mutta ei koskaan viimeinen.
- Mitä validiteetti on psykologisessa testauksessa?Validiteetti ei ole testin ominaisuus. Se on perustelu sille, onko tietyn pistemäärän tietty tulkinta tiettyyn tarkoitukseen puolustettavissa, ja se on rakennettava uudelleen jokaista uutta käyttötarkoitusta varten.
- Mitä on konstruktivaliditeetti?Mittaamisen vaikein kysymys: onko mittaamasi asia olemassa sellaisena kuin olet sen määritellyt, ja tavoittaako mittarisi juuri sen eikä jotakin sen lähellä olevaa.
- Konvergentti ja diskriminantti validiteettiKaksi toistensa peilikuvana olevaa vaatimusta: mittarin on oltava yhtäpitävä sen kanssa, minkä kanssa sen pitääkin olla, ja sen on pysyttävä erillisenä siitä, mitä se väittää olevansa olematta. Useimmat heikot mittarit eivät täytä jälkimmäistä.
- Mitä Cronbachin alfa on ja mitä se ei olePsykologisen testauksen eniten raportoitu tunnusluku ja myös useimmin väärin tulkittu. Alfa ei kerro, että asteikko on yksiulotteinen, ja korkea arvo on usein pikemminkin oire kuin ansio.
- Normit ja persentiilit: mihin pistemäärääsi verrataanRaakapistemäärä ei ole yksinään tulkittavissa. Se saa merkityksen vasta suhteessa viiteryhmään, ja se, mitä ryhmää käytettiin, on yksi minkä tahansa testin merkittävimmistä ja vähiten esille tuoduista seikoista.
- Miten psykometrinen testi oikeasti rakennetaanKonstruktin määrittelystä julkaistuihin normeihin prosessi kestää vuosia, ja suurin osa siihen syötetystä aineksesta karsitaan matkan varrella. Kun tunnet vaiheet, on helppo nähdä, mitkä niistä nopea verkkovisa jätti väliin.
- Mitä tarkoittaa, kun testiä kutsutaan validoiduksi?Sana on sääntelemätön, ja sitä käyttävät vapaasti tuotteet, jotka eivät ole tehneet mitään tarvittavasta työstä. Tässä on, mitä se tarkoittaa silloin, kun se tarkoittaa jotakin, ja neljä kysymystä, jotka erottavat nämä kaksi tapausta toisistaan.
- Miksi useimmat internetin persoonallisuustestit eivät ole reliaabeleitaEi siksi, että he olisivat epärehellisiä, vaan siksi, että ne vaiheet, jotka tekevät mittauksesta luotettavan, ovat näkymättömiä, kalliita ja helppoja ohittaa. Niiden ohittaminen ei muuta mitenkään sitä, miltä tulos näyttää.
- Mitä itsearvioinnilla voi mitata ja mitä eiKyselylomakkeet pyytävät sinua tarkkailemaan itseäsi, mikä toimii joissakin asioissa paremmin kuin toisissa. Kun tiedät, missä menetelmä on vahva ja missä se pettää, luet minkä tahansa tuloksen eri tavalla.
- Mitä tarkoittaa, kun testi ennustaa jotakinKorrelaatio 0,30 on persoonallisuustutkimuksessa vahva löydös mutta heikko peruste yhtä ihmistä koskevalle päätökselle. Kumpikin väite pitää paikkansa, ja niiden välinen ero aiheuttaa suurimman osan testitulosten väärinkäytöstä.
- Seulonta ei ole diagnoosiSeulontaan tarkoitettu kyselylomake on rakennettu tunnistamaan mahdollisimman monta mahdollista tapausta, ja korkea väärien positiivisten osuus hyväksytään sen hintana. Jos seulonnan pistemäärää luetaan diagnoosina, käännetään päinvastaiseksi se, mihin lomake on suunniteltu.