Mitä reliabiliteetti on psykologisessa testauksessa?

Reliabiliteetti kertoo, missä määrin mittaus on toistettavissa eikä pelkkää kohinaa. Jos punnitsisit itsesi kolme kertaa minuutin sisällä ja saisit tulokseksi 71, 78 ja 66 kilogrammaa, vaaka olisi epäluotettava, eikä sen avulla voisi mitenkään tietää todellista painoasi. Psykologinen mittaaminen kohtaa saman ongelman paljon epätarkemmilla välineillä.

Reliabiliteetissa on olennaista ymmärtää, mitä se ei väitä. Kylpyhuoneen vaaka, joka näyttää johdonmukaisesti kahdeksan kilogrammaa liikaa, on täysin reliaabeli ja täysin väärässä. Reliabiliteetti koskee johdonmukaisuutta; se, tarkoittaako luku oikeaa asiaa, on erillinen kysymys, jota kutsutaan validiteetiksi. Reliabiliteetti on validiteetin välttämätön ehto, mutta läheskään riittävä se ei ole.

Sen eri muodot

Sisäinen johdonmukaisuus kysyy, ovatko asteikon osiot keskenään yhtäpitäviä. Jos kymmenen kysymyksen on tarkoitus mitata samaa taustalla olevaa piirrettä, yhteen vastaavasti korkealla vastaavien pitäisi taipua vastaamaan korkealla myös muihin. Tämä raportoidaan yleensä Cronbachin alfana tai, mieluummin, McDonaldin omegana.

Test-retest-reliabiliteetti kysyy, saako sama henkilö samankaltaisen pistemäärän kahdella eri kerralla. Tämä muoto on tärkein piirteiden kannalta, sillä niiden on määritelmän mukaan tarkoitus olla pysyviä. Se on myös muoto, joka jätetään useimmiten raportoimatta, koska se edellyttää samojen osallistujien tavoittamista uudelleen viikkoja myöhemmin.

Arvioijien välinen reliabiliteetti tulee kyseeseen, kun mittarin pisteyttävät ihmiset: kliiniset haastattelut, projektiiviset menetelmät, käyttäytymisen havainnointi. Se kysyy, päätyvätkö kaksi koulutettua arvioijaa samaan johtopäätökseen tarkastellessaan samaa aineistoa.

Rinnakkaismuotojen reliabiliteetti kysyy, tuottavatko saman testin kaksi eri versiota, jotka on laadittu vastaamaan toisiaan, samat pistemäärät. Sillä on merkitystä aina, kun testi tehdään useammin kuin kerran ja osioiden tuttuus on huolenaihe.

Lukujen tulkinta

Reliabiliteettikertoimet vaihtelevat välillä 0-1. Käytännöt ovat karkeita ja niitä käytetään laajasti väärin, mutta suunnilleen: yli 0,90 vaaditaan, kun pistemäärä vaikuttaa yksilön elämään; 0,80-0,90 on vankka useimpaan soveltavaan käyttöön; 0,70-0,80 on hyväksyttävä tutkimuksessa ja ryhmävertailuissa; ja alle 0,70 tarkoittaa, että pistemäärässä on enemmän kohinaa kuin useimmat johtopäätökset kestävät.

Näihin raja-arvoihin liittyy kaksi varausta. Ensinnäkin ne ovat käytäntöjä eivätkä lakeja: hyväksyttävä taso riippuu täysin siitä, mihin pistemäärää käytetään. Toiseksi hyvin korkea alfa lyhyellä asteikolla viittaa yleensä siihen, että osiot ovat lähes toistensa uudelleenmuotoiluja, jolloin johdonmukaisuus saavutetaan konstruktin kattavuuden kustannuksella. Kymmenen kysymyksen asteikolla, jonka kaikki kysymykset kysyvät hieman eri sanoin "oletko järjestelmällinen?", on erinomainen sisäinen johdonmukaisuus ja kapea käsitys tunnollisuudesta.

Mitä se merkitsee omalle pistemäärällesi

Reliabiliteetti kertoo suoraan, kuinka paljon luottamusta yksittäinen luku ansaitsee. Testissä, jonka reliabiliteetti on 0,85, mittausvirhe on niin suuri, että muutaman pisteen ero kahden ihmisen välillä tai tämänpäiväisen ja viime kuun pistemääräsi välillä on hyvin todennäköisesti kohinaa eikä signaalia.

Tämä on käytännön seuraus: hyvä mittari raportoi reliabiliteettinsa, jotta tiedät, kuinka laaja epävarmuus pistemääräsi ympärillä on. Tämän epävarmuuden tekninen ilmaus on mittauksen keskivirhe, joka muuntaa reliabiliteettikertoimen pistemäärän ympärille plus-miinus-vaihteluväliksi.

Mittari, joka ei raportoi lainkaan reliabiliteettilukua, ei ole sen vuoksi tarkempi. Se on yksinkertaisesti jättänyt kertomatta, kuinka epätarkka se on.