Vad är reliabilitet vid psykologisk testning?

Reliabilitet är i vilken grad en mätning är repeterbar snarare än brus. Om du vägde dig tre gånger på en minut och fick 71, 78 och 66 kilo, skulle vågen vara orealistisk, och du skulle inte ha något sätt att veta din faktiska vikt utifrån den. Psykologisk mätning står inför samma problem med betydligt mindre precisa instrument.

Det avgörande att förstå om reliabilitet är vad den inte påstår. En badrumsvåg som konsekvent visar åtta kilo för mycket är fullständigt reliabel och helt fel. Reliabilitet handlar om konsekvens; om siffran betyder rätt sak är en separat fråga, som kallas validitet. Reliabilitet är nödvändig för validitet men på inget sätt tillräcklig för den.

De former den tar

Intern konsistens frågar om itemen i en skala stämmer med varandra. Om tio frågor alla antas mäta samma underliggande drag bör personer som svarar högt på en tendera att svara högt på de andra. Detta rapporteras vanligtvis som Cronbachs alfa eller, bättre, McDonalds omega.

Test-retest-reliabilitet frågar om samma person får liknande poäng vid två tillfällen. Detta är den form som betyder mest för drag, som per definition antas vara stabila. Det är också den form som oftast inte rapporteras, eftersom det kräver att man spårar upp samma deltagare veckor senare.

Interbedömarreliabilitet gäller när människor bedömer instrumentet, till exempel kliniska intervjuer, projektiva tekniker, beteendeobservation. Den frågar om två tränade bedömare som ser på samma material når samma slutsats.

Parallellformsreliabilitet frågar om två olika versioner av samma test, byggda för att vara likvärdiga, ger samma poäng. Det spelar roll när ett test administreras mer än en gång och exponering för specifika item är ett bekymmer.

Att läsa siffrorna

Reliabilitetskoefficienter går från 0 till 1. Konventionerna är grova och ofta missbrukade, men ungefär: över 0,90 krävs där en poäng påverkar en individs liv, 0,80 till 0,90 är solitt för de flesta tillämpade ändamål, 0,70 till 0,80 är acceptabelt för forskning och för gruppjämförelser, och under 0,70 innebär att poängen innehåller mer brus än de flesta slutsatser klarar av.

Två förbehåll om dessa tröskelvärden. Först, de är konventioner, inte lagar; den acceptabla nivån beror helt på vad poängen ska användas till. För det andra indikerar en mycket hög alfa på en kort skala vanligtvis att itemen är nästintill omskrivningar av varandra, vilket köper konsekvens till priset av att täcka konstruktet. En skala med tio frågor som alla frågar "är du organiserad?" med lite olika ord kommer att ha utmärkt intern konsistens och en smal avläsning av samvetsgrannhet.

Vad det betyder för din egen poäng

Reliabilitet omsätts direkt i hur mycket förtroende en enskild siffra förtjänar. Ett test med en reliabilitet på 0,85 bär på en mätfelsmarginal stor nog att en skillnad på några poäng mellan två personer, eller mellan din poäng idag och din poäng förra månaden, mycket väl kan vara brus snarare än signal.

Detta är den praktiska konsekvensen: ett bra instrument rapporterar sin reliabilitet så att du vet hur bred osäkerheten kring din poäng är. Det tekniska uttrycket för den osäkerheten är mätningens standardfel, som omvandlar en reliabilitetskoefficient till ett plus-minus-band kring poängen.

Ett instrument som inte rapporterar någon reliabilitetssiffra alls är inte därigenom mer precist. Det har helt enkelt avstått från att berätta för dig hur oprecist det är.