Hvad er reliabilitet i psykologisk testning?
Reliabilitet er målingens konsistens, ikke dens korrekthed. En test kan have høj reliabilitet og alligevel måle den forkerte ting. Derfor er det det første spørgsmål, man stiller, og aldrig det sidste.
Reliabilitet er den grad, hvori en måling kan gentages i stedet for at være støj. Hvis du vejede dig selv tre gange inden for et minut og fik 71, 78 og 66 kilo, ville vægten være upålidelig, og du ville ikke have nogen mulighed for at kende din faktiske vægt ud fra den. Psykologisk måling står over for det samme problem med langt mindre præcist udstyr.
Det afgørende at forstå ved reliabilitet er, hvad den ikke påstår. En badevægt, der konsekvent viser otte kilo for meget, er fuldstændig pålidelig og helt forkert. Reliabilitet handler om konsistens; om tallet betyder det rigtige, er et separat spørgsmål, der kaldes validitet. Reliabilitet er nødvendig for validitet, men langtfra tilstrækkelig.
De former, den antager
Intern konsistens spørger, om items på en skala stemmer overens med hinanden. Hvis ti spørgsmål alle skal indfange det samme underliggende træk, bør personer, der svarer højt på ét, have en tendens til at svare højt på de andre. Dette rapporteres som regel som Cronbachs alfa eller, bedre, McDonalds omega.
Test-retest-reliabilitet spørger, om den samme person scorer nogenlunde ens ved to lejligheder. Det er den form, der betyder mest for træk, som per definition skal være stabile. Det er også den form, der oftest ikke rapporteres, fordi den kræver, at man finder de samme deltagere igen uger senere.
Interrater-reliabilitet er relevant, når mennesker scorer instrumentet: kliniske interviews, projektive teknikker, adfærdsobservation. Den spørger, om to trænede bedømmere, der ser på det samme materiale, når frem til den samme konklusion.
Parallelform-reliabilitet spørger, om to forskellige versioner af den samme test, konstrueret til at være ækvivalente, giver de samme scores. Den er vigtig overalt, hvor en test gennemføres mere end én gang, og hvor eksponering af items er en bekymring.
Sådan læser du tallene
Reliabilitetskoefficienter går fra 0 til 1. Konventionerne er grove og bliver ofte misbrugt, men groft sagt: over 0,90 kræves, hvor en score påvirker et individs liv, 0,80 til 0,90 er solidt til de fleste anvendte formål, 0,70 til 0,80 er acceptabelt til forskning og gruppesammenligninger, og under 0,70 betyder, at scoren indeholder mere støj, end de fleste konklusioner kan tåle.
To forbehold om disse tærskler. For det første er de konventioner, ikke love: det acceptable niveau afhænger helt af, hvad scoren skal bruges til. For det andet indikerer en meget høj alfa på en kort skala som regel, at items næsten er omskrivninger af hinanden, hvilket køber konsistens på bekostning af dækningen af konstruktet. En skala med ti spørgsmål, der alle spørger "er du organiseret?" med lidt forskellige ord, vil have fremragende intern konsistens og en snæver forståelse af samvittighedsfuldhed.
Hvad det betyder for din egen score
Reliabilitet omsættes direkte til, hvor stor tillid et enkelt tal fortjener. En test med en reliabilitet på 0,85 har en målefejl, der er stor nok til, at en forskel på nogle få point mellem to personer, eller mellem din score i dag og din score sidste måned, med stor sandsynlighed er støj snarere end signal.
Dette er den praktiske konsekvens: et godt instrument rapporterer sin reliabilitet, så du ved, hvor bred usikkerheden omkring din score er. Det tekniske udtryk for denne usikkerhed er standardmålefejlen, som omsætter en reliabilitetskoefficient til et plus/minus-interval omkring scoren.
Et instrument, der slet ikke rapporterer nogen reliabilitet, er ikke dermed mere præcist. Det har blot undladt at fortælle dig, hvor upræcist det er.
Sæt det på prøve
At læse om måling er én ting. At se din egen score rapporteret med kilde, normstikprøve og begrænsninger er noget andet. Gratis at tage, ingen tilmelding nødvendig.
Læs videre
- Hvad er psykometri?Den disciplin, der afgør, om en psykologisk måling er god nok, og grunden til, at to test, der stiller lignende spørgsmål, kan have meget forskellig værdi i deres resultater.
- Hvad er validitet i psykologisk testning?Validitet er ikke en egenskab, som en test har. Det er et argument for, om en bestemt fortolkning af en bestemt score til et bestemt formål kan forsvares, og det skal bygges op på ny ved hver ny anvendelse.
- Hvad er konstruktvaliditet?Det sværeste spørgsmål inden for måling: om det, du måler, findes, sådan som du har defineret det, og om dit instrument rammer netop det og ikke noget beslægtet.
- Konvergent og diskriminant validitetTo spejlvendte krav: et mål skal stemme overens med det, det bør stemme overens med, og skal forblive adskilt fra det, det hævder ikke at være. De fleste svage instrumenter fejler på det andet.
- Hvad er Cronbachs alfa, og hvad er det ikke?Den mest rapporterede statistik i psykologisk testning og den mest misforståede. Alpha fortæller dig ikke, at en skala er endimensionel, og en høj værdi er ofte et symptom snarere end en dyd.
- Standardmålefejl: hvor meget din score kan afvigeEnhver score har en fejlmargin, og for de fleste psykologiske test er den bredere, end folk tror. Det er dette tal, der fortæller dig, hvornår en forskel er reel, og hvornår den er støj.
- Normer og percentiler: hvad din score sammenlignes medEn råscore kan ikke fortolkes alene. Den får først mening, når den sammenholdes med en referencegruppe, og hvilken gruppe der er brugt, er et af de mest betydningsfulde og mindst omtalte forhold ved enhver test.
- Sådan bliver en psykometrisk test faktisk udvikletFra definitionen af konstruktet til publicerede normer tager forløbet år og kasserer det meste af det, der indgår i det. Når du kender trinene, bliver det tydeligt, hvilke af dem en hurtig online-quiz har sprunget over.
- Hvad betyder det, når en test kaldes valideret?Ordet er ikke beskyttet og bruges frit af produkter, der ikke har gjort noget af arbejdet. Her er, hvad det betyder, når det betyder noget, og de fire spørgsmål, der adskiller de to tilfælde.
- Hvorfor de fleste personlighedstest på internettet ikke er reliableIkke fordi de er uærlige, men fordi de trin, der gør en måling troværdig, er usynlige, dyre og lette at springe over, og at springe dem over ændrer intet ved, hvordan resultatet ser ud.
- Hvad selvrapportering kan og ikke kan måleSpørgeskemaer beder dig om at være observatør af dig selv, og det fungerer bedre for nogle ting end for andre. Når du ved, hvor metoden er stærk, og hvor den svigter, ændrer det måden, du læser ethvert resultat på.
- Hvad det betyder, når en test forudsiger nogetEn korrelation på 0,30 er et stærkt fund i personlighedsforskning og et svagt grundlag for en beslutning om en enkelt person. Begge udsagn er sande, og kløften mellem dem er årsagen til det meste misbrug af testresultater.
- Screening er ikke diagnoseEt screeningspørgeskema er udviklet til at fange så mange mulige tilfælde som muligt og accepterer en høj andel falsk positive som prisen for det. At læse en screeningscore som en diagnose vender op og ned på det, den er designet til.