Hva er psykometri?

Psykometri er den grenen av psykologien som handler om selve målingen. Ikke om hva ekstroversjon betyr, men om hvorvidt et gitt sett med spørsmål faktisk måler ekstroversjon, hvor mye feil det er i tallet som kommer ut, og hva dette tallet har dekning for å forutsi.

Skillet betyr mer enn det kan høres ut som. Hvem som helst kan skrive tjue spørsmål om hvor utadvendt noen er, og summere svarene. Psykometri er arbeidet som kommer etterpå: å vise at de tjue spørsmålene henger sammen, at de måler én ting og ikke tre, at den samme personen får omtrent samme skår neste måned, at skåren henger sammen med hvordan personen faktisk oppfører seg, og at hele apparatet fungerer på samme måte for en 22-åring i Lisboa som for en 55-åring i München.

Hvorfor det trengtes en egen disiplin

Fysisk måling har en fordel som psykologien ikke har: Du kan legge en meterstokk ved siden av det du måler. Det finnes ingen meterstokk for planmessighet. Trekket er ikke direkte observerbart. Det utledes fra atferd, og svar på spørreskjemaer er enda et lag med slutninger oppå det.

Dette er det psykometrikere kaller en latent variabel: noe som er virkelig nok til å få konsekvenser, men som bare kan nås gjennom indirekte indikatorer. Hele det metodiske apparatet finnes på grunn av denne indirekteheten. Hver teknikk du vil møte, som faktoranalyse, reliabilitetskoeffisienter, item response theory og normutvalg, er et forsøk på å si noe forsvarlig om en størrelse ingen kan observere.

De tre spørsmålene

Skreller du bort fagspråket, stiller psykometrien tre spørsmål til ethvert instrument.

Er det konsistent? Hvis målingen for det meste er støy, spiller ingenting annet noen rolle. Konsistens undersøkes på tvers av ledd (stemmer spørsmålene overens med hverandre?), over tid (får den samme personen samme skår neste måned?) og på tvers av bedømmere der det er relevant. Dette er reliabilitet.

Måler det det det hevder å måle? Et spørreskjema kan være helt konsistent og likevel måle feil ting. En skala som hevder å måle lederpotensial, men som korrelerer 0,8 med ren selvfølelse, måler selvfølelse. Dette er validitet, og det er ikke en egenskap et instrument enten har eller mangler. Det er et argument bygget på evidens som er samlet over tid.

Sammenlignet med hvem? En råskår på 34 betyr ingenting i seg selv. Den blir tolkbar først når den holdes opp mot en referansegruppe: 34 er høyt i forhold til hvilken populasjon, målt når og hvor? Dette er normenes oppgave, og det er det steget de fleste forbrukertester hopper helt over.

Hvordan god praksis ser ut

Et godt konstruert instrument har et dokumentasjonsspor. Noen har publisert hvordan leddene ble skrevet, og hvilke som ble forkastet. Noen har rapportert reliabilitetskoeffisientene i navngitte utvalg, med utvalgsstørrelser. Noen har testet om faktorstrukturen holdt i et nytt, uavhengig utvalg, ikke bare i det som ble brukt til å bygge den. Noen har undersøkt om leddene fungerer likt på tvers av språk og aldersgrupper. Noen andre, helst uten egeninteresse i instrumentet, har forsøkt å replisere funnene og rapportert hva som skjedde.

Ingenting av dette gjør en test ufeilbarlig. Det gjør grensene dens mulige å kjenne, og det er en annen og mer nyttig egenskap. Et instrument med dokumentert målefeil forteller deg hvor mye du kan stole på en liten forskjell mellom to skårer. Et instrument uten publisert estimat av målefeilen er ikke mer nøyaktig; det er bare stillere om at det er unøyaktig.

Hvor dette etterlater leseren

Psykometrien vil ikke fortelle deg at en test er sann. Den vil fortelle deg hvor langt en skår kan strekkes før den slutter å bety noe: hvilke spørsmål den kan besvare, hvilke populasjoner den er kalibrert på, og hvor stor en forskjell må være før den er verdt å legge merke til.

Det er et smalere løfte enn de fleste personlighetsprodukter gir. Det er også det eneste løftet som tåler møtet med evidensen.