Vad är psykometri?

Psykometri är den gren av psykologin som handlar om själva mätningen. Inte om vad extraversion betyder, utan om huruvida en given uppsättning frågor faktiskt mäter extraversion, hur mycket fel som finns i den resulterande siffran, och vad den siffran har rätt att förutsäga.

Skillnaden är viktigare än den låter. Vem som helst kan skriva tjugo frågor om hur utåtriktad någon är och summera svaren. Psykometri är arbetet som kommer efteråt: att visa att de tjugo frågorna hänger ihop, att de mäter en sak snarare än tre, att samma person får ungefär samma poäng nästa månad, att poängen relaterar till hur personen faktiskt beter sig, och att hela apparaten fungerar likadant för en 22-åring i Lissabon som för en 55-åring i München.

Varför en disciplin behövdes

Fysisk mätning har en fördel som psykologin saknar: man kan lägga en metersticka mot det man mäter. Det finns ingen metersticka för samvetsgrannhet. Draget är inte direkt observerbart, det härleds från beteende, och enkätsvar är ännu ett lager av härledning ovanpå det.

Detta är vad psykometriker kallar en latent variabel: något som är verkligt nog för att ha konsekvenser, men som bara kan nås genom indirekta indikatorer. Hela den metodologiska apparaten existerar på grund av denna indirekthet. Varje teknik du kommer att möta, faktoranalys, reliabilitetskoefficienter, item response theory, normurval, är ett försök att säga något försvarbart om en storhet som ingen kan observera.

De tre frågorna

Skalar man bort terminologin ställer psykometrin tre frågor till varje instrument.

Är det konsekvent? Om mätningen mest är brus spelar inget annat någon roll. Konsekvens kontrolleras mellan items (stämmer frågorna med varandra?), över tid (får samma person samma poäng nästa månad?) och mellan bedömare där det är relevant. Detta är reliabilitet.

Mäter det vad det påstår? En enkät kan vara helt konsekvent och ändå mäta fel sak. En skala som påstår sig mäta ledarskapspotential men korrelerar 0,8 med enkel självkänsla mäter självkänsla. Detta är validitet, och det är inte en egenskap ett instrument antingen har eller saknar, det är ett resonemang byggt på ackumulerad evidens.

Jämfört med vem? En rå poäng på 34 betyder ingenting i sig själv. Den blir tolkningsbar först i förhållande till en referensgrupp: är 34 högt relativt vilken population, uppmätt när, och var? Detta är normers uppgift, och det är det steg som de flesta konsumenttest hoppar över helt och hållet.

Hur god praxis ser ut

Ett väl utvecklat instrument har ett dokumentationsspår. Någon har publicerat hur items skrevs och vilka som förkastades. Någon har rapporterat reliabilitetskoefficienterna, i namngivna urval, med urvalsstorlekar. Någon har testat om faktorstrukturen höll i ett andra, oberoende urval snarare än det som användes för att bygga den. Någon har kontrollerat om items beter sig likadant över språk och åldersgrupper. Någon annan, i idealfallet utan egenintresse i instrumentet, har försökt replikera resultaten och rapporterat vad som hände.

Inget av detta gör ett test infallibelt. Det gör dess begränsningar kända, vilket är en annan och mer användbar egenskap. Ett instrument vars mätfel är dokumenterat talar om för dig hur mycket du kan lita på en liten skillnad mellan två poäng. Ett instrument utan publicerad felskattning är inte mer träffsäkert, det är bara tystare om sin otillförlitlighet.

Var det lämnar läsaren

Psykometri kommer inte att tala om för dig att ett test är sant. Det kommer att tala om för dig hur långt en poäng kan drivas innan den slutar betyda något, vilka frågor den kan besvara, vilka populationer den är kalibrerad på, och hur stor en skillnad måste vara innan den är värd att notera.

Det är ett snävare löfte än det de flesta personlighetsprodukter ger. Det är också det enda löfte som överlever mötet med evidensen.