Vad det innebär när ett test förutsäger något

Personlighetsforskning rapporterar att samvetsgrannhet predicerar arbetsprestation. När man läser den meningen föreställer sig de flesta något betydligt starkare än det som data faktiskt visar. Klyftan mellan det statistiska påståendet och den vardagliga betydelsen av "predicerar" är där det mesta av missbruket av psykologisk testning börjar.

Siffrorna det handlar om

Effektstorlekar inom personlighetsforskning rapporteras vanligtvis som korrelationer. Metaanalytiska värden för väletablerade samband tenderar att ligga mellan 0,20 och 0,35. Samvetsgrannhet och arbetsprestation ligger runt 0,20 till 0,25. Arbetstillfredsställelse och arbetsprestation ligger runt 0,30. Generell mental förmåga, den starkaste enskilda predictorn inom fältet, når ungefär 0,50 för komplext arbete.

Kvadrerar man en korrelation får man andelen förklarad varians. En korrelation på 0,25 svarar för cirka sex procent av skillnaderna mellan människor. De återstående nittiofyra procenten är något annat: förmåga, möjlighet, träning, ledarskap, hälsa, tur.

Varför 0,25 trots allt är ett verkligt fynd

På populationsnivå ger små korrelationer betydande sammantagna effekter. Om du väljer ut tusen personer förbättrar en predictor på 0,25 ditt genomsnittliga utfall mätbart och upprepat. Försäkringsbolag och epidemiologer bygger hela sin verksamhet på effekter av den storleken.

Haken är att den sammantagna nyttan och den individuella prediktionen är olika storheter. En korrelation på 0,25 innebär att fler bland de som får höga poäng kommer att prestera bra jämfört med de som får låga poäng, och samtidigt att väldigt många med höga poäng kommer att prestera dåligt och väldigt många med låga poäng kommer att utmärka sig. Båda påståendena kommer från samma siffra.

Det enskilda fallet

Det är det här steget som ofta hoppas över. En korrelation beskriver sambandet mellan två fördelningar. Den ger inte stöd för ett påstående om en specifik person.

Om samvetsgrannhet korrelerar 0,25 med prestation innebär det att kunskap om någons poäng på samvetsgrannhet bara i mycket liten grad avgränsar det rimliga intervallet för dennes prestation. Prediktionsintervallet för en enskild individ förblir tillräckligt brett för att omfatta nästan hela utfallsspannet. Att få veta att du ligger på den 80:e percentilen på samvetsgrannhet säger väldigt lite om hur du kommer att klara ett specifikt jobb.

Det är därför att använda personlighetspoäng som ett primärt urvalsfilter har svagt vetenskapligt stöd, även när den underliggande forskningen är sund. Forskningen ger stöd för påståendet att draget spelar roll. Den ger inte stöd för påståendet att en poäng talar om vad en sökande kommer att göra.

Två ytterligare varningar

Att predicera och att orsaka är olika saker. Nästan all denna litteratur är korrelationsbaserad. Att samvetsgrannhet predicerar hälsoutfall är förenligt med att samvetsgrannhet orsakar bättre hälsobeteenden, med att en tredje faktor orsakar båda, och med omvänd kausalitet. Longitudinella upplägg begränsar möjligheterna; de utesluter dem sällan helt.

Självskattade kriterier blåser upp siffrorna. När både predictorn och utfallet självskattas av samma person samma eftermiddag driver gemensam metodvarians upp korrelationen. Studier som använder objektiva utfall eller bedömarskattningar rapporterar vanligtvis mindre effekter, och det är dessa man bör lägga vikt på.

Vad en poäng faktiskt är bra för

Läst som beskrivning snarare än profetia är ett testresultat genuint användbart. Det visar var du står i förhållande till en referenspopulation på ett drag som har dokumenterade konsekvenser, och det ger dig ett vokabulär för ett mönster du kanske har lagt märke till utan att kunna sätta ord på det.

Det är värt att ha. Det är något annat än en prognos, och den distinktionen är en som en ärlig rapport bör göra åt dig, snarare än att lämna dig att gissa dig till den.