Hvad det betyder, når en test forudsiger noget
En korrelation på 0,30 er et stærkt fund i personlighedsforskning og et svagt grundlag for en beslutning om en enkelt person. Begge udsagn er sande, og kløften mellem dem er årsagen til det meste misbrug af testresultater.
Personlighedsforskning viser, at samvittighedsfuldhed forudsiger jobpræstation. Når de læser den sætning, forestiller de fleste sig noget langt stærkere end det, data viser. Kløften mellem den statistiske påstand og den hverdagsagtige betydning af "forudsiger" er det sted, hvor det meste misbrug af psykologiske test begynder.
Tallene bag
Effektstørrelser i personlighedsforskning angives som regel som korrelationer. Metaanalytiske værdier for veletablerede sammenhænge ligger typisk mellem 0,20 og 0,35. Samvittighedsfuldhed og jobpræstation ligger omkring 0,20 til 0,25. Jobtilfredshed og jobpræstation ligger omkring 0,30. Generel mental evne, den stærkeste enkeltstående prædiktor på området, når op på cirka 0,50 for komplekst arbejde.
Kvadrerer du en korrelation, får du andelen af forklaret varians. En korrelation på 0,25 forklarer omkring seks procent af forskellene mellem mennesker. De resterende 94 procent er noget andet: evner, muligheder, oplæring, ledelse, helbred, held.
Hvorfor 0,25 alligevel er et reelt fund
På befolkningsniveau giver små korrelationer betydelige samlede effekter. Hvis du skal udvælge tusind personer, forbedrer en prædiktor på 0,25 dit gennemsnitlige udfald målbart og gentagne gange. Forsikringsselskaber og epidemiologer bygger hele deres praksis på effekter af denne størrelse.
Hagen er, at den samlede gevinst og den individuelle forudsigelse er to forskellige størrelser. En korrelation på 0,25 betyder, at blandt personer med en høj score vil flere præstere godt end blandt personer med en lav score. Men den betyder også, at rigtig mange med en høj score vil præstere dårligt, og rigtig mange med en lav score vil klare sig fremragende. Begge udsagn stammer fra det samme tal.
Det enkelte tilfælde
Det er dette trin, der bliver sprunget over. En korrelation beskriver forholdet mellem to fordelinger. Den giver ikke grundlag for et udsagn om en bestemt person.
Hvis samvittighedsfuldhed korrelerer 0,25 med præstation, indsnævrer kendskabet til en persons score for samvittighedsfuldhed kun det plausible spænd for vedkommendes præstation en smule. Prædiktionsintervallet for den enkelte forbliver så bredt, at det omfatter næsten hele udfaldsspændet. At få at vide, at du ligger på 80. percentil for samvittighedsfuldhed, fortæller dig meget lidt om, hvordan du vil klare dig i et bestemt job.
Derfor er det dårligt underbygget at bruge personlighedsscorer som primært udvælgelsesfilter, selv når den underliggende forskning er solid. Forskningen understøtter påstanden om, at trækket har betydning. Den understøtter ikke påstanden om, at en score fortæller dig, hvad en ansøger vil gøre.
To yderligere forbehold
At forudsige og at forårsage er forskellige ting. Næsten al denne litteratur er korrelationel. At samvittighedsfuldhed forudsiger helbredsudfald er foreneligt med, at samvittighedsfuldhed forårsager bedre helbredsadfærd, med at en tredje faktor forårsager begge dele, og med omvendt kausalitet. Longitudinelle design indsnævrer mulighederne; de udelukker dem sjældent.
Kriterier baseret på selvrapportering puster tallene op. Når både prædiktoren og udfaldet er selvrapporteret af den samme person samme eftermiddag, trækker fælles metodevarians korrelationen op. Studier med objektive udfald eller vurderinger fra informanter rapporterer som regel mindre effekter, og det er dem, der bør vægtes.
Hvad en score faktisk er god til
Læst som beskrivelse snarere end som profeti er en testscore virkelig nyttig. Den fortæller dig, hvor du står i forhold til en referencepopulation på et træk med dokumenterede konsekvenser, og den giver dig ord for et mønster, du måske har bemærket uden at kunne sætte navn på.
Det er værd at have. Det er noget andet end en prognose, og den skelnen bør en ærlig rapport foretage for dig i stedet for at overlade det til dig selv at udlede den.
Sæt det på prøve
At læse om måling er én ting. At se din egen score rapporteret med kilde, normstikprøve og begrænsninger er noget andet. Gratis at tage, ingen tilmelding nødvendig.
Læs videre
- Hvad er psykometri?Den disciplin, der afgør, om en psykologisk måling er god nok, og grunden til, at to test, der stiller lignende spørgsmål, kan have meget forskellig værdi i deres resultater.
- Hvad er reliabilitet i psykologisk testning?Reliabilitet er målingens konsistens, ikke dens korrekthed. En test kan have høj reliabilitet og alligevel måle den forkerte ting. Derfor er det det første spørgsmål, man stiller, og aldrig det sidste.
- Hvad er validitet i psykologisk testning?Validitet er ikke en egenskab, som en test har. Det er et argument for, om en bestemt fortolkning af en bestemt score til et bestemt formål kan forsvares, og det skal bygges op på ny ved hver ny anvendelse.
- Hvad er konstruktvaliditet?Det sværeste spørgsmål inden for måling: om det, du måler, findes, sådan som du har defineret det, og om dit instrument rammer netop det og ikke noget beslægtet.
- Konvergent og diskriminant validitetTo spejlvendte krav: et mål skal stemme overens med det, det bør stemme overens med, og skal forblive adskilt fra det, det hævder ikke at være. De fleste svage instrumenter fejler på det andet.
- Hvad er Cronbachs alfa, og hvad er det ikke?Den mest rapporterede statistik i psykologisk testning og den mest misforståede. Alpha fortæller dig ikke, at en skala er endimensionel, og en høj værdi er ofte et symptom snarere end en dyd.
- Standardmålefejl: hvor meget din score kan afvigeEnhver score har en fejlmargin, og for de fleste psykologiske test er den bredere, end folk tror. Det er dette tal, der fortæller dig, hvornår en forskel er reel, og hvornår den er støj.
- Normer og percentiler: hvad din score sammenlignes medEn råscore kan ikke fortolkes alene. Den får først mening, når den sammenholdes med en referencegruppe, og hvilken gruppe der er brugt, er et af de mest betydningsfulde og mindst omtalte forhold ved enhver test.
- Sådan bliver en psykometrisk test faktisk udvikletFra definitionen af konstruktet til publicerede normer tager forløbet år og kasserer det meste af det, der indgår i det. Når du kender trinene, bliver det tydeligt, hvilke af dem en hurtig online-quiz har sprunget over.
- Hvad betyder det, når en test kaldes valideret?Ordet er ikke beskyttet og bruges frit af produkter, der ikke har gjort noget af arbejdet. Her er, hvad det betyder, når det betyder noget, og de fire spørgsmål, der adskiller de to tilfælde.
- Hvorfor de fleste personlighedstest på internettet ikke er reliableIkke fordi de er uærlige, men fordi de trin, der gør en måling troværdig, er usynlige, dyre og lette at springe over, og at springe dem over ændrer intet ved, hvordan resultatet ser ud.
- Hvad selvrapportering kan og ikke kan måleSpørgeskemaer beder dig om at være observatør af dig selv, og det fungerer bedre for nogle ting end for andre. Når du ved, hvor metoden er stærk, og hvor den svigter, ændrer det måden, du læser ethvert resultat på.
- Screening er ikke diagnoseEt screeningspørgeskema er udviklet til at fange så mange mulige tilfælde som muligt og accepterer en høj andel falsk positive som prisen for det. At læse en screeningscore som en diagnose vender op og ned på det, den er designet til.