Mätningens standardfel: hur mycket din poäng kan avvika
Varje poäng har en felmarginal, och för de flesta psykologiska test är den bredare än vad folk antar. Det här är talet som talar om när en skillnad är verklig och när den är brus.
Mätningens standardfel omvandlar en abstrakt reliabilitetskoefficient till något konkret: ett plus-minus-band runt ett poäng. Det besvarar den fråga som de flesta resultatvyer lämnar obesvarad, nämligen hur mycket detta tal hade kunnat skilja sig om jag hade gjort testet en annan eftermiddag.
Formeln är enkel. Multiplicera skalans standardavvikelse med kvadratroten ur ett minus dess reliabilitet. För en skala med en standardavvikelse på 10 och en reliabilitet på 0,85 blir standardfelet ungefär 3,9 poäng.
Vad det bandet faktiskt täcker
Ungefär två tredjedelar av gångerna ligger en persons sanna nivå inom ett standardfel från det observerade poängvärdet. För att vara ungefär 95 procent säker behöver du ungefär två standardfel åt vardera hållet.
Ta exemplet ovan. Någon får 62 poäng. 95-procentsintervallet sträcker sig från ungefär 54 till 70. Det är ett spann på sexton poäng på en skala där den typiska skillnaden mellan genomsnitt och tydligt över genomsnitt kanske är tio poäng.
Detta är inte en brist hos just det testet. En reliabilitet på 0,85 är respektabel. Det är den normala precisionen inom psykologisk mätning, och det är anledningen till att noggranna rapporter presenterar band snarare än enskilda punkter.
Konsekvenserna som folk missar
Små skillnader mellan skalor är oftast meningslösa. Om din extraversion är 58 och din öppenhet är 54 är den ärliga tolkningen att de inte går att skilja åt. Profiltolkningar som bygger en berättelse kring skillnader på fyra poäng läser in brus.
Små förändringar över tid är oftast meningslösa också. Att göra om ett test och flytta sig fem poäng ligger inom felmarginalen för de flesta instrument. Verklig förändring i personlighetsdrag sker över år och visar sig som en förflyttning väl utanför felbandet, inte som några poäng från en månad till en annan.
Rangordningar förstärker problemet. En skillnad på några få råpoäng kan flytta någon tio percentilplatser i den täta mittendelen av en fördelning, eftersom det är där de flesta människor befinner sig. Percentilrangordningar ser exakta ut men är det minst stabila sättet att uttrycka ett poäng.
Precisionen är inte enhetlig över skalan. Klassisk testteori antar ett enda felvärde för varje poäng, vilket är en förenkling. Item response theory modellerar felet separat på varje nivå av draget, och det är nästan alltid större i ytterlägena, det vill säga precis där de mest avgörande tolkningarna görs. Ett mycket högt eller mycket lågt poäng är vanligtvis mindre precist än ett medelmåttigt, inte mer.
Varför ärlig rapportering ser mindre imponerande ut
Ett instrument som redovisar konfidensband ser vagare ut än ett som redovisar ett enda tal med en decimal. Det vagare är det som talar sanning. Det till synes precisa har samma underliggande fel men har valt att inte visa det.
Det är värt att komma ihåg när man jämför ett vetenskapligt dokumenterat test med en kommersiell produkt som placerar dig i en kategori. Kategorigränsen ligger vid ett specifikt poäng, och någon en poäng under den och någon en poäng över den är, statistiskt sett, samma person. Typetiketten döljer detta helt, vilket är ett av de allvarligare argumenten mot typbaserade instrument, och anledningen till att kontinuerliga poäng med angivet fel är standarden inom forskning.
Sätt det på prov
Att läsa om mätning är en sak. Att se ditt eget poäng rapporterat med källa, normgrupp och begränsningar är en annan. Gratis att göra, ingen registrering krävs.
Fortsätt läsa
- Vad är psykometri?Disciplinen som avgör om en psykologisk mätning är bra, och anledningen till att två test som ställer liknande frågor kan skilja sig enormt åt i vad deras resultat är värda.
- Vad är reliabilitet vid psykologisk testning?Reliabilitet är mätningens konsekvens, inte dess korrekthet. Ett test kan vara mycket reliabelt och ändå mäta fel sak, vilket är varför det är den första frågan som ställs och aldrig den sista.
- Vad är validitet inom psykologisk testning?Validitet är inte en egenskap som ett test har. Det är ett argument för om en viss tolkning av ett visst poäng, för ett visst syfte, är försvarbar, och det måste byggas upp på nytt för varje ny användning.
- Vad är begreppsvaliditet?Den svåraste frågan inom mätning: om det du mäter existerar som du har definierat det, och om ditt instrument når fram till det snarare än till något närliggande.
- Konvergent och diskriminant validitetTvå spegelbildskrav: ett mått måste överensstämma med det det ska överensstämma med, och samtidigt förbli distinkt från det det påstår sig inte vara. De flesta svaga instrument misslyckas med det andra kravet.
- Vad är Cronbachs alfa, och vad det inte ärDen mest rapporterade statistiken inom psykologisk testning, och den mest missförstådda. Alfa säger inte att en skala är endimensionell, och ett högt värde är ofta ett symptom snarare än en dygd.
- Normer och percentiler: vad din poäng jämförs medEn rå poäng är omöjlig att tolka på egen hand. Den blir meningsfull först i jämförelse med en referensgrupp, och vilken grupp som använts är ett av de mest avgörande och minst annonserade fakta om något test.
- Hur ett psykometriskt test faktiskt byggsFrån konstruktdefinition till publicerade normer tar sekvensen år och gallrar bort det mesta av det som går in i den. Att känna till stegen gör det uppenbart vilka som ett snabbt onlinetest hoppade över.
- Vad innebär det när ett test kallas validerat?Ordet är oreglerat och används fritt av produkter som inte gjort något av arbetet. Här är vad det betyder när det betyder något, och de fyra frågorna som skiljer de två fallen åt.
- Varför de flesta personlighetstest på internet inte är reliablaInte för att de är oärliga, utan för att de steg som gör en mätning pålitlig är osynliga, kostsamma och lätta att hoppa över, och att hoppa över dem förändrar ingenting i hur resultatet ser ut.
- Vad självskattning kan och inte kan mätaFrågeformulär ber dig vara observatör av dig själv, vilket fungerar bättre för vissa saker än andra. Att veta var metoden är stark och var den brister förändrar hur du läser vilket resultat som helst.
- Vad det innebär när ett test förutsäger någotEn korrelation på 0,30 är ett starkt fynd inom personlighetsforskning och en svag grund för ett beslut om en enskild person. Båda påståendena är sanna, och glappet mellan dem orsakar det mesta av missbruket av testresultat.
- Screening är inte diagnosEtt screeningformulär är byggt för att fånga upp så många möjliga fall som möjligt, och accepterar en hög andel falska positiva som priset för det. Att läsa ett screeningresultat som en diagnos vänder upp och ner på vad det var utformat för att göra.