Hur ett psykometriskt test faktiskt byggs
Från konstruktdefinition till publicerade normer tar sekvensen år och gallrar bort det mesta av det som går in i den. Att känna till stegen gör det uppenbart vilka som ett snabbt onlinetest hoppade över.
Ett psykometriskt instrument som når publicering har vanligtvis gått igenom fem eller sex års arbete och kasserat det mesta av det som skrevs för det. Sekvensen är värd att känna till, eftersom varje steg i den motsvarar ett sätt på vilket ett test kan vara bristfälligt.
1. Definiera konstruktet
Innan något item skrivs måste konstruktet specificeras tillräckligt precist för att kunna säga vad som faller utanför det. Det innebär en definition, ett uttalande om dimensionell struktur, en dimension eller flera, och om flera, hur de förhåller sig till varandra, samt en tydlig redogörelse för vilka näraliggande konstrukt det är tänkt att skilja sig från.
Att hoppa över detta steg är ursprunget till de flesta överflödiga instrument. En skala som byggs på en intuitiv känsla för ett begrepp slutar oftast med att mäta ett redan etablerat drag under ett nytt namn.
2. Generera en itempool
Item utarbetas i betydligt större antal än vad som kommer att överleva, vanligtvis tre till fem gånger det slutliga antalet. De kommer från teori, från befintliga instrument, från intervjuer med personer som har den erfarenhet som beskrivs, och från sakkunniga experter.
I det här skedet granskas poolen med avseende på innehållstäckning (täcker den hela konstruktet eller klustrar den kring en enda aspekt?), läsnivå, dubbeltydiga formuleringar och item som egentligen frågar om något annat.
3. Pilottesta och rensa
Poolen skickas till ett första stickprov. Analysen är till största delen destruktiv.
Item med nästan ingen varians tas bort: en fråga som alla svarar likadant på särskiljer ingen. Item som korrelerar dåligt med totalpoängen tas bort. Item som laddar på mer än en faktor tas bort. Item som beter sig olika mellan demografiska grupper av skäl som inte har med draget att göra, så kallad differentiell itemfunktion, tas bort, och denna kontroll är en av dem som oftast hoppas över.
Det som återstår är vanligtvis en tredjedel av det som skrevs.
4. Bekräfta strukturen i ett nytt stickprov
Det här är steget som skiljer seriösa instrument från resten. Faktoranalys på utvecklingsstickprovet återfinner alltid den struktur som byggts in i det, det måste den, eftersom item valdes ut för att ge just den strukturen. Det verkliga testet är konfirmatorisk faktoranalys i ett oberoende stickprov.
Väldigt många publicerade skalor återfinner sin avsedda struktur enbart i de data som användes för att bygga dem. När någon annan samlar in ny data uppträder inte faktorerna. Det här är ett så vanligt misslyckande att "bekräftades strukturen i ett oberoende stickprov?" är en av de mest effektiva frågorna att ställa om vilket instrument som helst.
5. Samla validitetsbevis
Korrelationer med etablerade mått på samma konstrukt. Korrelationer med konstrukt det bör skilja sig från, vilka helst ska vara lägre. Samband med utfall som spelar roll. Inkrementell validitet jämfört med det som redan finns. Test-retest-stabilitet över ett intervall som är lämpligt för konstruktet.
Det här steget tar aldrig slut. Det fortsätter så länge instrumentet används, och det är här instrument oftast visar sig otillräckliga år efter publicering.
6. Bygg normer
Ett referensstickprov som är tillräckligt stort och tillräckligt representativt för den avsedda populationen, stratifierat där draget varierar med ålder eller kön, dokumenterat med avseende på år och land. Sedan upprepat med jämna mellanrum, eftersom normer förskjuts över tid.
7. Översätt, om det ska användas på andra ställen
Översättning är ingen ren språkövning. En korrekt anpassning innebär framåtöversättning, oberoende återöversättning, expertgranskning, kognitiva intervjuer med talare av målspråket, och därefter en ny psykometrisk studie på det nya språket för att testa om strukturen håller och om item fungerar likvärdigt. Ett instrument som översätts utan denna studie är ett oprövat instrument på det språket, oavsett dess meriter i originalet.
Vad detta innebär för snabbtestet
Ett test som skrivs på en eftermiddag har slutfört steg två. Det kan mycket väl ge ett resultat som ser rimligt ut, en percentil och ett stycke beskrivande text. De steg som hoppades över är just de som skulle ha fastställt om något av detta betyder något alls.
Sätt det på prov
Att läsa om mätning är en sak. Att se ditt eget poäng rapporterat med källa, normgrupp och begränsningar är en annan. Gratis att göra, ingen registrering krävs.
Fortsätt läsa
- Vad är psykometri?Disciplinen som avgör om en psykologisk mätning är bra, och anledningen till att två test som ställer liknande frågor kan skilja sig enormt åt i vad deras resultat är värda.
- Vad är reliabilitet vid psykologisk testning?Reliabilitet är mätningens konsekvens, inte dess korrekthet. Ett test kan vara mycket reliabelt och ändå mäta fel sak, vilket är varför det är den första frågan som ställs och aldrig den sista.
- Vad är validitet inom psykologisk testning?Validitet är inte en egenskap som ett test har. Det är ett argument för om en viss tolkning av ett visst poäng, för ett visst syfte, är försvarbar, och det måste byggas upp på nytt för varje ny användning.
- Vad är begreppsvaliditet?Den svåraste frågan inom mätning: om det du mäter existerar som du har definierat det, och om ditt instrument når fram till det snarare än till något närliggande.
- Konvergent och diskriminant validitetTvå spegelbildskrav: ett mått måste överensstämma med det det ska överensstämma med, och samtidigt förbli distinkt från det det påstår sig inte vara. De flesta svaga instrument misslyckas med det andra kravet.
- Vad är Cronbachs alfa, och vad det inte ärDen mest rapporterade statistiken inom psykologisk testning, och den mest missförstådda. Alfa säger inte att en skala är endimensionell, och ett högt värde är ofta ett symptom snarare än en dygd.
- Mätningens standardfel: hur mycket din poäng kan avvikaVarje poäng har en felmarginal, och för de flesta psykologiska test är den bredare än vad folk antar. Det här är talet som talar om när en skillnad är verklig och när den är brus.
- Normer och percentiler: vad din poäng jämförs medEn rå poäng är omöjlig att tolka på egen hand. Den blir meningsfull först i jämförelse med en referensgrupp, och vilken grupp som använts är ett av de mest avgörande och minst annonserade fakta om något test.
- Vad innebär det när ett test kallas validerat?Ordet är oreglerat och används fritt av produkter som inte gjort något av arbetet. Här är vad det betyder när det betyder något, och de fyra frågorna som skiljer de två fallen åt.
- Varför de flesta personlighetstest på internet inte är reliablaInte för att de är oärliga, utan för att de steg som gör en mätning pålitlig är osynliga, kostsamma och lätta att hoppa över, och att hoppa över dem förändrar ingenting i hur resultatet ser ut.
- Vad självskattning kan och inte kan mätaFrågeformulär ber dig vara observatör av dig själv, vilket fungerar bättre för vissa saker än andra. Att veta var metoden är stark och var den brister förändrar hur du läser vilket resultat som helst.
- Vad det innebär när ett test förutsäger någotEn korrelation på 0,30 är ett starkt fynd inom personlighetsforskning och en svag grund för ett beslut om en enskild person. Båda påståendena är sanna, och glappet mellan dem orsakar det mesta av missbruket av testresultat.
- Screening är inte diagnosEtt screeningformulär är byggt för att fånga upp så många möjliga fall som möjligt, och accepterar en hög andel falska positiva som priset för det. Att läsa ett screeningresultat som en diagnos vänder upp och ner på vad det var utformat för att göra.