Hva selvrapportering kan og ikke kan måle
Spørreskjemaer ber deg være observatør av deg selv, noe som fungerer bedre for noen ting enn for andre. Når du vet hvor metoden er sterk og hvor den svikter, endrer det hvordan du leser ethvert resultat.
Nesten alle personlighets- og velværeinstrumenter i utbredt bruk er spørreskjemaer basert på selvrapportering. Du leser et utsagn, du vurderer hvor godt det beskriver deg, og vurderingene summeres. Det er billig, raskt og skalerbart, og det har reelle styrker, men det har også svakheter som er verdt å kjenne til før du leser dine egne resultater.
Der det fungerer godt
Indre tilstander som ingen andre kan observere. Livstilfredshet, opplevd stress, mening, følt angst. For disse er personen ikke bare en praktisk kilde; personen er den eneste gyldige kilden. En observatør som vurderer ditt subjektive velvære, gjetter.
Typisk atferd samlet over tid. Folk er rimelig gode til å rapportere hva de vanligvis gjør, selv når de er dårlige til å forutsi enkelttilfeller. Mål på trekk fungerer fordi de tar gjennomsnittet over mange anledninger.
Selvoppfatning som noe interessant i seg selv. Hvor dyktig du tror du er, former hva du prøver deg på, uavhengig av hvor dyktig du faktisk er. Mestringstro er et legitimt konstrukt nettopp fordi troen får konsekvenser.
Der det svikter
Sosialt ønskverdige svar. Folk beskriver seg selv som mer planmessige, mer empatiske og mindre fiendtlige enn de er, og effekten øker med hva som står på spill. I en sammenheng med lav innsats, der målet er selvinnsikt, er forvrengningen beskjeden. Ved ansettelser er den alvorlig: den gjennomsiktige ordlyden i de fleste personlighetsledd gjør dem lette å manipulere, og kandidatene som er mest motivert for å manipulere, er nettopp dem arbeidsgiveren helst vil identifisere.
Begrenset selvinnsikt. Selvrapporter korrelerer bare moderat med rapporter fra informanter som kjenner personen godt, og avstanden er størst akkurat der du ville forvente det: for trekk med vurderende tyngde, og hos personene med minst treffsikkert selvbilde. Den som ikke legger merke til sin egen uoppmerksomhet, er ikke godt egnet til å rapportere den.
Evne versus tro. En selvrapportering kan ikke måle en evne. Selvrapportert emosjonell intelligens måler hvor emosjonelt dyktig du tror du er, og dette korrelerer bare beskjedent med prestasjoner på oppgaver som krever emosjonell dømmekraft. Begge er reelle konstrukter; de er ikke det samme, og å blande dem sammen er en av de vanligste feilene i det kommersielle testmarkedet.
Effekter av referansegruppe. «Jeg jobber hardt» vurderes opp mot en underforstått sammenligningsgruppe som varierer fra person til person og fra kultur til kultur. Dette gjør tverrkulturelle sammenligninger av gjennomsnitt av rå selvrapportering upålitelige på måter som er lette å overse og vanskelige å korrigere.
Stemningsleiet i øyeblikket du svarer. Nåværende følelser farger tilbakeskuende vurderinger systematisk. En skår fra én enkelt anledning på et konstrukt som skal være stabilt, inneholder mer tilstandsvarians enn trekkperspektivet tilsier.
Svarstiler. Ja-sigeri, det vil si å si seg enig uansett innhold, og ekstreme svar varierer mellom individer og mellom kulturer. Godt konstruerte skalaer demper dette med reverserte ledd, men det skaper sin egen artefakt: skalaer med blandet ordlyd gir rutinemessig en falsk andre faktor som gjenspeiler ordlyden, ikke innholdet.
Slik leser du dine egne resultater i lys av dette
Behandle en skår fra selvrapportering som en velstrukturert beskrivelse av hvordan du ser deg selv. Den er virkelig informativ, men den er ikke det samme som en beskrivelse av hvordan du er.
Avstanden mellom de to er ofte den mest interessante delen. Der en skår overrasker deg, er spørsmålet verdt å dvele ved ikke om testen tar feil, men hvilken av de to lesningene, din eller instrumentets, menneskene rundt deg ville kjent seg igjen i.
Det er også den ærlige grensen for hva et spørreskjema kan gi, og en god grunn til å behandle enhver enkeltskår som ett bidrag snarere enn en dom.
Sett det på prøve
Å lese om måling er én ting. Å se din egen skår rapportert med kilde, normutvalg og begrensninger er noe annet. Gratis å ta, ingen registrering nødvendig.
Les videre
- Hva er psykometri?Fagfeltet som finner ut om en psykologisk måling er god, og grunnen til at to tester som stiller lignende spørsmål, kan variere enormt i hva resultatene deres er verdt.
- Hva er reliabilitet i psykologisk testing?Reliabilitet er konsistens i målingen, ikke korrekthet. En test kan ha høy reliabilitet og likevel måle feil ting; derfor er det det første spørsmålet som stilles, og aldri det siste.
- Hva er validitet i psykologisk testing?Validitet er ikke en egenskap en test har. Det er et argument for om en bestemt tolkning av en bestemt skår, til et bestemt formål, er forsvarlig, og det må bygges opp på nytt for hver ny bruk.
- Hva er konstruktvaliditet?Det vanskeligste spørsmålet innen måling: om det du måler, finnes slik du har definert det, og om instrumentet ditt når frem til det og ikke til noe som ligger like ved.
- Konvergent og diskriminant validitetTo speilvendte krav: et mål må samsvare med det det bør samsvare med, og må holde seg atskilt fra det det hevder ikke å være. De fleste svake instrumenter feiler på det andre.
- Hva er Cronbachs alfa, og hva er det ikke?Den mest rapporterte statistikken i psykologisk testing, og den mest feiltolkede. Alfa forteller deg ikke at en skala er endimensjonal, og en høy verdi er ofte et symptom snarere enn en dyd.
- Standard målefeil: hvor mye skåren din kan avvikeHver skår har en feilmargin, og for de fleste psykologiske tester er den bredere enn folk tror. Dette er tallet som forteller deg når en forskjell er reell og når den er støy.
- Normer og persentiler: hva skåren din sammenlignes medEn råskår kan ikke tolkes alene. Den får mening først når den sammenlignes med en referansegruppe, og hvilken gruppe som ble brukt, er et av de mest avgjørende og minst omtalte forholdene ved enhver test.
- Hvordan en psykometrisk test faktisk utviklesFra definisjon av konstruktet til publiserte normer tar prosessen flere år og forkaster det meste av det som går inn i den. Når du kjenner trinnene, blir det åpenbart hvilke av dem en rask nettquiz hoppet over.
- Hva betyr det når en test kalles validert?Ordet er ikke regulert og brukes fritt av produkter som ikke har gjort noe av arbeidet. Her er hva det betyr når det faktisk betyr noe, og de fire spørsmålene som skiller de to tilfellene.
- Hvorfor de fleste personlighetstester på internett ikke er reliableIkke fordi de er uærlige, men fordi trinnene som gjør en måling pålitelig, er usynlige, kostbare og lette å hoppe over. Og å hoppe over dem endrer ingenting ved hvordan resultatet ser ut.
- Hva det betyr når en test predikerer noeEn korrelasjon på 0,30 er et sterkt funn i personlighetsforskning og et svakt grunnlag for en beslutning om én person. Begge utsagnene er sanne, og avstanden mellom dem står bak det meste av feilbruken av testresultater.
- Screening er ikke diagnoseEt screeningspørreskjema er laget for å fange opp så mange mulige tilfeller som mulig, og aksepterer en høy andel falske positive som prisen for dette. Å lese en screeningskår som en diagnose snur opp ned på det skjemaet ble utformet for å gjøre.