Vad innebär det när ett test kallas validerat?

"Vetenskapligt validerad" är inte en skyddad term. Ingen certifierar det, inget organ granskar det, och det förekommer på produkter vars hela evidensbas är att många människor har genomfört dem. Det är värt att veta vad det betyder när det används på rätt sätt.

Den korta versionen

Ett validerat instrument har ett publicerat underlag som visar vad det mäter, hur precist, i vilka populationer, och vad dess poäng legitimt kan användas till. Validering är inte ett certifikat. Det är en samling belägg, vanligtvis sammanställd under flera år, som oftast inkluderar fynd som begränsar instrumentets användning snarare än smickrar det.

Förekomsten av dokumenterade begränsningar är en av de bättre signalerna. Genuin valideringslitteratur är full av dem: den här skalan fungerar dåligt hos ungdomar, den där facetten replikeras inte, gränsvärdet är populationsberoende. En produkt som bara rapporterar styrkor har inte publicerat sin validering; den har publicerat sin marknadsföring.

Fyra frågor som gör jobbet

Vad är källpublikationen? Ett validerat instrument har en originalartikel i en peer-granskad tidskrift, med författare, ett år och oftast en DOI. Den artikeln redogör för hur items utvecklades och vilka de ursprungliga psykometriska egenskaperna var. Om ingen kan namnge artikeln finns det ingen validering att diskutera.

Bekräftades strukturen av någon annan? Utvecklingsteamet kommer att återskapa den struktur de själva designade. Det som spelar roll är om en oberoende grupp, med oberoende data, fann samma sak. Detta är den enskilt mest informativa frågan du kan ställa, och den som oftast lämnas obesvarad.

Vilken population byggdes normerna på, och när? En poäng är en position i en referensfördelning. Ett instrument som anger en percentil utan att ange vilken population den avser har gett dig ett tal utan nämnare.

Vad tillför det? Inkrementell validitet utöver ett etablerat mått. Väldigt många varumärkesbaserade konstrukt misslyckas här, de korrelerar så högt med ett befintligt drag att de inte förklarar någon ytterligare varians i något. Detta är ett normalt resultat av vetenskaplig granskning, och det är osynligt om ingen kör testet.

Var översättning komplicerar saken

Ett instrument som validerats på engelska är därmed inte validerat på tyska. En korrekt tvärkulturell anpassning kräver fram- och återöversättning, expertgranskning, kognitiva intervjuer, och därefter en ny psykometrisk studie på det nya språket som testar om faktorstrukturen håller och om enskilda items fungerar likvärdigt mellan grupper.

Instrument som hoppar över detta är vanliga. Ett frågeformulär vars ursprungliga validering är oklanderlig kan bete sig helt annorlunda på ett språk där ett nyckelitem bär en annan konnotation, och det finns inget sätt att veta utan studien. När ett test erbjuds på tio språk är den relevanta frågan om det validerades på tio språk eller validerades på ett och översattes till nio.

Vad validering inte ger dig

Det gör inte en poäng säker. Ett validerat instrument har fortfarande mätfel, beskriver fortfarande en regelbundenhet på populationsnivå snarare än ett individuellt öde, och mäter fortfarande bara det som dess items når.

Det validering ger är kända gränser. Du kan ta reda på hur mycket fel, i vilken population, för vilket syfte. Det är ett mindre anspråk än "det här testet avslöjar vem du verkligen är", och det är det enda som håller.

Om du vill se hur dokumentationen ser ut när den finns: varje test i NOESIS katalog anger vilket instrument det implementerar, dess författare och år, dess poängsättningsmetod, och beläggen bakom det, inklusive var dessa belägg är omtvistade.