Mit jelent, ha egy tesztet validáltnak neveznek?

A "tudományosan validált" nem védett kifejezés. Senki nem tanúsítja, egyetlen szervezet sem ellenőrzi, és olyan termékeken is megjelenik, amelyeknek a teljes bizonyítékalapja annyi, hogy sokan kitöltötték őket. Érdemes tudni, mit jelent, amikor helyesen használják.

Röviden

Egy validált mérőeszközhöz publikált dokumentáció tartozik arról, hogy mit mér, milyen pontossággal, mely populációkban, és pontszámai mire használhatók jogosan. A validálás nem tanúsítvány. Bizonyítékok összessége, amely általában évek alatt gyűlik össze, és rendszerint olyan eredményeket is tartalmaz, amelyek korlátozzák a mérőeszköz használatát, ahelyett hogy hízelegnének neki.

A dokumentált korlátok megléte az egyik jobb jelzés. A valódi validálási szakirodalom tele van ilyenekkel: ez a skála gyengén teljesít serdülőknél, az az aspektus nem replikálható, a határérték populációfüggő. Az a termék, amely csak erősségekről számol be, nem a validálását publikálta, hanem a marketingjét.

Négy kérdés, amely elvégzi a munkát

Mi a forráspublikáció? Egy validált mérőeszköznek van eredeti tanulmánya egy lektorált folyóiratban, szerzőkkel, évszámmal és általában DOI-val. Ez a tanulmány beszámol arról, hogyan fejlesztették ki a tételeket, és milyenek voltak a kezdeti pszichometriai jellemzők. Ha senki sem tudja megnevezni a tanulmányt, nincs miről beszélni validálás címén.

Megerősítette valaki más a struktúrát? A fejlesztőcsapat vissza fogja kapni azt a struktúrát, amelyet megtervezett. Az számít, hogy egy független csoport, független adatokkal, ugyanerre jutott-e. Ez a legtöbb információt adó kérdés, amelyet feltehet, és ez marad a leggyakrabban megválaszolatlanul.

Milyen populáción és mikor készültek a normák? A pontszám egy referenciaeloszláson belüli pozíció. Az a mérőeszköz, amely percentilist közöl anélkül, hogy megmondaná, melyik populációra vonatkozik, nevező nélküli számot adott Önnek.

Mit tesz hozzá? Növekményes érvényesség egy már bevett mérőeszközhöz képest. Nagyon sok márkanévvel ellátott konstruktum itt bukik el: olyan erősen korrelál egy meglévő vonással, hogy semmiben sem magyaráz meg többletvarianciát. Ez a tudományos vizsgálat szokásos eredménye, és láthatatlan marad, amíg valaki el nem végzi az ellenőrzést.

Ahol a fordítás bonyolítja a helyzetet

Egy angolul validált mérőeszköz ettől még nem validált németül. A szakszerű kultúrközi adaptáció oda-vissza fordítást, szakértői áttekintést, kognitív interjúkat, majd egy új pszichometriai vizsgálatot igényel az új nyelven, amely azt teszteli, hogy a faktorstruktúra megmarad-e, és hogy az egyes tételek egyenértékűen működnek-e a csoportok között.

Gyakoriak azok a mérőeszközök, amelyek ezt kihagyják. Egy kérdőív, amelynek eredeti validálása kifogástalan, egészen másként viselkedhet egy olyan nyelven, ahol egy kulcsfontosságú tételnek eltérő a konnotációja, és ezt a vizsgálat nélkül nem lehet tudni. Ha egy teszt tíz nyelven érhető el, a hasznos kérdés az, hogy tíz nyelven validálták-e, vagy egyen validálták és kilencre lefordították.

Amit a validálás nem ad meg

Nem teszi biztossá a pontszámot. Egy validált mérőeszköznek is van mérési hibája, továbbra is populációs szintű szabályszerűséget ír le, nem egyéni sorsot, és továbbra is csak azt méri, amit a tételei elérnek.

Amit a validálás megad, az a megismerhető korlátok. Kiderítheti, mekkora a hiba, melyik populációban, milyen célra. Ez szerényebb állítás, mint az, hogy "ez a teszt felfedi, ki is Ön valójában", és ez az egyetlen, amely megállja a helyét.

Ha szeretné látni, hogyan néz ki a dokumentáció, amikor létezik: a NOESIS tesztkatalógusában minden teszt megnevezi az általa alkalmazott mérőeszközt, annak szerzőit és évszámát, a pontozási módszerét és a mögötte álló bizonyítékokat, beleértve azt is, ahol ezek a bizonyítékok vitatottak.