Ce înseamnă atunci când un test este numit validat?

"Validat științific" nu este un termen protejat. Nimeni nu îl certifică, nicio instituție nu îl auditează, iar el apare pe produse a căror întreagă bază de dovezi este că multe persoane le-au făcut. Merită să știi ce înseamnă atunci când este folosit corect.

Versiunea pe scurt

Un instrument validat are o evidență publicată care arată ce măsoară, cu ce precizie, în ce populații și pentru ce pot fi folosite în mod legitim scorurile sale. Validarea nu este un certificat. Este un corp de dovezi, adunat de obicei de-a lungul anilor, care include de regulă constatări ce limitează utilizarea instrumentului, nu îl flatează.

Prezența limitărilor documentate este unul dintre cele mai bune semnale. Literatura de validare autentică este plină de ele: această scală funcționează slab la adolescenți, acea fațetă nu se replică, pragul depinde de populație. Un produs care raportează doar puncte forte nu și-a publicat validarea; și-a publicat marketingul.

Patru întrebări care contează

Care este publicația sursă? Un instrument validat are o lucrare originală publicată într-o revistă științifică cu recenzie inter pares (peer-reviewed), cu autori, an și, de obicei, un DOI. Acea lucrare raportează cum au fost dezvoltați itemii și care au fost proprietățile psihometrice inițiale. Dacă nimeni nu poate numi lucrarea, nu există nicio validare de discutat.

A fost confirmată structura de altcineva? Echipa care a dezvoltat instrumentul va regăsi structura pe care a proiectat-o. Ce contează este dacă un grup independent, cu date independente, a găsit același lucru. Aceasta este cea mai informativă întrebare pe care o poți pune și cea mai adesea lăsată fără răspuns.

Pe ce populație au fost construite normele și când? Un scor este o poziție într-o distribuție de referință. Un instrument care raportează o percentilă fără să precizeze la ce populație se referă ți-a oferit un număr fără numitor.

Ce aduce în plus? Validitate incrementală față de o măsură consacrată. Foarte multe constructe de marcă eșuează aici, corelând atât de puternic cu o trăsătură deja existentă încât nu explică nicio varianță suplimentară în nimic. Acesta este un rezultat normal al analizei științifice riguroase și rămâne invizibil dacă nimeni nu testează asta.

Unde complică lucrurile traducerea

Un instrument validat în engleză nu este, prin acest fapt, validat și în germană. O adaptare interculturală corectă necesită traducere directă și retroversiune, evaluare din partea experților, interviuri cognitive, iar apoi un studiu psihometric nou în noua limbă, care să testeze dacă structura factorială se menține și dacă itemii individuali funcționează echivalent între grupuri.

Instrumentele care sar peste acest pas sunt frecvente. Un chestionar a cărui validare originală este impecabilă se poate comporta destul de diferit într-o limbă în care un item cheie are o conotație diferită, iar acest lucru nu poate fi cunoscut fără studiul respectiv. Când un test este oferit în zece limbi, întrebarea utilă este dacă a fost validat în zece limbi sau validat într-una singură și tradus în celelalte nouă.

Ce nu îți oferă validarea

Nu face un scor cert. Un instrument validat poartă în continuare eroare de măsurare, descrie în continuare o regularitate la nivel de populație, nu un destin individual, și măsoară în continuare doar ceea ce ating itemii săi.

Ce îți oferă validarea sunt limite cunoscute. Poți afla câtă eroare, în ce populație, pentru ce scop. Aceasta este o afirmație mai modestă decât "acest test dezvăluie cine ești cu adevărat" și este singura care rezistă.

Dacă vrei să vezi cum arată documentația atunci când există, fiecare test din catalogul NOESIS numește instrumentul pe care îl implementează, autorii și anul acestuia, metoda sa de scorare și dovezile din spatele lui, inclusiv acolo unde acele dovezi sunt contestate.