Cum este construit de fapt un test psihometric

Un instrument psihometric care ajunge la publicare a trecut de obicei prin cinci sau șase ani de muncă și a renunțat la cea mai mare parte din ce a fost scris pentru el. Merită cunoscută succesiunea, pentru că fiecare etapă a ei corespunde unui mod în care un test poate fi inadecvat.

1. Definește construc­tul

Înainte de a scrie vreun item, construc­tul trebuie specificat suficient de precis încât să se poată spune ce rămâne în afara lui. Asta înseamnă o definiție, o afirmație privind structura dimensională, o dimensiune sau mai multe, iar dacă sunt mai multe, cum se relaționează, și o precizare explicită a construc­telor învecinate față de care este menit să fie distinct.

Omiterea acestei etape este originea majorității instrumentelor redundante. O scală construită dintr-un sentiment intuitiv al unui concept ajunge de obicei să măsoare o trăsătură deja consacrată sub un nume nou.

2. Generează un fond de itemi

Itemii sunt redactați în număr mult mai mare decât cel care va rămâne, de obicei de trei până la cinci ori numărul final. Ei provin din teorie, din instrumente existente, din interviuri cu persoane care au experiența descrisă și de la experți în domeniu.

În această etapă, fondul este analizat din perspectiva acoperirii conținutului (acoperă întregul construct sau se grupează pe o singură fațetă?), a nivelului de lectură, a formulărilor cu dublu înțeles și a itemilor care de fapt vizează altceva.

3. Pilotează și elimină

Fondul de itemi ajunge la un prim eșantion. Analiza este în mare parte una de eliminare.

Itemii cu variație aproape inexistentă sunt eliminați, o întrebare la care toată lumea răspunde la fel nu diferențiază pe nimeni. Itemii care corelează slab cu scorul total sunt eliminați. Itemii care încarcă simultan pe mai mult de un factor sunt eliminați. Itemii care se comportă diferit între grupuri demografice din motive care nu au legătură cu trăsătura, adică funcționarea diferențială a itemului, sunt eliminați, iar această verificare este una dintre cele mai frecvent omise.

Ceea ce rămâne reprezintă de obicei o treime din ce a fost scris.

4. Confirmă structura pe un eșantion nou

Aceasta este etapa care separă instrumentele serioase de restul. Analiza factorială pe eșantionul de dezvoltare va regăsi structura care a fost concepută inițial, este obligatoriu să o facă, întrucât itemii au fost selectați pentru a o produce. Testul real este analiza factorială confirmatorie pe un eșantion independent.

O mulțime de scale publicate își regăsesc structura intenționată doar în datele folosite pentru construirea lor. Când altcineva colectează date noi, factorii nu mai apar. Acest eșec este suficient de frecvent încât întrebarea "a fost structura confirmată pe un eșantion independent?" este una dintre cele mai eficiente întrebări pe care le poți pune despre orice instrument.

5. Acumulează dovezi de validitate

Corelații cu măsuri consacrate ale aceluiași construct. Corelații cu construc­te de care ar trebui să fie distinct, care ar fi bine să fie mai mici. Relații cu rezultate care contează. Validitate incrementală față de ce există deja. Stabilitate test-retest pe un interval potrivit pentru construct.

Această etapă nu se încheie. Continuă atât timp cât instrumentul este în uz și este momentul în care instrumentele sunt cel mai adesea găsite deficitare, la ani buni după publicare.

6. Construiește normele

Un eșantion de referință suficient de mare și suficient de reprezentativ pentru populația vizată, stratificat acolo unde trăsătura variază în funcție de vârstă sau sex, documentat în privința anului și a țării. Apoi repetat periodic, pentru că normele se modifică în timp.

7. Tradu, dacă va fi folosit în altă parte

Traducerea nu este un exercițiu lingvistic. O adaptare corectă înseamnă traducere directă, retroversiune independentă, evaluare de către experți, interviuri cognitive cu vorbitori ai limbii țintă și apoi un studiu psihometric nou în noua limbă, pentru a testa dacă structura se menține și dacă itemii funcționează echivalent. Un instrument tradus fără acest studiu este un instrument netestat în limba respectivă, indiferent de credibilitatea lui în limba originală.

Ce implică asta pentru testul rapid

Un test scris într-o după-amiază a parcurs etapa a doua. Este foarte posibil să producă un rezultat plauzibil, o percentilă și un paragraf de descriere. Etapele omise sunt cele care ar fi stabilit dacă ceva din toate acestea are vreun sens.