Jak se skutečně vytváří psychometrický test

Psychometrický nástroj, který se dostane až k publikaci, má za sebou obvykle pět nebo šest let práce a většina položek, které pro něj byly napsány, byla vyřazena. Stojí za to tento postup znát, protože každá jeho fáze odpovídá jednomu způsobu, jakým může být test nedostatečný.

1. Vymezit konstrukt

Než se napíše jakákoli položka, musí být konstrukt vymezen natolik přesně, aby bylo možné říct, co do něj nepatří. To znamená definici, popis dimenzionální struktury: zda má jednu dimenzi, nebo několik, a pokud několik, jak spolu souvisejí; a výslovné vysvětlení, od kterých příbuzných konstruktů se má lišit.

Vynechání této fáze stojí za vznikem většiny nadbytečných nástrojů. Škála vytvořená na základě intuitivní představy o pojmu obvykle nakonec měří již známý rys pod novým názvem.

2. Vytvořit soubor položek

Položek se připraví výrazně víc, než jich zůstane: obvykle troj- až pětinásobek konečného počtu. Vycházejí z teorie, existujících nástrojů, rozhovorů s lidmi, kteří mají popisovanou zkušenost, a od odborníků na danou oblast.

V této fázi se soubor posuzuje z hlediska pokrytí obsahu (postihuje celý konstrukt, nebo se soustředí na jednu fasetu?), náročnosti textu, formulací, které se ptají na dvě věci najednou, a položek, které se ve skutečnosti ptají na něco jiného.

3. Pilotně ověřit a vyřazovat

Soubor dostane první vzorek respondentů. Analýza spočívá hlavně ve vyřazování.

Položky s téměř nulovou variabilitou se vyřadí: otázka, na kterou všichni odpovídají stejně, nikoho nerozliší. Vyřadí se položky, které slabě korelují s celkovým skóre. Vyřadí se položky, které se vážou k více než jednomu faktoru. Vyřadí se také položky, které se v demografických skupinách chovají odlišně z důvodů nesouvisejících s daným rysem; jde o diferenciální fungování položek a právě tato kontrola se vynechává nejčastěji.

Obvykle zůstane třetina napsaných položek.

4. Potvrdit strukturu na novém vzorku

Tento krok odlišuje důkladně vyvinuté nástroje od ostatních. Faktorová analýza na vzorku použitém při vývoji odhalí strukturu, na kterou byl nástroj sestaven: musí ji odhalit, protože položky byly vybrány právě tak, aby ji vytvářely. Skutečnou zkouškou je konfirmační faktorová analýza na nezávislém vzorku.

U mnoha publikovaných škál se zamýšlená struktura objeví jen v datech použitých při jejich vývoji. Když někdo jiný shromáždí nová data, faktory se neobjeví. K tomuto selhání dochází natolik často, že otázka "Byla struktura potvrzena na nezávislém vzorku?" patří k nejúčinnějším otázkám, které lze o jakémkoli nástroji položit.

5. Shromažďovat důkazy o validitě

Korelace se zavedenými měřítky téhož konstruktu. Korelace s konstrukty, od nichž se má lišit; ty by měly být nižší. Vztahy k důležitým výsledkům. Inkrementální validita oproti tomu, co již existuje. Stabilita při opakovaném měření po intervalu odpovídajícím danému konstruktu.

Tato fáze nekončí. Pokračuje po celou dobu používání nástroje a právě v ní se u nástrojů často až několik let po publikaci ukáže, že neobstojí.

6. Vytvořit normy

Referenční vzorek dostatečně velký a reprezentativní pro cílovou populaci, členěný tam, kde se rys liší podle věku nebo pohlaví, s doloženým rokem a zemí sběru dat. Normy je pak třeba pravidelně aktualizovat, protože se v čase mění.

7. Přeložit, pokud se bude používat jinde

Překlad není jen jazykový úkol. Řádná adaptace zahrnuje překlad do cílového jazyka, nezávislý zpětný překlad, odborné posouzení, kognitivní rozhovory s mluvčími cílového jazyka a následně novou psychometrickou studii v tomto jazyce, která ověří, zda struktura platí a zda položky fungují rovnocenně. Nástroj přeložený bez takové studie je v daném jazyce neověřeným nástrojem, bez ohledu na jeho kvality v původním jazyce.

Co z toho plyne pro rychlý kvíz

Test napsaný za jedno odpoledne prošel druhým krokem. Může klidně nabídnout zdánlivě věrohodný výsledek, percentil a odstavec s popisem. Vynechal však kroky, které by ukázaly, zda cokoli z toho něco znamená.