Co znamená, když se o testu říká, že byl validován?

"Vědecky validovaný" není chráněné označení. Nikdo ho neuděluje, žádný orgán nekontroluje jeho používání a objevuje se i u produktů, jejichž veškeré důkazy spočívají v tom, že je vyzkoušelo hodně lidí. Stojí za to vědět, co toto označení znamená, když se používá správně.

Stručně

Validovaný nástroj má publikované důkazy o tom, co měří, s jakou přesností, v jakých populacích a k čemu lze jeho skóre oprávněně použít. Validace není certifikát. Je to soubor důkazů, obvykle shromažďovaných po léta, který zpravidla zahrnuje i zjištění omezující použití nástroje, místo aby ho jen vyzdvihovala.

Přítomnost zdokumentovaných omezení patří k lepším vodítkům. Odborná literatura věnovaná skutečné validaci je jich plná: tato škála funguje u dospívajících špatně, tuto fasetu se nepodařilo potvrdit v další studii, hraniční hodnota závisí na populaci. Produkt, který uvádí jen silné stránky, nezveřejnil svou validaci; zveřejnil svůj marketing.

Čtyři zásadní otázky

Jaká je původní publikace? Validovaný nástroj má původní článek v recenzovaném odborném časopise, u něhož jsou uvedeni autoři, rok a obvykle i DOI. Tento článek popisuje, jak byly položky vytvořeny a jaké byly počáteční psychometrické vlastnosti nástroje. Pokud nikdo nedokáže článek pojmenovat, není o jaké validaci mluvit.

Potvrdil strukturu někdo další? Vývojový tým zpravidla nalezne strukturu, kterou sám navrhl. Důležité je, zda ke stejnému závěru dospěla nezávislá skupina na základě nezávislých dat. To je nejvýmluvnější otázka, kterou můžeš položit, a zároveň ta, která nejčastěji zůstává bez odpovědi.

Na jaké populaci a kdy byly vytvořeny normy? Skóre vyjadřuje pozici v referenčním rozdělení. Nástroj, který uvádí percentil, aniž by řekl, k jaké populaci se vztahuje, ti dal číslo bez základu pro srovnání.

Co přináší navíc? Jde o inkrementální validitu oproti zavedenému měřítku. Mnoho konstruktů prodávaných pod vlastní značkou zde neobstojí: s již známým rysem korelují natolik silně, že při vysvětlování čehokoli dalšího nepřidávají žádnou vysvětlenou varianci. To je běžný výsledek vědeckého prověřování a zůstane skrytý, pokud to někdo neotestuje.

Co komplikuje překlad

Nástroj validovaný v angličtině tím není automaticky validovaný v němčině. Řádná mezikulturní adaptace vyžaduje překlad do cílového jazyka a zpětný překlad, posouzení odborníky, kognitivní rozhovory a následně novou psychometrickou studii v cílovém jazyce, která ověří, zda platí faktorová struktura a zda jednotlivé položky fungují v různých skupinách rovnocenně.

Nástroje, které tyto kroky vynechávají, jsou běžné. Dotazník s bezvadnou původní validací se může chovat docela jinak v jazyce, v němž má klíčová položka odlišný významový odstín, a bez studie to nelze zjistit. Když je test nabízen v deseti jazycích, užitečná otázka zní, zda byl validován v deseti jazycích, nebo v jednom a do devíti dalších pouze přeložen.

Co validace nezaručuje

Neznamená, že je skóre jisté. I validovaný nástroj je zatížen chybou měření, stále popisuje pravidelnost na úrovni populace, nikoli osud jednotlivce, a měří jen to, co dokážou zachytit jeho položky.

Validace ti umožňuje poznat hranice nástroje. Můžeš zjistit, jak velká je chyba, v jaké populaci a pro jaký účel. To je skromnější tvrzení než "tento test odhalí, kým skutečně jsi", a jediné, které obstojí.

Pokud chceš vidět, jak taková dokumentace vypadá, když existuje, u každého testu v katalogu NOESIS najdeš název nástroje, z něhož vychází, jeho autory a rok vzniku, způsob výpočtu skóre i důkazy, o které se opírá, včetně toho, kde jsou tyto důkazy předmětem sporů.