Що означає, коли тест називають валідизованим?

«Науково валідований» не є захищеним терміном. Ніхто його не сертифікує, жоден орган його не перевіряє, і він з'являється на продуктах, уся доказова база яких полягає в тому, що їх пройшло багато людей. Варто знати, що він означає, коли його вживають коректно.

Коротко

Валідований інструмент має опубліковані дані, які показують, що він вимірює, наскільки точно, в яких популяціях і для чого його бали можна законно використовувати. Валідність це не сертифікат. Це масив доказів, зазвичай зібраний роками, який зазвичай містить результати, що обмежують використання інструмента, а не прикрашають його.

Наявність задокументованих обмежень є одним із найкращих сигналів. Справжня література з валідності сповнена ними: ця шкала погано працює в підлітків, той аспект не відтворюється, пороговий бал залежить від популяції. Продукт, який повідомляє лише про сильні сторони, опублікував не свою валідність, а свій маркетинг.

Чотири запитання, які виконують роботу

Яка первинна публікація? Валідований інструмент має оригінальну статтю в рецензованому журналі, з авторами, роком і зазвичай DOI. У цій статті повідомляється, як були розроблені пункти та якими були початкові психометричні властивості. Якщо ніхто не може назвати статтю, то немає валідності, яку можна обговорювати.

Чи була структура підтверджена кимось іншим? Команда розробників відтворить структуру, яку вона спроєктувала. Важливо те, чи незалежна група на незалежних даних виявила те саме. Це єдине найбільш інформативне запитання, яке ви можете поставити, і саме воно найчастіше залишається без відповіді.

На якій популяції були побудовані норми і коли? Бал це позиція в референтному розподілі. Інструмент, який повідомляє процентиль без зазначення того, якої популяції він стосується, дав вам число без знаменника.

Що він додає? Інкрементну валідність понад усталений показник. Дуже багато брендованих конструктів провалюються саме тут, корелюючи з наявною рисою настільки високо, що не пояснюють жодної додаткової дисперсії ні в чому. Це нормальний результат наукової перевірки, і він невидимий, якщо ніхто не проводить тест.

Де переклад це ускладнює

Інструмент, валідований англійською, не стає тим самим валідованим німецькою. Належна кросскультурна адаптація вимагає прямого і зворотного перекладу, експертного розгляду, когнітивних інтерв'ю, а потім нового психометричного дослідження новою мовою, яке перевіряє, чи зберігається факторна структура і чи окремі пункти функціонують еквівалентно в різних групах.

Інструментів, які це пропускають, багато. Опитувальник з бездоганною первинною валідністю може поводитися зовсім інакше мовою, де ключовий пункт має іншу конотацію, і про це неможливо дізнатися без дослідження. Коли тест пропонують десятьма мовами, корисне запитання полягає в тому, чи він був валідований десятьма мовами, чи валідований однією і перекладений дев'ятьма.

Чого валідність не дає

Вона не робить бал певним. Валідований інструмент все одно має похибку вимірювання, все одно описує закономірність популяційного рівня, а не індивідуальну долю, і все одно вимірює лише те, чого сягають його пункти.

Те, що дає валідність, це пізнавані межі. Ви можете дізнатися, яка похибка, в якій популяції, для якої мети. Це скромніше твердження, ніж «цей тест розкриває, хто ви насправді», і це єдине твердження, яке витримує перевірку.

Якщо ви хочете побачити, який вигляд має документація, коли вона існує, кожен тест у каталозі NOESIS називає інструмент, який він реалізує, його авторів і рік, метод підрахунку балів і докази, що стоять за ним, включно з тим, де ці докази є спірними.