Что значит, что тест является валидированным?

«Научно подтверждённый» - это не защищённый термин. Никто его не сертифицирует, ни один орган его не проверяет, и он появляется на продуктах, вся доказательная база которых сводится к тому, что их прошло много людей. Стоит знать, что это выражение значит, когда оно используется корректно.

Короткая версия

Валидированный инструмент имеет опубликованные данные о том, что он измеряет, с какой точностью, на каких популяциях и для чего его баллы могут законно использоваться. Валидация, это не сертификат. Это массив доказательств, обычно собираемый годами, обычно включающий выводы, которые ограничивают применение инструмента, а не льстят ему.

Наличие документированных ограничений, один из лучших сигналов. Подлинная литература по валидации полна ими: эта шкала плохо работает на подростках, та грань не воспроизводится, пороговое значение зависит от популяции. Продукт, который сообщает только о своих достоинствах, не опубликовал свою валидацию; он опубликовал свою рекламу.

Четыре вопроса, которые дают результат

Какова исходная публикация? У валидированного инструмента есть оригинальная статья в рецензируемом журнале, с авторами, годом и, как правило, DOI. В этой статье сообщается, как были разработаны пункты и какими были первоначальные психометрические свойства. Если никто не может назвать эту статью, обсуждать валидацию не о чём.

Была ли структура подтверждена кем-то другим? Команда разработчиков воспроизведёт структуру, которую сама и создала. Важно, обнаружила ли независимая группа на независимых данных то же самое. Это самый информативный из всех вопросов, который вы можете задать, и он же чаще всего остаётся без ответа.

На какой популяции построены нормы, и когда это было сделано? Балл, это позиция в референтном распределении. Инструмент, который сообщает процентиль без указания, к какой популяции он относится, дал вам число без знаменателя.

Что он добавляет? Речь о приростной валидности относительно уже установленного измерения. Очень многие фирменные конструкты не проходят эту проверку: они настолько сильно коррелируют с уже существующей чертой, что не объясняют никакой дополнительной дисперсии ни в чём. Это нормальный результат научной проверки, и он остаётся невидимым, если никто не проводит такое исследование.

Где перевод всё усложняет

Инструмент, валидированный на английском языке, тем самым не является валидированным на немецком. Корректная межкультурная адаптация требует прямого и обратного перевода, экспертной оценки, когнитивного интервьюирования, а затем нового психометрического исследования на новом языке, проверяющего, сохраняется ли факторная структура и функционируют ли отдельные пункты эквивалентно в разных группах.

Инструменты, которые пропускают этот этап, встречаются часто. Опросник, чья исходная валидация безупречна, может вести себя совершенно иначе на языке, где ключевой пункт несёт другой оттенок смысла, и узнать это без исследования невозможно. Когда тест предлагается на десяти языках, полезный вопрос состоит в том, был ли он валидирован на десяти языках или валидирован на одном и переведён на девять.

Чего валидация не даёт

Она не делает балл достоверным. Валидированный инструмент всё равно несёт ошибку измерения, всё равно описывает закономерность на уровне популяции, а не индивидуальную судьбу, и всё равно измеряет лишь то, до чего доходят его пункты.

Что даёт валидация, это познаваемые границы. Вы можете узнать, сколько ошибки, на какой популяции, для какой цели. Это более скромное утверждение, чем «этот тест раскрывает, кто вы на самом деле», и это единственное утверждение, которое выдерживает проверку.

Если вы хотите увидеть, как выглядит документация, когда она существует: каждый тест в каталоге NOESIS называет инструмент, который он реализует, его авторов и год, метод подсчёта баллов и доказательства, на которых он основан, включая случаи, когда эти доказательства являются предметом споров.