Конвергентная и дискриминантная валидность

Конвергентная и дискриминантная валидность представляют собой две половины одного требования. Мера должна коррелировать с тем, с чем она теоретически должна коррелировать, и не должна слишком сильно коррелировать с тем, от чего она, как предполагается, отличается. Выполнение только одного из этих условий не является частичным успехом; как правило, это признак того, что конструкт не является тем, чем он себя называет.

Конвергентная валидность

Конвергентные данные показывают, что мера согласуется с другими показателями того же самого явления. Новая шкала тревожности должна существенно коррелировать с уже устоявшимися шкалами тревожности, с оценками клиницистов и, в идеале, с чем-то, что не является ещё одним опросником, например с физиологическими показателями или наблюдаемым избегающим поведением.

Обычно здесь ожидаются корреляции выше 0.50, часто выше 0.70, если сравниваемая мера представляет собой хорошо зарекомендовавший себя инструмент для того же конструкта. Ниже этого уровня либо новая шкала, либо сравниваемый инструмент измеряет что-то другое.

Здесь есть ловушка. Корреляция 0.95 с уже существующей шкалой не является триумфом: это означает, что новый инструмент представляет собой переупаковку, и честный вопрос заключается в том, что же он добавляет. Конвергентная валидность, это нижняя планка, а не цель, к максимизации которой нужно стремиться.

Дискриминантная валидность

Дискриминантные данные показывают, что мера остаётся отдельной от конструктов, от которых она, по заявлению, отличается. Именно здесь скрываются самые интересные неудачи.

Эта закономерность повторяется во всей литературе. Упорство коррелирует с добросовестностью примерно на уровне 0.84, что достаточно близко, чтобы метаанализ обнаружил: после контроля добросовестности упорство почти ничего не добавляет к прогнозированию академической успеваемости. Самоотчётный эмоциональный интеллект в значительной степени пересекается с эмоциональной стабильностью, экстраверсией и добросовестностью вместе взятыми. Общая дисперсия внутри Тёмной триады во многом исчезает, если учесть фактор Честность-Скромность из модели HEXACO. В каждом случае конструкт преподносился как новая территория, а оказывался переименованной областью уже существующей карты.

Дискриминантная валидность также является той областью, где проявляются эффекты метода. Если каждый самоотчётный конструкт в исследовании коррелирует на уровне 0.4 с каждым другим, общий фактор, вероятно, отражает стиль ответов респондента, а не какую-либо общую психологию.

Тест, который расставляет всё по местам

Решающей процедурой является инкрементная валидность: сначала в регрессию вводится уже устоявшаяся мера, затем новая, и проверяется, объясняет ли новая мера дополнительную дисперсию результата. Если нет, конструкт всё ещё может представлять теоретический интерес, но инструмент не измеряет ничего такого, чего в данной области уже не было.

Это требовательный стандарт, и очень многие опубликованные шкалы никогда не подвергались этой проверке. Когда её всё же проводят, результатом часто оказывается описанная выше избыточность. Это не скандал, а обычная научная чистка, однако это означает, что популярность конструкта ничего не говорит о том, пройдёт ли он этот тест.

Что это меняет для читателя

Когда тест сообщает несколько баллов, полезный вопрос заключается в том, действительно ли эти баллы различны. Четыре измерения, коррелирующие друг с другом на уровне 0.8, представляют собой одно измерение с четырьмя названиями, и построенный на их основе профиль будет выглядеть дифференцированным, почти не неся при этом независимой информации.

Инструменты, которые публикуют корреляции между своими шкалами, позволяют вам проверить это самостоятельно. Инструменты, которые представляют тип с четырьмя квадрантами, никогда не показывая, как эти квадранты соотносятся друг с другом, делают такую проверку невозможной, и обычно в этом и заключается смысл.