Что значит, когда тест что-то предсказывает
Корреляция 0,30, это весомый результат в исследованиях личности и слабое основание для решения об одном конкретном человеке. Оба утверждения верны, и разрыв между ними является причиной большинства случаев неправильного использования результатов теста.
Исследования личности сообщают, что добросовестность предсказывает эффективность работы. Читая эту фразу, большинство людей представляют себе нечто гораздо более сильное, чем то, что показывают данные. Разрыв между статистическим утверждением и повседневным смыслом слова «предсказывает» - это то место, где начинается большинство случаев неправильного использования психологического тестирования.
Цифры, о которых идёт речь
Величины эффекта в исследованиях личности обычно приводятся в виде корреляций. Мета-аналитические значения для устойчиво подтверждённых связей, как правило, находятся в диапазоне от 0,20 до 0,35. Добросовестность и эффективность работы дают показатель около 0,20-0,25. Удовлетворённость работой и эффективность работы дают около 0,30. Общие умственные способности, самый сильный отдельный предиктор в этой области, достигают примерно 0,50 для сложной работы.
Если возвести корреляцию в квадрат, получится доля объяснённой дисперсии. Корреляция 0,25 объясняет около шести процентов различий между людьми. Девяносто четыре процента приходятся на что-то другое: способности, возможности, обучение, управление, здоровье, удачу.
Почему 0,25 всё же является реальным результатом
В масштабе популяции небольшие корреляции дают существенные суммарные эффекты. Если вы отбираете тысячу человек, предиктор со значением 0,25 заметно и стабильно улучшает средний результат. Страховые компании и эпидемиологи строят целые направления практики на эффектах такого масштаба.
Проблема в том, что суммарная выгода и предсказание для отдельного человека - это разные величины. Корреляция 0,25 означает, что среди людей с высокими баллами больше тех, кто показывает хороший результат, чем среди людей с низкими баллами, и в то же время что очень многие люди с высокими баллами будут показывать плохой результат, а очень многие люди с низкими баллами будут показывать превосходный. Оба утверждения следуют из одного и того же числа.
Отдельный случай
Это тот шаг, который обычно пропускают. Корреляция описывает связь между двумя распределениями. Она не даёт оснований для утверждения об отдельном конкретном человеке.
Если добросовестность коррелирует с эффективностью на уровне 0,25, то знание балла человека по добросовестности лишь незначительно сужает вероятный диапазон его эффективности. Интервал предсказания для одного человека остаётся настолько широким, что включает почти весь диапазон возможных результатов. Информация о том, что вы находитесь на 80-м процентиле по добросовестности, говорит очень мало о том, как вы справитесь с конкретной работой.
Вот почему использование личностных баллов как основного фильтра при отборе слабо обосновано, даже если базовые исследования проведены качественно. Исследования подтверждают утверждение о том, что черта имеет значение. Они не подтверждают утверждение о том, что балл говорит о том, что сделает конкретный соискатель.
Ещё два предостережения
Предсказание и причинность - разные вещи. Почти вся эта литература носит корреляционный характер. То, что добросовестность предсказывает показатели здоровья, согласуется как с тем, что добросовестность вызывает более здоровое поведение, так и с тем, что некий третий фактор вызывает и то, и другое, и с обратной причинностью. Лонгитюдные исследования сужают круг возможностей, но редко закрывают вопрос окончательно.
Критерии на основе самоотчёта завышают цифры. Когда и предиктор, и результат оцениваются самим человеком в самоотчёте в один и тот же день, дисперсия общего метода искусственно повышает корреляцию. Исследования, использующие объективные результаты или оценки со стороны других людей, обычно показывают меньшие эффекты, и именно на них стоит ориентироваться.
Для чего балл действительно полезен
Если воспринимать его как описание, а не как пророчество, балл теста действительно полезен. Он показывает, где вы находитесь относительно референтной популяции по черте, у которой есть документально подтверждённые последствия, и даёт вам слова для обозначения закономерности, которую вы, возможно, замечали, но не могли назвать.
Это стоит того, чтобы иметь. Но это совсем не то же самое, что прогноз, и честный отчёт должен сам проводить это различие для вас, а не оставлять вам догадываться об этом.
Проверьте это на практике
Читать об измерении, это одно. Увидеть собственный балл с указанием источника, нормативной выборки и ограничений, это другое. Прохождение бесплатно, регистрация не требуется.
Продолжить чтение
- Что такое психометрика?Дисциплина, которая определяет, насколько хорошо психологическое измерение выполняет свою задачу, и причина того, что два теста, задающих похожие вопросы, могут сильно различаться по ценности своих результатов.
- Что такое надёжность в психологическом тестировании?Надёжность, это постоянство измерения, а не его правильность. Тест может быть высоко надёжным и при этом измерять не то, что нужно, поэтому это первый вопрос, который задают, и никогда не последний.
- Что такое валидность в психологическом тестировании?Валидность, это не свойство, которым обладает тест. Это аргументация о том, можно ли считать обоснованной конкретную интерпретацию конкретного балла для конкретной цели, и её нужно выстраивать заново для каждого нового применения.
- Что такое конструктная валидность?Самый сложный вопрос в измерении: существует ли то, что вы измеряете, в том виде, в каком вы это определили, и достигает ли ваша методика именно этого, а не чего-то смежного.
- Конвергентная и дискриминантная валидностьДва взаимно противоположных требования: методика должна согласовываться с тем, с чем должна согласовываться, и оставаться отличимой от того, чем она заявляет, что не является. Большинство слабых методик не справляются со вторым.
- Что такое альфа Кронбаха и чем она не являетсяСамая часто упоминаемая статистика в психологическом тестировании и самая неправильно понимаемая. Альфа не говорит о том, что шкала одномерна, а высокое значение часто является симптомом, а не достоинством.
- Стандартная ошибка измерения: насколько ваш балл может отличаться от истинного значенияКаждый балл несёт погрешность измерения, и для большинства психологических тестов она шире, чем принято считать. Именно эта величина подсказывает, когда различие реально, а когда это просто шум.
- Нормы и процентили: с чем сравнивается ваш баллНеобработанный балл сам по себе неинтерпретируем. Он приобретает смысл только в сравнении с референтной группой, и то, какая группа использовалась, один из самых значимых и наименее освещаемых фактов о любом тесте.
- Как на самом деле создаётся психометрический тестОт определения конструкта до опубликованных норм этот путь занимает годы и отбрасывает большую часть того, что в него вложено. Знание этих этапов делает очевидным, какие из них были пропущены быстрым онлайн-квизом.
- Что значит, что тест является валидированным?Это слово никем не регулируется и свободно используется продуктами, которые не проделали никакой соответствующей работы. Вот что оно означает, когда действительно что-то значит, и четыре вопроса, которые отличают один случай от другого.
- Почему большинство интернет-тестов личности не являются надёжнымиНе потому, что они нечестны, а потому, что шаги, делающие измерение надёжным, невидимы, дороги и легко пропускаются, а их пропуск никак не меняет внешний вид результата.
- Что может и не может измерить самоотчётОпросники просят вас быть наблюдателем самого себя, а это работает лучше для одних вещей и хуже для других. Понимание того, где метод силён, а где даёт сбои, меняет то, как вы читаете любой результат.
- Скрининг не является диагностикойСкрининговый опросник создан для того, чтобы выявить как можно больше возможных случаев, принимая высокую долю ложноположительных результатов как цену за это. Восприятие скринингового балла как диагноза искажает саму цель, ради которой он был создан.