Нормы и процентили: с чем сравнивается ваш балл
Необработанный балл сам по себе неинтерпретируем. Он приобретает смысл только в сравнении с референтной группой, и то, какая группа использовалась, один из самых значимых и наименее освещаемых фактов о любом тесте.
Вы набрали 34 балла по шкале добросовестности. Это высокий результат?
На этот вопрос нельзя ответить без сравнения. Тридцать четыре балла из какого максимума, относительно кого, измеренные когда? Нормы, это референсные данные, которые превращают первичный балл в интерпретируемую позицию, и их выбор, одно из самых значимых решений при разработке теста.
Как работает преобразование
Нормативная выборка, это группа людей, которые прошли методику в стандартных условиях; распределение их баллов становится измерительной линейкой. Первичные баллы затем выражаются как позиция внутри этого распределения.
Процентильные ранги показывают долю нормативной выборки, набравшую балл, равный вашему или ниже. 70-й процентиль означает, что 70 процентов этой референсной группы набрали меньше баллов. Процентили интуитивно понятны и обладают недооценённым недостатком: они растягивают различия в плотной середине распределения и сжимают их на краях. Несколько первичных баллов около среднего значения могут сдвинуть вас на много процентильных позиций; те же несколько баллов у верхней границы почти никуда не сдвигают.
**Стандартные баллы», z-баллы, T-баллы, станайны, шкалы типа IQ, выражают расстояние от среднего в единицах стандартного отклонения. Они сохраняют реальные интервалы между баллами, поэтому их предпочитают для любых вычислений с результатами.
Почему референсная группа, это всё
Один и тот же первичный балл может оказаться на очень разных процентилях в зависимости от нормативной выборки. Добросовестность, оценённая относительно общей взрослой популяции и относительно выборки практикующих бухгалтеров, даст разные процентили, и ни одно из этих чисел не является ошибочным: они отвечают на разные вопросы.
Поэтому стоит знать несколько характеристик нормативной выборки.
Кто в неё входил. Выборки удобства из студентов-психологов до сих пор распространены и представляют узкий срез человечества: молодых, образованных и в непропорционально большой доле из богатых западных стран. Норма, построенная на такой выборке, плохо переносится на другие группы.
Насколько она была велика. Устойчивые оценки процентилей на краях распределения требуют больших выборок. Несколько сотен человек дают ненадёжную картину того, как выглядит 95-й процентиль.
Когда она была собрана. Нормы смещаются со временем. Средние значения по популяции для ряда психологических показателей заметно менялись за десятилетия, и нормативная выборка 1995 года уже не описывает популяцию, проходящую тест в 2026 году.
Стратифицирована ли она. Многие черты систематически варьируются по возрасту и полу. Стремление к новым ощущениям резко снижается с возрастом; хронотип меняется на протяжении жизни. Сравнение 55-летнего человека с нормой для всех возрастов даёт искажённую позицию в обоих случаях.
На что смотреть и что означает отсутствие этого
Хорошо документированная методика указывает размер, состав, страну и год сбора нормативной выборки и сообщает, стратифицированы ли нормы. Серьёзные руководства к тестам посвящают этому целые главы.
Большинство бесплатных онлайн-тестов не сообщают ничего из этого. Вам дают процентиль без указания того, к какой популяции он относится. Такой процентиль либо получен из неназванной выборки удобства, либо позаимствован из опубликованной нормы, собранной на другой популяции, либо построен на людях, ранее проходивших тест на этом сайте, самоотобравшейся группе, состав которой неизвестен даже оператору сайта.
Процентиль всё равно появляется на экране и выглядит так же, как настоящий. Именно сопроводительная документация, и только она, отличает одно от другого.
Проверьте это на практике
Читать об измерении, это одно. Увидеть собственный балл с указанием источника, нормативной выборки и ограничений, это другое. Прохождение бесплатно, регистрация не требуется.
Продолжить чтение
- Что такое психометрика?Дисциплина, которая определяет, насколько хорошо психологическое измерение выполняет свою задачу, и причина того, что два теста, задающих похожие вопросы, могут сильно различаться по ценности своих результатов.
- Что такое надёжность в психологическом тестировании?Надёжность, это постоянство измерения, а не его правильность. Тест может быть высоко надёжным и при этом измерять не то, что нужно, поэтому это первый вопрос, который задают, и никогда не последний.
- Что такое валидность в психологическом тестировании?Валидность, это не свойство, которым обладает тест. Это аргументация о том, можно ли считать обоснованной конкретную интерпретацию конкретного балла для конкретной цели, и её нужно выстраивать заново для каждого нового применения.
- Что такое конструктная валидность?Самый сложный вопрос в измерении: существует ли то, что вы измеряете, в том виде, в каком вы это определили, и достигает ли ваша методика именно этого, а не чего-то смежного.
- Конвергентная и дискриминантная валидностьДва взаимно противоположных требования: методика должна согласовываться с тем, с чем должна согласовываться, и оставаться отличимой от того, чем она заявляет, что не является. Большинство слабых методик не справляются со вторым.
- Что такое альфа Кронбаха и чем она не являетсяСамая часто упоминаемая статистика в психологическом тестировании и самая неправильно понимаемая. Альфа не говорит о том, что шкала одномерна, а высокое значение часто является симптомом, а не достоинством.
- Стандартная ошибка измерения: насколько ваш балл может отличаться от истинного значенияКаждый балл несёт погрешность измерения, и для большинства психологических тестов она шире, чем принято считать. Именно эта величина подсказывает, когда различие реально, а когда это просто шум.
- Как на самом деле создаётся психометрический тестОт определения конструкта до опубликованных норм этот путь занимает годы и отбрасывает большую часть того, что в него вложено. Знание этих этапов делает очевидным, какие из них были пропущены быстрым онлайн-квизом.
- Что значит, что тест является валидированным?Это слово никем не регулируется и свободно используется продуктами, которые не проделали никакой соответствующей работы. Вот что оно означает, когда действительно что-то значит, и четыре вопроса, которые отличают один случай от другого.
- Почему большинство интернет-тестов личности не являются надёжнымиНе потому, что они нечестны, а потому, что шаги, делающие измерение надёжным, невидимы, дороги и легко пропускаются, а их пропуск никак не меняет внешний вид результата.
- Что может и не может измерить самоотчётОпросники просят вас быть наблюдателем самого себя, а это работает лучше для одних вещей и хуже для других. Понимание того, где метод силён, а где даёт сбои, меняет то, как вы читаете любой результат.
- Что значит, когда тест что-то предсказываетКорреляция 0,30, это весомый результат в исследованиях личности и слабое основание для решения об одном конкретном человеке. Оба утверждения верны, и разрыв между ними является причиной большинства случаев неправильного использования результатов теста.
- Скрининг не является диагностикойСкрининговый опросник создан для того, чтобы выявить как можно больше возможных случаев, принимая высокую долю ложноположительных результатов как цену за это. Восприятие скринингового балла как диагноза искажает саму цель, ради которой он был создан.