Что такое психометрика?

Психометрика, это раздел психологии, занимающийся самим измерением. Не тем, что означает экстраверсия, а тем, действительно ли данный набор вопросов измеряет экстраверсию, сколько ошибки содержится в итоговом числе и что это число имеет право предсказывать.

Это различие важнее, чем кажется на первый взгляд. Любой может написать двадцать вопросов о том, насколько человек общителен, и сложить ответы. Психометрика, это работа, которая происходит после: показать, что двадцать вопросов согласуются друг с другом, что они измеряют одну вещь, а не три, что один и тот же человек получает примерно тот же балл в следующем месяце, что балл связан с тем, как этот человек действительно ведёт себя, и что весь этот аппарат работает одинаково и для 22-летнего жителя Лиссабона, и для 55-летнего жителя Мюнхена.

Почему потребовалась отдельная дисциплина

Физическое измерение имеет преимущество, которого нет у психологии: вы можете приложить метровую линейку к тому, что измеряете. Для добросовестности такой линейки не существует. Черта не наблюдаема напрямую, она выводится из поведения, а ответы на вопросы анкеты, это ещё один уровень вывода поверх этого.

Это то, что психометрики называют латентной переменной: нечто достаточно реальное, чтобы иметь последствия, но достижимое только через косвенные индикаторы. Весь методологический аппарат существует именно из-за этой опосредованности. Каждая техника, с которой вы столкнётесь, факторный анализ, коэффициенты надёжности, теория ответа на пункт теста, нормативные выборки, это попытка сказать что-то обоснованное о величине, которую никто не может наблюдать напрямую.

Три вопроса

Если отбросить терминологию, психометрика задаёт любому инструменту три вопроса.

Он последователен? Если измерение, это преимущественно шум, всё остальное не имеет значения. Последовательность проверяется по пунктам (согласуются ли вопросы друг с другом?), во времени (получает ли тот же человек тот же балл в следующем месяце?) и, где это уместно, между оценивающими. Это надёжность.

Измеряет ли он то, что заявлено? Анкета может быть идеально последовательной и при этом измерять не то, что нужно. Шкала, которая заявляет, что измеряет лидерский потенциал, но коррелирует на уровне 0,8 с обычной самооценкой, измеряет самооценку. Это валидность, и это не свойство, которым инструмент обладает или не обладает, это аргумент, построенный на основе накопленных доказательств.

По сравнению с кем? Сырой балл 34 сам по себе ничего не значит. Он становится интерпретируемым только на фоне референтной группы: относительно какой популяции 34, это высокий балл, когда он измерялся и где? Это работа норм, и это тот этап, который большинство потребительских тестов полностью пропускают.

Как выглядит хорошая практика

У хорошо сконструированного инструмента есть документальный след. Кто-то опубликовал, как были написаны пункты и какие из них были отброшены. Кто-то сообщил коэффициенты надёжности в именованных выборках с указанием размера выборок. Кто-то проверил, сохраняется ли факторная структура во второй, независимой выборке, а не только в той, что использовалась для построения теста. Кто-то проверил, ведут ли себя пункты одинаково в разных языках и возрастных группах. Кто-то другой, в идеале не заинтересованный в этом инструменте, попытался воспроизвести результаты и сообщил, что получилось.

Ничто из этого не делает тест непогрешимым. Это делает его ограничения известными, а это иное и более полезное свойство. Инструмент, чья ошибка измерения документирована, говорит вам, насколько можно доверять небольшой разнице между двумя баллами. Инструмент без опубликованной оценки ошибки не является более точным; он просто молчит о своей неточности.

К чему это приводит читателя

Психометрика не скажет вам, что тест истинен. Она скажет вам, насколько далеко можно растянуть балл, прежде чем он перестанет что-либо значить, на какие вопросы он может ответить, на каких популяциях он был откалиброван и насколько большой должна быть разница, чтобы её стоило заметить.

Это более узкое обещание, чем даёт большинство продуктов о личности. Но это единственное обещание, которое выживает при столкновении с доказательствами.