Что такое надёжность в психологическом тестировании?

Надёжность, это степень, в которой измерение воспроизводимо, а не является шумом. Если бы вы взвешивались три раза в течение минуты и получили 71, 78 и 66 килограммов, весы были бы ненадёжны, и у вас не было бы способа узнать по ним свой реальный вес. Психологическое измерение сталкивается с той же проблемой, но при этом использует значительно менее точный инструментарий.

Ключевая вещь, которую нужно понять о надёжности, это то, чего она не утверждает. Напольные весы, которые стабильно показывают на восемь килограммов больше, полностью надёжны и полностью неверны. Надёжность касается согласованности; вопрос о том, означает ли число то, что нужно, это отдельный вопрос, называемый валидностью. Надёжность необходима для валидности, но далеко не достаточна для неё.

Формы, которые она принимает

Внутренняя согласованность отвечает на вопрос, согласуются ли пункты шкалы друг с другом. Если десять вопросов должны измерять одну и ту же лежащую в основе черту, то люди, дающие высокий ответ на один из них, должны, как правило, давать высокие ответы и на другие. Обычно это выражается через альфа Кронбаха или, что лучше, омегу Макдональда.

Ретестовая надёжность отвечает на вопрос, получает ли один и тот же человек схожие баллы в двух разных случаях. Это форма, которая важнее всего для черт, которые по определению должны быть стабильными. Также это форма, которую чаще всего не сообщают, поскольку она требует повторного обращения к тем же участникам спустя несколько недель.

Межэкспертная надёжность применяется, когда инструмент оценивают люди, клинические интервью, проективные методики, наблюдение за поведением. Она отвечает на вопрос, приходят ли два обученных эксперта, рассматривающие один и тот же материал, к одному и тому же выводу.

Надёжность параллельных форм отвечает на вопрос, дают ли две разные версии одного теста, созданные как эквивалентные, одинаковые баллы. Это важно везде, где тест проводится более одного раза и есть опасения по поводу запоминания заданий.

Как читать цифры

Коэффициенты надёжности принимают значения от 0 до 1. Условные границы приблизительны и часто неправильно используются, но в общих чертах: выше 0,90 требуется там, где балл влияет на жизнь отдельного человека, от 0,80 до 0,90, солидный уровень для большинства прикладных задач, от 0,70 до 0,80 приемлем для исследований и сравнения групп, а ниже 0,70 означает, что балл содержит больше шума, чем могут выдержать большинство выводов.

Два предостережения по поводу этих порогов. Во-первых, это условности, а не законы, приемлемый уровень целиком зависит от того, для чего будет использоваться балл. Во-вторых, очень высокая альфа для короткой шкалы обычно указывает на то, что пункты являются почти парафразами друг друга, что даёт согласованность за счёт полноты охвата конструкта. Шкала из десяти вопросов, все из которых спрашивают «организованы ли вы?» немного разными словами, будет иметь превосходную внутреннюю согласованность и узкое представление о добросовестности.

Что это значит для вашего собственного балла

Надёжность напрямую переводится в то, сколько доверия заслуживает отдельное число. Тест с надёжностью 0,85 несёт погрешность измерения, достаточно большую, чтобы разница в несколько баллов между двумя людьми или между вашим баллом сегодня и вашим баллом месяц назад с высокой вероятностью была шумом, а не сигналом.

В этом заключается практическое следствие: хороший инструмент сообщает свою надёжность, чтобы вы знали, насколько широк диапазон неопределённости вокруг вашего балла. Техническое выражение этой неопределённости, стандартная ошибка измерения, которая переводит коэффициент надёжности в диапазон плюс-минус вокруг балла.

Инструмент, который вообще не сообщает показатель надёжности, из-за этого не становится более точным. Он просто отказался сообщить вам, насколько он неточен.