Стандартна похибка вимірювання: наскільки ваш бал може відхилятися

Стандартна похибка вимірювання перетворює абстрактний коефіцієнт надійності на щось конкретне: інтервал плюс-мінус навколо бала. Вона відповідає на запитання, яке більшість екранів з результатами залишає без відповіді: наскільки цей показник міг би відрізнятися, якби ви проходили тест іншого дня після обіду?

Формула проста. Помножте стандартне відхилення шкали на квадратний корінь з одиниці мінус її надійність. Для шкали зі стандартним відхиленням 10 і надійністю 0.85 стандартна похибка становить приблизно 3.9 бала.

Що цей інтервал насправді охоплює

Приблизно у двох третинах випадків істинне значення людини знаходиться в межах однієї стандартної похибки від її спостережуваного бала. Щоб бути впевненими приблизно на 95 відсотків, потрібно приблизно дві стандартні похибки в кожен бік.

Візьмімо наведений вище приклад. Людина набирає 62 бали. 95-відсотковий інтервал триває приблизно від 54 до 70. Це вікно у шістнадцять балів на шкалі, де типовий розрив між середнім рівнем і явно вищим за середній може становити десять балів.

Це не недолік саме цього тесту. Надійність 0.85 є пристойною. Це нормальна точність психологічного вимірювання, і саме тому ретельні звіти подають інтервали, а не точкові значення.

Наслідки, які люди не помічають

Невеликі відмінності між шкалами зазвичай нічого не означають. Якщо ваша екстраверсія становить 58, а відкритість 54, чесний висновок полягає в тому, що їх неможливо розрізнити. Інтерпретації профілю, які будують розповідь на розривах у чотири бали, зчитують шум.

Невеликі зміни з часом зазвичай теж нічого не означають. Повторне проходження тесту зі зміною на п'ять балів знаходиться в межах похибки для більшості інструментів. Справжня зміна рис відбувається протягом років і проявляється як зсув значно за межі смуги похибки, а не як кілька балів від місяця до місяця.

Ранжування посилює проблему. Різниця в кілька сирих балів може перемістити людину на десять процентильних місць у щільній середині розподілу, оскільки саме там знаходиться більшість людей. Процентильні ранги виглядають точними, хоча це найменш стабільний спосіб вираження бала.

Точність не є однаковою вздовж шкали. Класична теорія тестів припускає одне значення похибки для кожного бала, що є спрощенням. Теорія відповіді на завдання моделює похибку окремо для кожного рівня риси, і вона майже завжди більша на крайніх значеннях, саме там, де робляться найбільш відповідальні інтерпретації. Дуже високий або дуже низький бал зазвичай є менш точним, ніж середній, а не більш точним.

Чому чесне звітування виглядає менш вражаюче

Інструмент, який повідомляє довірчі інтервали, виглядає менш визначеним, ніж той, що повідомляє одне число з одним знаком після коми. Менш визначений говорить правду. Той, що виглядає точним, має ту саму базову похибку і вирішив її не показувати.

Про це варто пам'ятати, порівнюючи науково задокументований тест із комерційним продуктом, який відносить вас до певної категорії. Межа категорії проходить за конкретним балом, а людина на один бал нижче неї і людина на один бал вище неї, статистично, є тією самою людиною. Ярлик типу це повністю приховує, що є одним із серйозніших аргументів проти інструментів, заснованих на типах, і причиною, чому неперервні бали із зазначеною похибкою є стандартом у дослідженнях.