Що означає, коли тест щось прогнозує

Дослідження особистості стверджують, що сумлінність прогнозує робочу успішність. Читаючи це речення, більшість людей уявляє собі щось значно сильніше, ніж показують дані. Розрив між статистичним твердженням і повсякденним значенням слова «прогнозує» це саме те місце, де починається більшість випадків неправильного використання психологічного тестування.

Цифри, про які йдеться

Величину ефекту в дослідженнях особистості зазвичай наводять у вигляді кореляцій. Метааналітичні значення для добре встановлених зв'язків зазвичай становлять від 0.20 до 0.35. Сумлінність і робоча успішність перебувають на рівні приблизно від 0.20 до 0.25. Задоволеність роботою і робоча успішність це приблизно 0.30. Загальні розумові здібності, найсильніший окремий предиктор у цій галузі, сягають приблизно 0.50 для складної роботи.

Якщо піднести кореляцію до квадрата, ви отримаєте частку поясненої дисперсії. Кореляція 0.25 пояснює близько шести відсотків відмінностей між людьми. Дев'яносто чотири відсотки це щось інше: здібності, можливості, підготовка, керівництво, здоров'я, удача.

Чому 0.25 все ж є реальним результатом

У масштабі популяції невеликі кореляції дають значний сукупний ефект. Якщо ви відбираєте тисячу людей, предиктор на рівні 0.25 помітно і стабільно покращує ваш середній результат. Страхові компанії та епідеміологи будують цілі практики на ефектах такого розміру.

Проблема в тому, що сукупна вигода і прогноз для окремої людини це різні величини. Кореляція 0.25 означає, що серед людей із високим балом більше тих, хто працюватиме добре, ніж серед людей із низьким балом. Вона також означає, що дуже багато людей із високим балом працюватимуть погано, а дуже багато людей із низьким балом досягнуть визначних результатів. Обидва твердження випливають з одного й того самого числа.

Випадок окремої людини

Саме цей крок пропускають. Кореляція описує зв'язок між двома розподілами. Вона не дає підстав для твердження про будь-яку конкретну людину.

Якщо кореляція сумлінності з успішністю становить 0.25, то знання бала сумлінності певної людини лише трохи звужує ймовірний діапазон її успішності. Інтервал прогнозу для однієї особи залишається настільки широким, що охоплює майже весь діапазон можливих результатів. Якщо вам повідомили, що ви перебуваєте на 80-му процентилі за сумлінністю, це говорить вам дуже мало про те, як ви працюватимете на конкретній роботі.

Саме тому використання балів особистісних рис як основного фільтра відбору має слабке обґрунтування, навіть коли саме дослідження є коректним. Дослідження підтверджує твердження, що риса має значення. Воно не підтверджує твердження, що бал говорить вам, як діятиме кандидат.

Ще два застереження

Прогнозувати і спричиняти це різне. Майже вся ця література є кореляційною. Те, що сумлінність прогнозує показники здоров'я, узгоджується і з тим, що сумлінність спричиняє здоровішу поведінку, і з тим, що третій чинник спричиняє обидва явища, і зі зворотним причинним зв'язком. Лонгітюдні дизайни звужують можливі варіанти, але рідко виключають їх остаточно.

Критерії самозвіту завищують цифри. Коли і предиктор, і результат повідомляє та сама людина в той самий день, спільна дисперсія методу підвищує кореляцію. Дослідження з об'єктивними результатами або оцінками інформантів зазвичай наводять менші ефекти, і саме на них варто спиратися.

Для чого бал є насправді корисним

Якщо читати бал тесту як опис, а не як пророцтво, він є справді корисним. Він говорить вам, де ви перебуваєте відносно референтної популяції за рисою, що має задокументовані наслідки, і дає вам слова для патерну, який ви, можливо, помічали, але не могли назвати.

Це варто мати. Це інше, ніж прогноз, і цю відмінність має пояснити вам чесний звіт, а не залишити вам її виводити самостійно.