Що таке валідність конструкту?
Найскладніше запитання у вимірюванні: чи існує те, що ви вимірюєте, так, як ви це визначили, і чи ваш інструмент досягає саме його, а не чогось суміжного.
Конструктна валідність ставить питання, чи вимірює інструмент той теоретичний конструкт, на який він претендує, а не щось корельоване з ним, щось вужче за нього або взагалі нічого узгодженого. Це найглибша форма доказів валідності й та, для встановлення якої потрібні роки, а не одне дослідження.
Складність є структурною. Такий конструкт, як резильєнтність або емоційний інтелект, не є об'єктом; це передбачувана регулярність у поведінці. Щоб показати, що шкала його вимірює, потрібно одночасно обґрунтувати твердження, що конструкт існує саме в такому вигляді, і що ці конкретні пункти його охоплюють. Ці два твердження неможливо розділити, тому Кронбах і Міел, які запропонували цю ідею у 1955 році, описали її як перевірку цілої теоретичної мережі, а не одного інструмента.
Як будується обґрунтування
Прогнозовані патерни кореляцій. Теорія визначає, з чим має пов'язуватися конструкт і наскільки сильно. Самоспівчуття має позитивно корелювати із задоволеністю життям, негативно з депресією і лише помірно із самооцінкою: якби воно корелювало із самооцінкою на рівні 0.9, це не був би окремий конструкт. Кожне з цих передбачень є твердженням, яке можна перевірити, і його несправдження є інформативним.
Очікувані групові відмінності. Якщо теорія стверджує, що риса розвивається з віком або є підвищеною в клінічній популяції, інструмент має це показати. Відсутність відмінності, яку вимагає теорія, є доказом проти інструмента, проти теорії або проти обох.
Реакція на втручання. Якщо конструкт вважається таким, що піддається тренуванню, бали мають змінюватися після тренування і не змінюватися в контрольній групі. Конструкти, які ніколи ні на що не реагують, важко відрізнити від артефактів.
Внутрішня структура. Факторна структура має відповідати теоретично обґрунтованій структурі, і, що важливо, на новій вибірці. Експлораторний факторний аналіз на даних розробки знайде будь-яку структуру, яка була закладена; конфірматорний аналіз на нових даних є тим місцем, де твердження справді перевіряється.
Ідея мультириса, мультиметод
Внесок Кемпбелла і Фіске 1959 року полягав у наполяганні, що конструктна валідність вимагає одночасно двох речей: вимірювання однієї риси різними методами мають узгоджуватися, а вимірювання різних рис одним методом: ні.
Саме з другою половиною більшість інструментів мають труднощі. Якщо ваша емпатія за самозвітом корелює на рівні 0.7 з вашою доброзичливістю за самозвітом і на рівні 0.2 з емпатією за оцінкою спостерігача, то найсильніше, що вимірює ваш опитувальник, це не емпатія, а ваш загальний спосіб описувати себе в опитувальниках. Дисперсія методу є однією з найстійкіших проблем у дослідженнях самозвітів, і саме тому серйозна валідизаційна робота шукає критерій, відмінний від опитувальника, скрізь, де він існує.
Чому це важливо, коли ви читаєте свої результати
Конструктна валідність це те, що стоїть між балом та його інтерпретацією. Коли добре валідизований інструмент повідомляє, що ви маєте високий бал за рисою, ланцюг міркувань, що стоїть за цим твердженням, включає десятиліття опублікованих праць, які встановили, що риса поводиться як узгоджена величина, що ці пункти її відстежують і що бал означає щось подібне для різних людей, які його проходять.
Коли тест без конструктної валідизації повідомляє те саме, цей бал є числом, згенерованим алгоритмом, який ніхто не перевіряв. На екрані результатів обидва виглядають однаково. Різниця полягає виключно в документації, тому документацію варто шукати.
Перевірте себе
Читати про вимірювання одне. Побачити власний бал із зазначенням джерела, нормативної вибірки та обмежень зовсім інше. Безкоштовно, без реєстрації.
Читати далі
- Що таке психометрика?Дисципліна, яка визначає, чи якісним є психологічне вимірювання, і причина, чому два тести зі схожими запитаннями можуть надзвичайно різнитися за цінністю своїх результатів.
- Що таке надійність у психологічному тестуванні?Надійність це узгодженість вимірювання, а не правильність. Тест може мати високу надійність і все одно вимірювати не те. Саме тому це перше запитання, яке ставлять, але ніколи не останнє.
- Що таке валідність у психологічному тестуванні?Валідність це не властивість, яку має тест. Це аргумент про те, чи є конкретна інтерпретація конкретного бала для конкретної мети обґрунтованою, і його потрібно заново вибудовувати для кожного нового застосування.
- Конвергентна та дискримінантна валідністьДві дзеркальні вимоги: вимір має узгоджуватися з тим, з чим має узгоджуватися, і має залишатися відмінним від того, чим він заявляє, що не є. Більшість слабких інструментів не виконують другу вимогу.
- Що таке альфа Кронбаха і чим вона не єНайчастіше повідомлювана статистика в психологічному тестуванні і та, яку найчастіше неправильно тлумачать. Альфа не говорить вам, що шкала є одновимірною, а високе значення часто є радше симптомом, ніж перевагою.
- Стандартна похибка вимірювання: наскільки ваш бал може відхилятисяКожен бал має похибку вимірювання, і для більшості психологічних тестів вона ширша, ніж ви припускаєте. Саме це число показує, коли різниця є реальною, а коли це шум.
- Норми та процентилі: з чим порівнюється ваш балСирий бал сам по собі не піддається інтерпретації. Він набуває значення лише у порівнянні з референтною групою, і те, яка саме група була використана, є одним із найважливіших і найменш розголошуваних фактів про будь-який тест.
- Як насправді створюється психометричний тестВід визначення конструкту до опублікованих норм послідовність триває роки і відсіює більшу частину того, з чого вона починалася. Знання цих етапів робить очевидним, які з них пропустив швидкий онлайн-тест.
- Що означає, коли тест називають валідизованим?Це слово не регулюється і вільно використовується продуктами, які не виконали жодної роботи. Ось що воно означає, коли воно щось означає, і чотири запитання, які розрізняють ці два випадки.
- Чому більшість особистісних тестів в інтернеті не є надійнимиНе тому, що вони нечесні, а тому, що кроки, які роблять вимірювання надійним, непомітні, дорогі, і їх легко пропустити. Їх пропуск жодним чином не змінює вигляд результату.
- Що самозвіт може і не може вимірюватиОпитувальники пропонують вам бути спостерігачем себе, що працює краще для одних речей, ніж для інших. Розуміння того, де метод сильний, а де він не спрацьовує, змінює те, як ви читаєте будь-який результат.
- Що означає, коли тест щось прогнозуєКореляція 0.30 є сильним результатом у дослідженнях особистості та слабкою підставою для рішення щодо однієї людини. Обидва твердження правдиві, і розрив між ними спричиняє більшість випадків неправильного використання результатів тестів.
- Скринінг не є діагнозомСкринінговий опитувальник створений для виявлення якомога більшої кількості можливих випадків, приймаючи високу частоту хибнопозитивних результатів як ціну. Тлумачення скринінгового бала як діагнозу спотворює те, для чого він був створений.