Як насправді створюється психометричний тест

Психометричний інструмент, який доходить до публікації, зазвичай проходить п'ять чи шість років роботи, під час якої більшу частину написаного відкидають. Цю послідовність варто знати, бо кожен її етап відповідає способу, у який тест може бути недосконалим.

1. Визначте конструкт

Перш ніж буде написано будь-який пункт, конструкт потрібно визначити настільки точно, щоб можна було сказати, що виходить за його межі. Це означає визначення, опис вимірної структури: один вимір чи декілька, а якщо декілька, то як вони пов'язані, а також чітке пояснення, від яких суміжних конструктів він має відрізнятися.

Пропуск цього етапу є причиною появи більшості надлишкових інструментів. Шкала, побудована на інтуїтивному розумінні поняття, зазвичай зрештою вимірює усталену рису під новою назвою.

2. Створіть пул пунктів

Пунктів складають значно більше, ніж залишиться, зазвичай у три-п'ять разів більше за остаточну кількість. Вони походять з теорії, з наявних інструментів, з інтерв'ю з людьми, які мають описуваний досвід, а також від профільних експертів.

На цьому етапі пул перевіряють на повноту охоплення змісту (чи він охоплює весь конструкт, чи зосереджений на одному аспекті?), на рівень читабельності, на формулювання з подвійним змістом, а також на пункти, які насправді запитують про щось інше.

3. Пілотне дослідження та відсів

Пул передають першій вибірці. Аналіз здебільшого має руйнівний характер.

Пункти майже без дисперсії відкидають: запитання, на яке всі відповідають однаково, нікого не розрізняє. Пункти, що слабко корелюють із загальним балом, відкидають. Пункти, що мають перехресні навантаження більш ніж на один фактор, відкидають. Пункти, що працюють по-різному в різних демографічних групах з причин, не пов'язаних з рисою, тобто диференційне функціонування пунктів, відкидають, і ця перевірка є однією з тих, які пропускають найчастіше.

Те, що залишається, зазвичай становить третину від написаного.

4. Підтвердіть структуру на новій вибірці

Це крок, який відрізняє серйозні інструменти від решти. Факторний аналіз на вибірці розробки відтворить закладену структуру: він мусить це зробити, оскільки пункти добирали саме для цього. Справжньою перевіркою є конфірматорний факторний аналіз на незалежній вибірці.

Дуже багато опублікованих шкал відтворюють заплановану структуру лише на даних, використаних для їх побудови. Коли хтось інший збирає нові дані, фактори не з'являються. Така невдача настільки поширена, що запитання «чи була структура підтверджена на незалежній вибірці?» є одним із найефективніших запитань щодо будь-якого інструмента.

5. Накопичуйте докази валідності

Кореляції з усталеними показниками того самого конструкту. Кореляції з конструктами, від яких він має відрізнятися, які мають бути нижчими. Зв'язки з важливими результатами. Інкрементна валідність порівняно з тим, що вже існує. Стабільність ретестових показників за інтервал, що відповідає конструкту.

Цей етап не завершується. Він триває, доки інструмент використовують, і саме на ньому в інструментах найчастіше виявляють недоліки через роки після публікації.

6. Побудуйте норми

Референтна вибірка, достатньо велика та репрезентативна для цільової популяції, стратифікована там, де риса варіює за віком чи статтю, із зазначенням року та країни. Потім її періодично повторюють, бо норми зміщуються.

7. Адаптуйте, якщо інструмент використовуватимуть в іншому місці

Переклад не є лінгвістичною вправою. Належна адаптація означає прямий переклад, незалежний зворотний переклад, експертну перевірку, когнітивні інтерв'ю з носіями цільової мови, а потім нове психометричне дослідження новою мовою, щоб перевірити, чи зберігається структура і чи пункти функціонують еквівалентно. Інструмент, перекладений без такого дослідження, є неперевіреним інструментом цією мовою, якими б не були його заслуги в оригіналі.

Що це означає для швидкого опитувальника

Тест, написаний за один вечір, завершив другий крок. Він цілком може дати правдоподібний на вигляд результат, процентиль та абзац опису. Пропущені ним кроки, це ті, які мали б встановити, чи означає щось із цього взагалі щось.