Как всъщност се създава един психометричен тест
От дефинирането на конструкта до публикуваните норми, процесът отнема години и отхвърля по-голямата част от това, което е вложено в него. Ако познаваш стъпките, става очевидно кои от тях са пропуснати при един бърз онлайн тест.
Психометричен инструмент, който достига до публикуване, обикновено е преминал през пет или шест години работа и е отхвърлил по-голямата част от това, което е било написано за него. Струва си да се познава последователността, защото всеки неин етап съответства на начин, по който един тест може да бъде неадекватен.
1. Дефиниране на конструкта
Преди да бъде написано каквото и да е твърдение, конструктът трябва да бъде определен достатъчно точно, за да се каже какво попада извън него. Това означава дефиниция, изложение на структурата на измеренията: едно измерение или няколко, а ако са няколко, как се съотнасят, както и изрично обяснение от кои съседни конструкти трябва да се различава.
Пропускането на този етап е първоизточникът на повечето излишни инструменти. Една скала, изградена въз основа на интуитивно усещане за дадено понятие, обикновено завършва с измерване на вече утвърдена черта под ново име.
2. Създаване на набор от твърдения
Твърденията се съставят в много по-голямо количество от това, което ще оцелее, обикновено от три до пет пъти повече от крайния брой. Те произтичат от теорията, от съществуващи инструменти, от интервюта с хора, които имат описвания опит, и от експерти в съответната област.
На този етап наборът се преглежда за покритие на съдържанието (дали обхваща целия конструкт, или се струпва върху един аспект?), за ниво на четене, за двусмислени формулировки и за твърдения, които всъщност питат за нещо друго.
3. Пилотиране и съкращаване
Наборът се прилага върху първа извадка. Анализът е предимно деструктивен.
Твърденията с почти никаква вариация отпадат, тъй като въпрос, на който всички отговарят по един и същ начин, не отличава никого. Твърденията, които корелират слабо с общия резултат, отпадат. Твърденията, които се натоварват на повече от един фактор, отпадат. Твърденията, които се държат по различен начин в различните демографски групи по причини, несвързани с чертата (диференциално функциониране на твърдението), отпадат, като тази проверка е една от най-често пропусканите.
Това, което оцелява, обикновено е една трета от първоначално написаното.
4. Потвърждаване на структурата в нова извадка
Това е стъпката, която отличава сериозните инструменти от останалите. Факторният анализ на извадката за разработване ще възстанови заложената в нея структура. Това е неизбежно, тъй като твърденията са избрани така, че да я създадат. Истинският тест е конфирматорният факторен анализ в независима извадка.
Много голяма част от публикуваните скали възстановяват предвидената си структура само в данните, използвани за тяхното създаване. Когато някой друг събере нови данни, факторите не се появяват. Този провал е достатъчно често срещан, за да може въпросът "Потвърдена ли е структурата в независима извадка?" да бъде един от най-ефективните въпроси, които могат да се зададат за всеки инструмент.
5. Натрупване на доказателства за валидност
Корелации с утвърдени измервания на същия конструкт. Корелации с конструкти, от които трябва да се различава, които е по-добре да бъдат по-ниски. Връзки с резултати, които имат значение. Инкрементална валидност спрямо вече съществуващото. Тест-ретест стабилност за интервал, подходящ за конструкта.
Този етап не приключва. Той продължава докато инструментът се използва, и именно тук най-често се откриват недостатъци на инструментите години след публикуването им.
6. Изграждане на норми
Референтна извадка, достатъчно голяма и представителна за целевата популация, стратифицирана там, където чертата варира според възрастта или пола, и документирана по отношение на годината и държавата. След това се повтаря периодично, защото нормите се променят.
7. Превод, ако ще се използва другаде
Преводът не е лингвистично упражнение. Правилната адаптация означава прав превод, независим обратен превод, експертна оценка, когнитивни интервюта с носители на целевия език и след това ново психометрично изследване на новия език, за да се провери дали структурата се запазва и дали твърденията функционират еквивалентно. Инструмент, преведен без такова проучване, е нетестван инструмент на този език, независимо от неговите качества в оригинала.
Какво означава това за бързия тест
Тест, написан за един следобед, е завършил втора стъпка. Той може да даде правдоподобно изглеждащ резултат, перцентил и параграф с описание. Стъпките, които са пропуснати, са тези, които биха установили дали нещо от това изобщо има смисъл.
Подложи го на тест
Четенето за измерванията е едно. Да видиш собствения си резултат с неговия източник, извадка за норма и ограничения е съвсем друго. Безплатен за попълване, не се изисква регистрация.
Продължи да четеш
- Какво е психометрия?Дисциплината, която установява дали дадено психологическо измерване е добро, и причината два теста, задаващи подобни въпроси, да се различават изключително много по стойността на своите резултати.
- Какво е надеждност в психологическото тестване?Надеждността е съгласуваност на измерването, а не точност. Един тест може да бъде много надежден и въпреки това да измерва грешното нещо, поради което това е първият зададен въпрос, но никога последният.
- Какво е валидност в психологическото тестване?Валидността не е свойство, което един тест притежава. Тя е аргумент за това дали определена интерпретация на даден резултат за определена цел е защитима и трябва да се изгражда наново за всяка нова употреба.
- Какво е конструктна валидност?Най-трудният въпрос при измерването: дали нещото, което измерваш, съществува така, както си го дефинирал, и дали твоят инструмент достига до него, а не до нещо сходно.
- Конвергентна и дискриминантна валидностДве огледални изисквания: един измерител трябва да съответства на това, на което трябва да съответства, и трябва да остане разграничим от това, което твърди, че не е. Повечето слаби инструменти се провалят на второто.
- Какво е алфа на Кронбах и какво не еНай-често отчитаната статистика в психологическото тестване и най-погрешно тълкуваната. Алфа не ти казва, че дадена скала е едноизмерна, а високата стойност често е по-скоро симптом, отколкото предимство.
- Стандартна грешка на измерването: с колко може да се отклонява твоят резултатВсеки резултат съдържа допустима грешка, а при повечето психологически тестове тя е по-голяма, отколкото хората предполагат. Това е числото, което ти показва кога една разлика е реална и кога е шум.
- Норми и перцентили: с какво се сравнява твоят резултатСуровият резултат не може да се интерпретира сам по себе си. Той придобива смисъл само спрямо референтна група, а коя група е използвана, е един от най-важните и най-слабо огласявани факти за всеки тест.
- Какво означава, когато един тест се нарича валидиран?Думата е нерегулирана и се използва свободно от продукти, които не са положили нужните усилия. Ето какво означава тя, когато наистина има смисъл, и четирите въпроса, които разграничават двата случая.
- Защо повечето интернет тестове за личността не са надеждниНе защото са нечестни, а защото стъпките, които правят едно измерване надеждно, са невидими, скъпи и лесни за пропускане, а пропускането им не променя с нищо начина, по който изглежда резултатът.
- Какво може и какво не може да измери една самооценкаВъпросниците изискват от теб да бъдеш наблюдател на самия себе си, което работи по-добре за някои неща, отколкото за други. Да знаеш къде методът е силен и къде се проваля, променя начина, по който четеш всеки резултат.
- Какво означава, когато един тест предсказва нещоКорелация от 0,30 е силно откритие в изследванията на личността и слаба основа за решение за един човек. И двете твърдения са верни, а разминаването между тях причинява повечето злоупотреби с резултатите от тестовете.
- Скринингът не е диагнозаСкрининговият въпросник е създаден, за да улови възможно най-много потенциални случаи, приемайки висок процент на фалшиво положителни резултати като цена за това. Интерпретирането на скринингов резултат като диагноза противоречи на целта, за която е създаден.