Какво означава, когато един тест се нарича валидиран?
Думата е нерегулирана и се използва свободно от продукти, които не са положили нужните усилия. Ето какво означава тя, когато наистина има смисъл, и четирите въпроса, които разграничават двата случая.
"Научно валидиран" не е защитен термин. Никой не го сертифицира, нито една институция не го одитира и той се появява върху продукти, чиято единствена база от доказателства е, че много хора са ги попълнили. Струва си да знаеш какво означава, когато се използва правилно.
Кратката версия
Валидираният инструмент има публикувана документация, която показва какво измерва, колко точно, при кои популации и за какво могат легитимно да се използват неговите резултати. Валидирането не е сертификат. То е съвкупност от доказателства, обикновено събирани с години, които най-често включват открития, ограничаващи използването на инструмента, вместо да го ласкаят.
Наличието на документирани ограничения е един от по-добрите сигнали. Истинската литература за валидност е пълна с тях: тази скала се представя слабо при юноши, онзи аспект не се възпроизвежда, граничната стойност зависи от популацията. Продукт, който отчита само силни страни, не е публикувал своята валидизация; той е публикувал своя маркетинг.
Четири въпроса, които вършат работа
Коя е изходната публикация? Валидираният инструмент има оригинална статия в рецензирано списание, с автори, година и обикновено DOI. Тази статия описва как са разработени твърденията и какви са били първоначалните психометрични свойства. Ако никой не може да посочи статията, няма смисъл да се обсъжда валидност.
Потвърдена ли е структурата от някой друг? Екипът, който го е разработил, ще възстанови структурата, която е проектирал. Важното е дали независима група с независими данни е открила същото нещо. Това е най-информативният въпрос, който можеш да зададеш, и този, който най-често остава без отговор.
Върху коя популация са изградени нормите и кога? Един резултат е позиция в референтно разпределение. Инструмент, който отчита перцентил, без да посочва за коя популация се отнася, ти дава число без знаменател.
Какво добавя? Инкрементална валидност спрямо установен измерител. Много брандирани конструкти се провалят тук, корелирайки толкова силно със съществуваща черта, че не обясняват никаква допълнителна дисперсия в нищо. Това е нормален резултат от научното изследване и остава невидимо, освен ако някой не проведе теста.
Къде преводът усложнява нещата
Инструмент, валидиран на английски, не е поради това автоматично валидиран на немски. Правилната междукултурна адаптация изисква прав и обратен превод, експертна оценка, когнитивно интервюиране, а след това и ново психометрично проучване на новия език, което да тества дали факторната структура се запазва и дали отделните твърдения функционират еквивалентно в различните групи.
Инструментите, които пропускат това, са често срещани. Въпросник, чиято първоначална валидност е безупречна, може да се държи съвсем различно на език, където ключово твърдение носи различна конотация, и няма как да се разбере това без проучване. Когато един тест се предлага на десет езика, полезният въпрос е дали е бил валидиран на десет езика, или е валидиран на един и преведен на девет.
Какво не осигурява валидирането
То не прави даден резултат сигурен. Валидираният инструмент все още носи грешка при измерването, все още описва закономерност на ниво популация, а не индивидуална съдба, и все още измерва само това, до което достигат неговите твърдения.
Това, което валидирането осигурява, са познаваеми граници. Можеш да разбереш колко е грешката, в коя популация, за каква цел. Това е по-скромно твърдение от "този тест разкрива кой си всъщност" и е единственото, което е издържано.
Ако искаш да видиш как изглежда документацията, когато съществува, всеки тест в каталога на NOESIS назовава инструмента, който прилага, неговите автори и година, метода за изчисляване на резултата и доказателствата зад него, включително къде тези доказателства са оспорвани.
Подложи го на тест
Четенето за измерванията е едно. Да видиш собствения си резултат с неговия източник, извадка за норма и ограничения е съвсем друго. Безплатен за попълване, не се изисква регистрация.
Продължи да четеш
- Какво е психометрия?Дисциплината, която установява дали дадено психологическо измерване е добро, и причината два теста, задаващи подобни въпроси, да се различават изключително много по стойността на своите резултати.
- Какво е надеждност в психологическото тестване?Надеждността е съгласуваност на измерването, а не точност. Един тест може да бъде много надежден и въпреки това да измерва грешното нещо, поради което това е първият зададен въпрос, но никога последният.
- Какво е валидност в психологическото тестване?Валидността не е свойство, което един тест притежава. Тя е аргумент за това дали определена интерпретация на даден резултат за определена цел е защитима и трябва да се изгражда наново за всяка нова употреба.
- Какво е конструктна валидност?Най-трудният въпрос при измерването: дали нещото, което измерваш, съществува така, както си го дефинирал, и дали твоят инструмент достига до него, а не до нещо сходно.
- Конвергентна и дискриминантна валидностДве огледални изисквания: един измерител трябва да съответства на това, на което трябва да съответства, и трябва да остане разграничим от това, което твърди, че не е. Повечето слаби инструменти се провалят на второто.
- Какво е алфа на Кронбах и какво не еНай-често отчитаната статистика в психологическото тестване и най-погрешно тълкуваната. Алфа не ти казва, че дадена скала е едноизмерна, а високата стойност често е по-скоро симптом, отколкото предимство.
- Стандартна грешка на измерването: с колко може да се отклонява твоят резултатВсеки резултат съдържа допустима грешка, а при повечето психологически тестове тя е по-голяма, отколкото хората предполагат. Това е числото, което ти показва кога една разлика е реална и кога е шум.
- Норми и перцентили: с какво се сравнява твоят резултатСуровият резултат не може да се интерпретира сам по себе си. Той придобива смисъл само спрямо референтна група, а коя група е използвана, е един от най-важните и най-слабо огласявани факти за всеки тест.
- Как всъщност се създава един психометричен тестОт дефинирането на конструкта до публикуваните норми, процесът отнема години и отхвърля по-голямата част от това, което е вложено в него. Ако познаваш стъпките, става очевидно кои от тях са пропуснати при един бърз онлайн тест.
- Защо повечето интернет тестове за личността не са надеждниНе защото са нечестни, а защото стъпките, които правят едно измерване надеждно, са невидими, скъпи и лесни за пропускане, а пропускането им не променя с нищо начина, по който изглежда резултатът.
- Какво може и какво не може да измери една самооценкаВъпросниците изискват от теб да бъдеш наблюдател на самия себе си, което работи по-добре за някои неща, отколкото за други. Да знаеш къде методът е силен и къде се проваля, променя начина, по който четеш всеки резултат.
- Какво означава, когато един тест предсказва нещоКорелация от 0,30 е силно откритие в изследванията на личността и слаба основа за решение за един човек. И двете твърдения са верни, а разминаването между тях причинява повечето злоупотреби с резултатите от тестовете.
- Скринингът не е диагнозаСкрининговият въпросник е създаден, за да улови възможно най-много потенциални случаи, приемайки висок процент на фалшиво положителни резултати като цена за това. Интерпретирането на скринингов резултат като диагноза противоречи на целта, за която е създаден.