Jak faktycznie powstaje test psychometryczny
Od definicji konstruktu do opublikowanych norm, ta sekwencja trwa latami i odrzuca większość tego, co do niej wchodzi. Znajomość tych kroków sprawia, że oczywiste staje się, które z nich zostały pominięte w szybkim quizie online.
Instrument psychometryczny, który trafia do publikacji, przechodzi zwykle przez pięć lub sześć lat pracy i odrzuca większość tego, co dla niego napisano. Warto znać tę sekwencję, ponieważ każdy jej etap odpowiada sposobowi, w jaki test może być nieadekwatny.
1. Zdefiniuj konstrukt
Zanim powstanie jakakolwiek pozycja, konstrukt musi zostać określony na tyle precyzyjnie, by można było wskazać, co się w nim nie mieści. Oznacza to podanie definicji, opisu struktury wymiarowej (jeden wymiar czy kilka, a jeśli kilka, to jak się one do siebie odnoszą) oraz jednoznacznego wskazania, od jakich pokrewnych konstruktów ma być odróżniony.
Pominięcie tego etapu jest źródłem większości zbędnych instrumentów. Skala zbudowana na intuicyjnym wyczuciu pojęcia zwykle kończy się pomiarem już istniejącej cechy pod nową nazwą.
2. Wygeneruj pulę pozycji
Pozycje tworzy się w liczbie znacznie większej niż ta, która ostatecznie przetrwa: zazwyczaj trzy do pięciu razy więcej niż finalna liczba. Pochodzą z teorii, z istniejących instrumentów, z wywiadów z osobami, które mają opisywane doświadczenie, oraz od ekspertów w danej dziedzinie.
Na tym etapie pula jest sprawdzana pod kątem pokrycia treściowego (czy obejmuje cały konstrukt, czy skupia się na jednym aspekcie?), poziomu trudności czytelniczej, sformułowań łączących dwie kwestie w jednym pytaniu oraz pozycji, które w rzeczywistości pytają o coś innego.
3. Przeprowadź pilotaż i dokonaj selekcji
Pula trafia do pierwszej próby badawczej. Analiza ma charakter głównie eliminacyjny.
Odpadają pozycje z niemal zerową wariancją: pytanie, na które wszyscy odpowiadają tak samo, nikogo nie różnicuje. Odpadają pozycje słabo skorelowane z wynikiem ogólnym. Odpadają pozycje ładujące się jednocześnie na więcej niż jeden czynnik. Odpadają pozycje, które zachowują się różnie w różnych grupach demograficznych z powodów niezwiązanych z badaną cechą, czyli wykazują funkcjonowanie różnicowe pozycji (differential item functioning), a to sprawdzenie jest jednym z najczęściej pomijanych.
To, co przetrwa, stanowi zazwyczaj jedną trzecią tego, co napisano.
4. Potwierdź strukturę w nowej próbie
To etap, który oddziela poważne instrumenty od reszty. Analiza czynnikowa przeprowadzona na próbie rozwojowej odtworzy strukturę, która została w nią wpisana, bo musi, skoro pozycje zostały dobrane tak, by ją wytworzyć. Prawdziwym testem jest konfirmacyjna analiza czynnikowa na niezależnej próbie.
Bardzo wiele opublikowanych skal odtwarza zamierzoną strukturę tylko w danych, na podstawie których je zbudowano. Gdy ktoś inny zbiera nowe dane, czynniki się nie pojawiają. To niepowodzenie jest na tyle powszechne, że pytanie "czy struktura została potwierdzona w niezależnej próbie?" jest jednym z najbardziej efektywnych pytań, jakie można zadać o dowolny instrument.
5. Gromadź dowody trafności
Korelacje z uznanymi miarami tego samego konstruktu. Korelacje z konstruktami, od których powinien się różnić, i te lepiej, żeby były niższe. Związki z istotnymi wynikami. Trafność przyrostowa względem tego, co już istnieje. Stabilność test-retest w interwale odpowiednim dla danego konstruktu.
Ten etap się nie kończy. Trwa tak długo, jak instrument jest w użyciu, i to właśnie na nim najczęściej okazuje się, po latach od publikacji, że instrumentowi czegoś brakuje.
6. Zbuduj normy
Próba referencyjna wystarczająco liczna i wystarczająco reprezentatywna dla docelowej populacji, uwarstwiona tam, gdzie cecha różni się w zależności od wieku lub płci, udokumentowana pod względem roku i kraju. Następnie powtarzana okresowo, ponieważ normy się zmieniają.
7. Przetłumacz, jeśli ma być używany gdzie indziej
Tłumaczenie nie jest ćwiczeniem językowym. Właściwa adaptacja oznacza tłumaczenie na język docelowy, niezależne tłumaczenie zwrotne, ocenę ekspercką, wywiady kognitywne z osobami mówiącymi w języku docelowym, a następnie nowe badanie psychometryczne w nowym języku, sprawdzające, czy struktura się utrzymuje i czy pozycje funkcjonują równoważnie. Instrument przetłumaczony bez takiego badania jest w tym języku instrumentem niesprawdzonym, niezależnie od jego osiągnięć w wersji oryginalnej.
Co to oznacza dla szybkiego quizu
Test napisany w jedno popołudnie ukończył etap drugi. Może całkiem prawdopodobnie wygenerować wynik wyglądający wiarygodnie, percentyl i akapit opisu. Etapy, które pominięto, to właśnie te, które ustaliłyby, czy cokolwiek z tego coś znaczy.
Wypróbuj to sam
Czytanie o pomiarze to jedno. Zobaczenie własnego wyniku wraz z jego źródłem, próbą normalizacyjną i ograniczeniami to drugie. Bezpłatny test, bez rejestracji.
Czytaj dalej
- Czym jest psychometria?Dyscyplina, która rozstrzyga, czy pomiar psychologiczny jest dobry, i powód, dla którego dwa testy zadające podobne pytania mogą się ogromnie różnić pod względem wartości swoich wyników.
- Czym jest rzetelność w testach psychologicznych?Rzetelność to spójność pomiaru, nie poprawność. Test może być bardzo rzetelny i wciąż mierzyć niewłaściwą rzecz, dlatego jest to pierwsze pytanie, które się zadaje, i nigdy ostatnie.
- Czym jest trafność w testach psychologicznych?Trafność nie jest właściwością, którą test posiada. Jest to argument dotyczący tego, czy konkretna interpretacja konkretnego wyniku, dla konkretnego celu, jest uzasadniona i musi być odbudowywana na nowo dla każdego nowego zastosowania.
- Czym jest trafność konstruktu?Najtrudniejsze pytanie w pomiarze: czy rzecz, którą mierzysz, istnieje tak, jak ją zdefiniowałeś, i czy twoje narzędzie dociera do niej, a nie do czegoś zbliżonego.
- Trafność zbieżna i różnicowaDwa wymagania będące odbiciem siebie nawzajem: miara musi zgadzać się z tym, z czym powinna się zgadzać, i musi pozostać odrębna od tego, czym twierdzi, że nie jest. Większość słabych narzędzi zawodzi w drugim z nich.
- Co to jest alfa Cronbacha i czym nie jestNajczęściej podawana statystyka w testowaniu psychologicznym i najczęściej błędnie odczytywana. Alfa nie mówi ci, że skala jest jednowymiarowa, a wysoka wartość jest często symptomem, a nie zaletą.
- Standardowy błąd pomiaru: o ile twój wynik może się różnić od rzeczywistegoKażdy wynik niesie ze sobą margines błędu, a w przypadku większości testów psychologicznych jest on szerszy, niż się zwykle przypuszcza. To liczba, która mówi ci, kiedy różnica jest rzeczywista, a kiedy jest szumem.
- Normy i percentyle: z czym porównywany jest twój wynikWynik surowy jest niemożliwy do zinterpretowania sam w sobie. Nabiera znaczenia tylko w odniesieniu do grupy odniesienia, a to, która grupa została użyta, jest jednym z najbardziej istotnych i najmniej ujawnianych faktów o każdym teście.
- Co to znaczy, że test jest zwalidowany?To słowo jest nieregulowane i swobodnie używane przez produkty, które nie wykonały żadnej z potrzebnej pracy. Oto co znaczy, gdy naprawdę coś znaczy, oraz cztery pytania, które oddzielają jeden przypadek od drugiego.
- Dlaczego większość internetowych testów osobowości nie jest rzetelnaNie dlatego, że są nieuczciwe, ale dlatego, że kroki, które czynią pomiar wiarygodnym, są niewidoczne, kosztowne i łatwe do pominięcia, a ich pominięcie niczego nie zmienia w wyglądzie wyniku.
- Co samoopis może, a czego nie może zmierzyćKwestionariusze proszą cię o bycie obserwatorem samego siebie, co działa lepiej w przypadku niektórych rzeczy niż innych. Wiedza o tym, gdzie ta metoda jest silna a gdzie zawodzi, zmienia sposób, w jaki odczytujesz jakikolwiek wynik.
- Co to znaczy, że test coś przewidujeKorelacja na poziomie 0,30 to silny wynik w badaniach osobowości i słaba podstawa do decyzji dotyczącej jednej osoby. Obie stwierdzenia są prawdziwe, a rozbieżność między nimi powoduje większość niewłaściwych zastosowań wyników testów.
- Badanie przesiewowe to nie diagnozaKwestionariusz przesiewowy jest skonstruowany tak, aby wychwycić jak najwięcej możliwych przypadków, przyjmując wysoki wskaźnik wyników fałszywie pozytywnych jako cenę. Odczytywanie wyniku przesiewowego jako diagnozy odwraca to, do czego został on stworzony.