Czym jest trafność w testach psychologicznych?
Trafność nie jest właściwością, którą test posiada. Jest to argument dotyczący tego, czy konkretna interpretacja konkretnego wyniku, dla konkretnego celu, jest uzasadniona i musi być odbudowywana na nowo dla każdego nowego zastosowania.
Trafność pyta o to, czy test mierzy to, co twierdzi, że mierzy, oraz czy wnioski, jakie ludzie wyciągają z jego wyników, są uzasadnione. To centralne pytanie w psychometrii i to, na które najczęściej odpowiada się twierdzeniem marketingowym, a nie dowodem.
Współczesne rozumienie, obowiązujące od czasu prac Messicka z lat 80., mówi, że trafność nie jest stałą cechą narzędzia. Jest to właściwość interpretacji wyników dla konkretnego zastosowania. Ten sam kwestionariusz może być dobrze zwalidowany do opisywania samopostrzegania danej osoby i całkowicie niezwalidowany do decydowania o jej zatrudnieniu. Stwierdzenie "ten test jest trafny" bez wskazania, dla czego jest trafny, nie jest twierdzeniem; to slogan.
Rodzaje dowodów
Trafność buduje się na podstawie zgromadzonych dowodów kilku typów. Starsze teksty przedstawiają je jako odrębne rodzaje trafności; obecny pogląd traktuje je jako różne argumenty wspierające jedną tezę.
Dowody dotyczące treści pytają, czy pozycje odpowiednio pokrywają konstrukt. Skala depresji, która pyta wyłącznie o sen i apetyt, obejmuje objawy somatyczne, a pomija te dotyczące nastroju i poznania. Pokrycie treściowe zwykle oceniają eksperci merytoryczni, i to właśnie dlatego bardzo krótkie skale zawsze są kompromisem.
Dowody dotyczące struktury wewnętrznej pytają, czy pozycje grupują się w sposób zgodny z teorią. Jeśli model zakłada cztery odrębne aspekty, analiza czynnikowa powinna odtworzyć cztery czynniki, i to, co kluczowe, w niezależnej próbie, a nie tylko w tej, na której zbudowano skalę. Bardzo wiele narzędzi odtwarza zamierzoną strukturę w próbie rozwojowej, ale zawodzi w każdej innej.
Związki z innymi zmiennymi to obszar, w którym dzieje się większość pracy. Dowody zbieżności pokazują, że skala koreluje z tym, z czym powinna korelować. Dowody rozbieżności pokazują, że nie koreluje zbyt wysoko z tym, od czego powinna się odróżniać: to wymóg chronicznie zaniedbywany i ten, który pogrąża wiele nowo markowanych konstruktów. Dowody kryterialne pokazują, że wynik wiąże się z istotnym rezultatem, mierzonym w tym samym czasie lub przewidywanym z wyprzedzeniem.
Dowody konsekwencyjne pytają, co się dzieje, gdy test jest stosowany. Jeśli narzędzie systematycznie stawia jakąś grupę w niekorzystnej sytuacji z powodów niezwiązanych z konstruktem, jest to problem trafności, a nie wyłącznie problem etyczny.
Pytanie, które demaskuje większość twierdzeń
Najostrzejszym sprawdzianem twierdzenia o trafności jest trafność przyrostowa: czy to narzędzie wnosi cokolwiek ponad to, co mówi już tańsza, starsza, ugruntowana miara?
Zaskakująco wiele markowanych konstruktów zawodzi w tym miejscu. Korelują na poziomie 0,7 lub wyższym z istniejącym wymiarem Wielkiej Piątki, przewidują te same rezultaty z taką samą siłą i nie wnoszą nic nowego, gdy statystycznie skontroluje się starszą miarę. Konstrukt jest nowy; pomiar już nie. Dlatego sekcje krytyczne poważnej dokumentacji narzędzi tak często dotyczą redundancji, a nie niedokładności.
Na co zwracać uwagę
Gdy ktoś twierdzi, że test jest zwalidowany, przydatne pytania są konkretne. Zwalidowany względem jakiego kryterium? W jakiej populacji, o jakiej liczebności? Czy struktura czynnikowa została potwierdzona w niezależnej próbie? Czy istnieją opublikowane dowody od badaczy niemających interesu komercyjnego w takiej czy innej odpowiedzi? Czy narzędzie wnosi cokolwiek ponad ugruntowaną alternatywę?
Narzędzie, które udziela uczciwych odpowiedzi na te pytania, zasługuje na poważne potraktowanie, wraz z jego ograniczeniami. Narzędzie, którego walidacja polega na stronie z opiniami użytkowników i twierdzeniu, że wykonały je miliony ludzi, odpowiedziało na zupełnie inne pytanie: popularność nie jest dowodem, a liczba osób, które wykonały test, nic nie mówi o tym, czy jego wyniki cokolwiek znaczą.
Wypróbuj to sam
Czytanie o pomiarze to jedno. Zobaczenie własnego wyniku wraz z jego źródłem, próbą normalizacyjną i ograniczeniami to drugie. Bezpłatny test, bez rejestracji.
Czytaj dalej
- Czym jest psychometria?Dyscyplina, która rozstrzyga, czy pomiar psychologiczny jest dobry, i powód, dla którego dwa testy zadające podobne pytania mogą się ogromnie różnić pod względem wartości swoich wyników.
- Czym jest rzetelność w testach psychologicznych?Rzetelność to spójność pomiaru, nie poprawność. Test może być bardzo rzetelny i wciąż mierzyć niewłaściwą rzecz, dlatego jest to pierwsze pytanie, które się zadaje, i nigdy ostatnie.
- Czym jest trafność konstruktu?Najtrudniejsze pytanie w pomiarze: czy rzecz, którą mierzysz, istnieje tak, jak ją zdefiniowałeś, i czy twoje narzędzie dociera do niej, a nie do czegoś zbliżonego.
- Trafność zbieżna i różnicowaDwa wymagania będące odbiciem siebie nawzajem: miara musi zgadzać się z tym, z czym powinna się zgadzać, i musi pozostać odrębna od tego, czym twierdzi, że nie jest. Większość słabych narzędzi zawodzi w drugim z nich.
- Co to jest alfa Cronbacha i czym nie jestNajczęściej podawana statystyka w testowaniu psychologicznym i najczęściej błędnie odczytywana. Alfa nie mówi ci, że skala jest jednowymiarowa, a wysoka wartość jest często symptomem, a nie zaletą.
- Standardowy błąd pomiaru: o ile twój wynik może się różnić od rzeczywistegoKażdy wynik niesie ze sobą margines błędu, a w przypadku większości testów psychologicznych jest on szerszy, niż się zwykle przypuszcza. To liczba, która mówi ci, kiedy różnica jest rzeczywista, a kiedy jest szumem.
- Normy i percentyle: z czym porównywany jest twój wynikWynik surowy jest niemożliwy do zinterpretowania sam w sobie. Nabiera znaczenia tylko w odniesieniu do grupy odniesienia, a to, która grupa została użyta, jest jednym z najbardziej istotnych i najmniej ujawnianych faktów o każdym teście.
- Jak faktycznie powstaje test psychometrycznyOd definicji konstruktu do opublikowanych norm, ta sekwencja trwa latami i odrzuca większość tego, co do niej wchodzi. Znajomość tych kroków sprawia, że oczywiste staje się, które z nich zostały pominięte w szybkim quizie online.
- Co to znaczy, że test jest zwalidowany?To słowo jest nieregulowane i swobodnie używane przez produkty, które nie wykonały żadnej z potrzebnej pracy. Oto co znaczy, gdy naprawdę coś znaczy, oraz cztery pytania, które oddzielają jeden przypadek od drugiego.
- Dlaczego większość internetowych testów osobowości nie jest rzetelnaNie dlatego, że są nieuczciwe, ale dlatego, że kroki, które czynią pomiar wiarygodnym, są niewidoczne, kosztowne i łatwe do pominięcia, a ich pominięcie niczego nie zmienia w wyglądzie wyniku.
- Co samoopis może, a czego nie może zmierzyćKwestionariusze proszą cię o bycie obserwatorem samego siebie, co działa lepiej w przypadku niektórych rzeczy niż innych. Wiedza o tym, gdzie ta metoda jest silna a gdzie zawodzi, zmienia sposób, w jaki odczytujesz jakikolwiek wynik.
- Co to znaczy, że test coś przewidujeKorelacja na poziomie 0,30 to silny wynik w badaniach osobowości i słaba podstawa do decyzji dotyczącej jednej osoby. Obie stwierdzenia są prawdziwe, a rozbieżność między nimi powoduje większość niewłaściwych zastosowań wyników testów.
- Badanie przesiewowe to nie diagnozaKwestionariusz przesiewowy jest skonstruowany tak, aby wychwycić jak najwięcej możliwych przypadków, przyjmując wysoki wskaźnik wyników fałszywie pozytywnych jako cenę. Odczytywanie wyniku przesiewowego jako diagnozy odwraca to, do czego został on stworzony.