Trafność zbieżna i różnicowa
Dwa wymagania będące odbiciem siebie nawzajem: miara musi zgadzać się z tym, z czym powinna się zgadzać, i musi pozostać odrębna od tego, czym twierdzi, że nie jest. Większość słabych narzędzi zawodzi w drugim z nich.
Trafność zbieżna i trafność dyskryminacyjna to dwie połowy jednego wymogu. Miara musi korelować z tym, z czym teoretycznie powinna korelować, i nie może korelować za wysoko z tym, od czego ma się odróżniać. Spełnienie jednego warunku bez drugiego nie jest częściowym sukcesem; to zwykle znak, że konstrukt nie jest tym, za co się podaje.
Trafność zbieżna
Dowody zbieżności pokazują, że miara jest zgodna z innymi wskaźnikami tego samego zjawiska. Nowa skala lęku powinna istotnie korelować z uznanymi skalami lęku, z ocenami klinicystów, a najlepiej także z czymś, co nie jest kolejnym kwestionariuszem, na przykład z miarami fizjologicznymi czy obserwowanym zachowaniem unikowym.
Korelacje na tym poziomie powinny zwykle przekraczać 0,50, a często 0,70, gdy miarą porównawczą jest dobrze ustalony instrument mierzący ten sam konstrukt. Poniżej tego poziomu, albo nowa skala, albo miara porównawcza mierzy coś innego.
Jest tu pewna pułapka. Korelacja na poziomie 0,95 z istniejącą skalą to nie triumf, oznacza ona, że nowy instrument jest jedynie przepakowaniem tego, co już istnieje, i uczciwie należy zadać sobie pytanie, co właściwie ten instrument wnosi. Trafność zbieżna jest wymogiem minimalnym, a nie celem do maksymalizowania.
Trafność dyskryminacyjna
Dowody dyskryminacyjne pokazują, że miara pozostaje odrębna od konstruktów, od których ma się różnić. To tutaj kryją się najciekawsze porażki.
Wzorzec ten powtarza się w literaturze. Wytrwałość (grit) koreluje z sumiennością na poziomie około 0,84, co jest wystarczająco bliskie, aby metaanaliza wykazała, że po skontrolowaniu sumienności wytrwałość niemal nic nie dodaje do przewidywania osiągnięć szkolnych. Samoopisowa inteligencja emocjonalna w dużym stopniu pokrywa się ze stabilnością emocjonalną, ekstrawersją i sumiennością łącznie. Wspólna wariancja w ramach Ciemnej Triady w dużej mierze zanika po uwzględnieniu wymiaru Uczciwość-Skromność z modelu HEXACO. W każdym z tych przypadków konstrukt był przedstawiany jako nowe terytorium, a okazał się być przemianowanym obszarem na już istniejącej mapie.
Trafność dyskryminacyjna jest też miejscem, w którym ujawniają się efekty metody. Jeśli każdy samoopisowy konstrukt w badaniu koreluje na poziomie 0,4 z każdym innym, wspólny czynnik jest zapewne stylem odpowiadania respondenta, a nie jakąkolwiek wspólną psychologią.
Test, który rozstrzyga sprawę
Rozstrzygającą procedurą jest trafność przyrostowa: wprowadza się do regresji najpierw ustaloną miarę, a potem nową, i sprawdza się, czy nowa miara wyjaśnia jakąkolwiek dodatkową wariancję wyniku. Jeśli nie, konstrukt może wciąż być teoretycznie interesujący, ale instrument nie mierzy niczego, czego dana dziedzina wcześniej już nie posiadała.
Jest to wymagający standard, a bardzo wiele opublikowanych skal nigdy nie zostało mu poddanych. Kiedy jednak są poddawane, wynikiem jest często opisana wyżej redundancja. To nie jest skandal, to normalne naukowe przycinanie, ale oznacza to, że popularność konstruktu nic nie mówi o tym, czy przetrwa on ten test.
Co to zmienia dla czytelnika
Gdy test raportuje kilka wyników, użytecznym pytaniem jest, czy te wyniki są w rzeczywistości odrębne. Cztery wymiary, które korelują ze sobą na poziomie 0,8, to w istocie jeden wymiar z czterema etykietami, a profil zbudowany na ich podstawie będzie wyglądał na zróżnicowany, choć niesie ze sobą niewiele niezależnej informacji.
Instrumenty, które raportują korelacje między swoimi skalami, pozwalają samodzielnie to sprawdzić. Instrumenty, które przedstawiają typologię czterech kwadrantów, nigdy nie pokazując, jak te kwadranty się do siebie odnoszą, uniemożliwiły takie sprawdzenie, co zwykle jest właśnie ich celem.
Wypróbuj to sam
Czytanie o pomiarze to jedno. Zobaczenie własnego wyniku wraz z jego źródłem, próbą normalizacyjną i ograniczeniami to drugie. Bezpłatny test, bez rejestracji.
Czytaj dalej
- Czym jest psychometria?Dyscyplina, która rozstrzyga, czy pomiar psychologiczny jest dobry, i powód, dla którego dwa testy zadające podobne pytania mogą się ogromnie różnić pod względem wartości swoich wyników.
- Czym jest rzetelność w testach psychologicznych?Rzetelność to spójność pomiaru, nie poprawność. Test może być bardzo rzetelny i wciąż mierzyć niewłaściwą rzecz, dlatego jest to pierwsze pytanie, które się zadaje, i nigdy ostatnie.
- Czym jest trafność w testach psychologicznych?Trafność nie jest właściwością, którą test posiada. Jest to argument dotyczący tego, czy konkretna interpretacja konkretnego wyniku, dla konkretnego celu, jest uzasadniona i musi być odbudowywana na nowo dla każdego nowego zastosowania.
- Czym jest trafność konstruktu?Najtrudniejsze pytanie w pomiarze: czy rzecz, którą mierzysz, istnieje tak, jak ją zdefiniowałeś, i czy twoje narzędzie dociera do niej, a nie do czegoś zbliżonego.
- Co to jest alfa Cronbacha i czym nie jestNajczęściej podawana statystyka w testowaniu psychologicznym i najczęściej błędnie odczytywana. Alfa nie mówi ci, że skala jest jednowymiarowa, a wysoka wartość jest często symptomem, a nie zaletą.
- Standardowy błąd pomiaru: o ile twój wynik może się różnić od rzeczywistegoKażdy wynik niesie ze sobą margines błędu, a w przypadku większości testów psychologicznych jest on szerszy, niż się zwykle przypuszcza. To liczba, która mówi ci, kiedy różnica jest rzeczywista, a kiedy jest szumem.
- Normy i percentyle: z czym porównywany jest twój wynikWynik surowy jest niemożliwy do zinterpretowania sam w sobie. Nabiera znaczenia tylko w odniesieniu do grupy odniesienia, a to, która grupa została użyta, jest jednym z najbardziej istotnych i najmniej ujawnianych faktów o każdym teście.
- Jak faktycznie powstaje test psychometrycznyOd definicji konstruktu do opublikowanych norm, ta sekwencja trwa latami i odrzuca większość tego, co do niej wchodzi. Znajomość tych kroków sprawia, że oczywiste staje się, które z nich zostały pominięte w szybkim quizie online.
- Co to znaczy, że test jest zwalidowany?To słowo jest nieregulowane i swobodnie używane przez produkty, które nie wykonały żadnej z potrzebnej pracy. Oto co znaczy, gdy naprawdę coś znaczy, oraz cztery pytania, które oddzielają jeden przypadek od drugiego.
- Dlaczego większość internetowych testów osobowości nie jest rzetelnaNie dlatego, że są nieuczciwe, ale dlatego, że kroki, które czynią pomiar wiarygodnym, są niewidoczne, kosztowne i łatwe do pominięcia, a ich pominięcie niczego nie zmienia w wyglądzie wyniku.
- Co samoopis może, a czego nie może zmierzyćKwestionariusze proszą cię o bycie obserwatorem samego siebie, co działa lepiej w przypadku niektórych rzeczy niż innych. Wiedza o tym, gdzie ta metoda jest silna a gdzie zawodzi, zmienia sposób, w jaki odczytujesz jakikolwiek wynik.
- Co to znaczy, że test coś przewidujeKorelacja na poziomie 0,30 to silny wynik w badaniach osobowości i słaba podstawa do decyzji dotyczącej jednej osoby. Obie stwierdzenia są prawdziwe, a rozbieżność między nimi powoduje większość niewłaściwych zastosowań wyników testów.
- Badanie przesiewowe to nie diagnozaKwestionariusz przesiewowy jest skonstruowany tak, aby wychwycić jak najwięcej możliwych przypadków, przyjmując wysoki wskaźnik wyników fałszywie pozytywnych jako cenę. Odczytywanie wyniku przesiewowego jako diagnozy odwraca to, do czego został on stworzony.