Co to znaczy, że test coś przewiduje
Korelacja na poziomie 0,30 to silny wynik w badaniach osobowości i słaba podstawa do decyzji dotyczącej jednej osoby. Obie stwierdzenia są prawdziwe, a rozbieżność między nimi powoduje większość niewłaściwych zastosowań wyników testów.
Badania nad osobowością pokazują, że sumienność przewiduje wyniki w pracy. Czytając to zdanie, większość ludzi wyobraża sobie coś znacznie silniejszego, niż pokazują dane. To właśnie w luce między twierdzeniem statystycznym a potocznym znaczeniem słowa "przewiduje" zaczyna się większość nadużyć testowania psychologicznego.
Liczby, o których mowa
Wielkości efektów w badaniach nad osobowością są zwykle podawane jako korelacje. Wartości metaanalityczne dla dobrze udokumentowanych zależności zazwyczaj mieszczą się między 0,20 a 0,35. Sumienność i wyniki w pracy dają wynik rzędu 0,20 do 0,25. Satysfakcja z pracy i wyniki w pracy dają wynik rzędu 0,30. Ogólna zdolność umysłowa, najsilniejszy pojedynczy predyktor w tej dziedzinie, osiąga w przypadku pracy o wysokiej złożoności około 0,50.
Podniesienie korelacji do kwadratu daje odsetek wyjaśnianej wariancji. Korelacja na poziomie 0,25 wyjaśnia około sześciu procent różnic między ludźmi. Pozostałe dziewięćdziesiąt cztery procent to coś innego: zdolności, okazje, szkolenie, zarządzanie, zdrowie, szczęście.
Dlaczego 0,25 to mimo wszystko realny wynik
W skali populacji niewielkie korelacje przekładają się na istotne efekty zbiorcze. Jeśli dokonujesz selekcji tysiąca osób, predyktor na poziomie 0,25 poprawia twój przeciętny wynik w sposób mierzalny i powtarzalny. Ubezpieczyciele i epidemiolodzy budują całe swoje praktyki na efektach tej wielkości.
Haczyk polega na tym, że korzyść zbiorcza i predykcja indywidualna to dwie różne wielkości. Korelacja na poziomie 0,25 oznacza, że wśród osób z wysokimi wynikami więcej osiągnie dobre rezultaty niż wśród osób z niskimi wynikami, a jednocześnie, że bardzo wiele osób z wysokimi wynikami osiągnie słabe rezultaty, a bardzo wiele osób z niskimi wynikami odniesie sukces. Oba te stwierdzenia wynikają z tej samej liczby.
Przypadek jednostki
To właśnie ten krok bywa pomijany. Korelacja opisuje zależność między dwoma rozkładami. Nie uprawnia do stwierdzeń dotyczących konkretnej osoby.
Jeśli sumienność koreluje z wynikami w pracy na poziomie 0,25, znajomość czyjegoś wyniku sumienności zawęża prawdopodobny zakres jego wyników w pracy jedynie nieznacznie. Przedział predykcji dla pojedynczej osoby pozostaje na tyle szeroki, że obejmuje niemal cały zakres możliwych rezultatów. Informacja, że znajdujesz się na 80. percentylu sumienności, mówi bardzo niewiele o tym, jak poradzisz sobie w konkretnej pracy.
Dlatego wykorzystywanie wyników osobowości jako głównego kryterium selekcji ma słabe uzasadnienie, nawet jeśli same badania leżące u jego podstaw są rzetelne. Badania potwierdzają twierdzenie, że dana cecha ma znaczenie. Nie potwierdzają twierdzenia, że wynik mówi, jak zachowa się dany kandydat.
Dwie dodatkowe uwagi
Przewidywanie i powodowanie to nie to samo. Niemal cała ta literatura ma charakter korelacyjny. To, że sumienność przewiduje wyniki zdrowotne, jest zgodne zarówno z tym, że sumienność powoduje lepsze zachowania zdrowotne, jak i z tym, że jakiś trzeci czynnik powoduje jedno i drugie, a także z przyczynowością odwrotną. Badania podłużne zawężają możliwości, ale rzadko je przesądzają.
Kryteria oparte na samoopisie zawyżają liczby. Gdy zarówno predyktor, jak i wynik są deklarowane przez tę samą osobę w tym samym momencie, wariancja wspólnej metody podbija wartość korelacji. Badania wykorzystujące obiektywne wskaźniki wyników lub oceny osób trzecich zwykle wykazują mniejsze efekty i to im należy przypisywać większą wagę.
Do czego naprawdę przydaje się wynik
Odczytywany jako opis, a nie jako przepowiednia, wynik testu jest naprawdę użyteczny. Mówi ci, gdzie znajdujesz się względem populacji odniesienia w zakresie cechy, która ma udokumentowane konsekwencje, i daje ci słownictwo do nazwania wzorca, który być może już wcześniej zauważyłeś, ale nie potrafiłeś go określić.
To coś, co warto mieć. To jednak zupełnie inna sprawa niż prognoza, a rozróżnienia tego uczciwy raport powinien dokonać za ciebie, zamiast zostawiać je twojemu domysłowi.
Wypróbuj to sam
Czytanie o pomiarze to jedno. Zobaczenie własnego wyniku wraz z jego źródłem, próbą normalizacyjną i ograniczeniami to drugie. Bezpłatny test, bez rejestracji.
Czytaj dalej
- Czym jest psychometria?Dyscyplina, która rozstrzyga, czy pomiar psychologiczny jest dobry, i powód, dla którego dwa testy zadające podobne pytania mogą się ogromnie różnić pod względem wartości swoich wyników.
- Czym jest rzetelność w testach psychologicznych?Rzetelność to spójność pomiaru, nie poprawność. Test może być bardzo rzetelny i wciąż mierzyć niewłaściwą rzecz, dlatego jest to pierwsze pytanie, które się zadaje, i nigdy ostatnie.
- Czym jest trafność w testach psychologicznych?Trafność nie jest właściwością, którą test posiada. Jest to argument dotyczący tego, czy konkretna interpretacja konkretnego wyniku, dla konkretnego celu, jest uzasadniona i musi być odbudowywana na nowo dla każdego nowego zastosowania.
- Czym jest trafność konstruktu?Najtrudniejsze pytanie w pomiarze: czy rzecz, którą mierzysz, istnieje tak, jak ją zdefiniowałeś, i czy twoje narzędzie dociera do niej, a nie do czegoś zbliżonego.
- Trafność zbieżna i różnicowaDwa wymagania będące odbiciem siebie nawzajem: miara musi zgadzać się z tym, z czym powinna się zgadzać, i musi pozostać odrębna od tego, czym twierdzi, że nie jest. Większość słabych narzędzi zawodzi w drugim z nich.
- Co to jest alfa Cronbacha i czym nie jestNajczęściej podawana statystyka w testowaniu psychologicznym i najczęściej błędnie odczytywana. Alfa nie mówi ci, że skala jest jednowymiarowa, a wysoka wartość jest często symptomem, a nie zaletą.
- Standardowy błąd pomiaru: o ile twój wynik może się różnić od rzeczywistegoKażdy wynik niesie ze sobą margines błędu, a w przypadku większości testów psychologicznych jest on szerszy, niż się zwykle przypuszcza. To liczba, która mówi ci, kiedy różnica jest rzeczywista, a kiedy jest szumem.
- Normy i percentyle: z czym porównywany jest twój wynikWynik surowy jest niemożliwy do zinterpretowania sam w sobie. Nabiera znaczenia tylko w odniesieniu do grupy odniesienia, a to, która grupa została użyta, jest jednym z najbardziej istotnych i najmniej ujawnianych faktów o każdym teście.
- Jak faktycznie powstaje test psychometrycznyOd definicji konstruktu do opublikowanych norm, ta sekwencja trwa latami i odrzuca większość tego, co do niej wchodzi. Znajomość tych kroków sprawia, że oczywiste staje się, które z nich zostały pominięte w szybkim quizie online.
- Co to znaczy, że test jest zwalidowany?To słowo jest nieregulowane i swobodnie używane przez produkty, które nie wykonały żadnej z potrzebnej pracy. Oto co znaczy, gdy naprawdę coś znaczy, oraz cztery pytania, które oddzielają jeden przypadek od drugiego.
- Dlaczego większość internetowych testów osobowości nie jest rzetelnaNie dlatego, że są nieuczciwe, ale dlatego, że kroki, które czynią pomiar wiarygodnym, są niewidoczne, kosztowne i łatwe do pominięcia, a ich pominięcie niczego nie zmienia w wyglądzie wyniku.
- Co samoopis może, a czego nie może zmierzyćKwestionariusze proszą cię o bycie obserwatorem samego siebie, co działa lepiej w przypadku niektórych rzeczy niż innych. Wiedza o tym, gdzie ta metoda jest silna a gdzie zawodzi, zmienia sposób, w jaki odczytujesz jakikolwiek wynik.
- Badanie przesiewowe to nie diagnozaKwestionariusz przesiewowy jest skonstruowany tak, aby wychwycić jak najwięcej możliwych przypadków, przyjmując wysoki wskaźnik wyników fałszywie pozytywnych jako cenę. Odczytywanie wyniku przesiewowego jako diagnozy odwraca to, do czego został on stworzony.