Czym jest psychometria?
Dyscyplina, która rozstrzyga, czy pomiar psychologiczny jest dobry, i powód, dla którego dwa testy zadające podobne pytania mogą się ogromnie różnić pod względem wartości swoich wyników.
Psychometria to gałąź psychologii zajmująca się samym pomiarem. Nie tym, co oznacza ekstrawersja, ale tym, czy dany zestaw pytań rzeczywiście mierzy ekstrawersję, ile błędu zawiera powstająca liczba i co ta liczba jest w stanie przewidzieć.
To rozróżnienie ma większe znaczenie, niż mogłoby się wydawać. Każdy może napisać dwadzieścia pytań o to, jak bardzo ktoś jest towarzyski, i zsumować odpowiedzi. Psychometria to praca, która następuje potem: wykazanie, że te dwadzieścia pytań się ze sobą łączy, że mierzą one jedną rzecz, a nie trzy, że ta sama osoba za miesiąc uzyska mniej więcej taki sam wynik, że wynik ma związek z faktycznym zachowaniem tej osoby, oraz że cały ten aparat działa tak samo w przypadku 22-letniej osoby z Lizbony, jak i 55-letniej osoby z Monachium.
Dlaczego potrzebna była osobna dyscyplina
Pomiar fizyczny ma przewagę, której psychologia nie posiada: można przyłożyć metrówkę do przedmiotu, który się mierzy. Nie ma metrówki do sumienności. Cecha ta nie jest bezpośrednio obserwowalna, wnioskuje się o niej na podstawie zachowania, a odpowiedzi w kwestionariuszu są kolejną warstwą wnioskowania nałożoną na to.
To właśnie psychometrycy nazywają zmienną ukrytą: czymś na tyle realnym, by mieć konsekwencje, ale dostępnym wyłącznie za pośrednictwem pośrednich wskaźników. Cały aparat metodologiczny istnieje właśnie z powodu tej pośredniości. Każda technika, z którą się zetkniesz, analiza czynnikowa, współczynniki rzetelności, teoria odpowiedzi na pozycje testowe, próby normalizacyjne, jest próbą powiedzenia czegoś uzasadnionego o wielkości, której nikt nie może bezpośrednio zaobserwować.
Trzy pytania
Jeśli odrzucić całą terminologię, psychometria zadaje każdemu narzędziu trzy pytania.
Czy jest spójne? Jeśli pomiar jest w większości szumem, nic innego nie ma znaczenia. Spójność sprawdza się między pozycjami (czy pytania są ze sobą zgodne?), w czasie (czy ta sama osoba uzyskuje taki sam wynik za miesiąc?) oraz, tam gdzie to istotne, między osobami oceniającymi. To właśnie rzetelność.
Czy mierzy to, co twierdzi, że mierzy? Kwestionariusz może być doskonale spójny, a mimo to mierzyć coś innego niż zakłada. Skala, która twierdzi, że mierzy potencjał przywódczy, ale koreluje na poziomie 0,8 ze zwykłą samooceną, w rzeczywistości mierzy samoocenę. To jest trafność i nie jest to cecha, którą narzędzie albo posiada, albo nie, lecz argument zbudowany na podstawie zgromadzonych dowodów.
W porównaniu do kogo? Surowy wynik równy 34 nic sam w sobie nie oznacza. Staje się interpretowalny dopiero w odniesieniu do grupy odniesienia: czy 34 jest wysokim wynikiem w stosunku do jakiej populacji, mierzonym kiedy i gdzie? To jest praca norm i jest to etap, który większość testów konsumenckich całkowicie pomija.
Jak wygląda dobra praktyka
Dobrze skonstruowane narzędzie ma udokumentowaną historię. Ktoś opublikował, jak powstały pozycje i które z nich odrzucono. Ktoś podał współczynniki rzetelności, w nazwanych próbach, z podaną liczebnością próby. Ktoś sprawdził, czy struktura czynnikowa utrzymuje się w drugiej, niezależnej próbie, a nie tylko w tej, która posłużyła do jej zbudowania. Ktoś zweryfikował, czy pozycje zachowują się tak samo w różnych językach i grupach wiekowych. Ktoś inny, najlepiej niemający żadnego interesu w danym narzędziu, próbował powtórzyć wyniki i podał, co z tego wynikło.
Nic z tego nie sprawia, że test jest nieomylny. Sprawia natomiast, że jego ograniczenia są poznawalne, a to jest właściwość inna i bardziej użyteczna. Narzędzie, którego błąd pomiaru jest udokumentowany, mówi ci, na ile można zaufać niewielkiej różnicy między dwoma wynikami. Narzędzie bez opublikowanego oszacowania błędu nie jest przez to dokładniejsze, po prostu mniej mówi o swojej niedokładności.
Co z tego wynika dla czytelnika
Psychometria nie powie ci, że test jest prawdziwy. Powie ci, jak daleko można naciągnąć wynik, zanim przestanie cokolwiek znaczyć, na jakie pytania może odpowiedzieć, na jakich populacjach został skalibrowany i jak duża musi być różnica, by warto było ją zauważyć.
To obietnica węższa niż ta, jaką składa większość produktów dotyczących osobowości. Jest to jednak jedyna obietnica, która przetrwa konfrontację z dowodami.
Wypróbuj to sam
Czytanie o pomiarze to jedno. Zobaczenie własnego wyniku wraz z jego źródłem, próbą normalizacyjną i ograniczeniami to drugie. Bezpłatny test, bez rejestracji.
Czytaj dalej
- Czym jest rzetelność w testach psychologicznych?Rzetelność to spójność pomiaru, nie poprawność. Test może być bardzo rzetelny i wciąż mierzyć niewłaściwą rzecz, dlatego jest to pierwsze pytanie, które się zadaje, i nigdy ostatnie.
- Czym jest trafność w testach psychologicznych?Trafność nie jest właściwością, którą test posiada. Jest to argument dotyczący tego, czy konkretna interpretacja konkretnego wyniku, dla konkretnego celu, jest uzasadniona i musi być odbudowywana na nowo dla każdego nowego zastosowania.
- Czym jest trafność konstruktu?Najtrudniejsze pytanie w pomiarze: czy rzecz, którą mierzysz, istnieje tak, jak ją zdefiniowałeś, i czy twoje narzędzie dociera do niej, a nie do czegoś zbliżonego.
- Trafność zbieżna i różnicowaDwa wymagania będące odbiciem siebie nawzajem: miara musi zgadzać się z tym, z czym powinna się zgadzać, i musi pozostać odrębna od tego, czym twierdzi, że nie jest. Większość słabych narzędzi zawodzi w drugim z nich.
- Co to jest alfa Cronbacha i czym nie jestNajczęściej podawana statystyka w testowaniu psychologicznym i najczęściej błędnie odczytywana. Alfa nie mówi ci, że skala jest jednowymiarowa, a wysoka wartość jest często symptomem, a nie zaletą.
- Standardowy błąd pomiaru: o ile twój wynik może się różnić od rzeczywistegoKażdy wynik niesie ze sobą margines błędu, a w przypadku większości testów psychologicznych jest on szerszy, niż się zwykle przypuszcza. To liczba, która mówi ci, kiedy różnica jest rzeczywista, a kiedy jest szumem.
- Normy i percentyle: z czym porównywany jest twój wynikWynik surowy jest niemożliwy do zinterpretowania sam w sobie. Nabiera znaczenia tylko w odniesieniu do grupy odniesienia, a to, która grupa została użyta, jest jednym z najbardziej istotnych i najmniej ujawnianych faktów o każdym teście.
- Jak faktycznie powstaje test psychometrycznyOd definicji konstruktu do opublikowanych norm, ta sekwencja trwa latami i odrzuca większość tego, co do niej wchodzi. Znajomość tych kroków sprawia, że oczywiste staje się, które z nich zostały pominięte w szybkim quizie online.
- Co to znaczy, że test jest zwalidowany?To słowo jest nieregulowane i swobodnie używane przez produkty, które nie wykonały żadnej z potrzebnej pracy. Oto co znaczy, gdy naprawdę coś znaczy, oraz cztery pytania, które oddzielają jeden przypadek od drugiego.
- Dlaczego większość internetowych testów osobowości nie jest rzetelnaNie dlatego, że są nieuczciwe, ale dlatego, że kroki, które czynią pomiar wiarygodnym, są niewidoczne, kosztowne i łatwe do pominięcia, a ich pominięcie niczego nie zmienia w wyglądzie wyniku.
- Co samoopis może, a czego nie może zmierzyćKwestionariusze proszą cię o bycie obserwatorem samego siebie, co działa lepiej w przypadku niektórych rzeczy niż innych. Wiedza o tym, gdzie ta metoda jest silna a gdzie zawodzi, zmienia sposób, w jaki odczytujesz jakikolwiek wynik.
- Co to znaczy, że test coś przewidujeKorelacja na poziomie 0,30 to silny wynik w badaniach osobowości i słaba podstawa do decyzji dotyczącej jednej osoby. Obie stwierdzenia są prawdziwe, a rozbieżność między nimi powoduje większość niewłaściwych zastosowań wyników testów.
- Badanie przesiewowe to nie diagnozaKwestionariusz przesiewowy jest skonstruowany tak, aby wychwycić jak najwięcej możliwych przypadków, przyjmując wysoki wskaźnik wyników fałszywie pozytywnych jako cenę. Odczytywanie wyniku przesiewowego jako diagnozy odwraca to, do czego został on stworzony.