Standardowy błąd pomiaru: o ile twój wynik może się różnić od rzeczywistego
Każdy wynik niesie ze sobą margines błędu, a w przypadku większości testów psychologicznych jest on szerszy, niż się zwykle przypuszcza. To liczba, która mówi ci, kiedy różnica jest rzeczywista, a kiedy jest szumem.
Błąd standardowy pomiaru przekształca abstrakcyjny współczynnik rzetelności w coś konkretnego: przedział plus minus wokół wyniku. Odpowiada na pytanie, na które większość ekranów z wynikami nie daje odpowiedzi: o ile mogła różnić się ta liczba, gdybym podszedł do testu innego popołudnia?
Wzór jest prosty. Pomnóż odchylenie standardowe skali przez pierwiastek kwadratowy z jedności minus jej rzetelność. Dla skali o odchyleniu standardowym 10 i rzetelności 0,85 błąd standardowy wynosi około 3,9 punktu.
Co właściwie obejmuje ten przedział
Mniej więcej dwie trzecie przypadków rzeczywista pozycja danej osoby mieści się w granicach jednego błędu standardowego od jej zaobserwowanego wyniku. Aby uzyskać pewność na poziomie około 95 procent, potrzeba mniej więcej dwóch błędów standardowych w każdą stronę.
Weźmy powyższy przykład. Ktoś uzyskuje wynik 62. Przedział 95-procentowy rozciąga się od około 54 do 70. To szesnastopunktowe okno na skali, gdzie typowa różnica między wynikiem przeciętnym a wyraźnie ponadprzeciętnym może wynosić dziesięć punktów.
Nie jest to wada akurat tego testu. Rzetelność na poziomie 0,85 jest wynikiem godnym uznania. Jest to normalna precyzja pomiaru psychologicznego, i właśnie dlatego rzetelne raporty przedstawiają przedziały, a nie pojedyncze punkty.
Konsekwencje, których ludzie nie dostrzegają
Niewielkie różnice między skalami zwykle nic nie znaczą. Jeśli twoja ekstrawersja wynosi 58, a otwartość 54, uczciwa interpretacja jest taka, że są one nierozróżnialne. Interpretacje profilu budujące narrację na podstawie czteropunktowych różnic odczytują szum.
Niewielkie zmiany w czasie również zwykle nic nie znaczą. Ponowne podejście do testu i przesunięcie się o pięć punktów mieści się w granicach błędu dla większości narzędzi. Rzeczywista zmiana cechy zachodzi na przestrzeni lat i objawia się przesunięciem wyraźnie wykraczającym poza przedział błędu, a nie kilkoma punktami miesiąc do miesiąca.
Rankingi pozycji wzmacniają ten problem. Różnica kilku surowych punktów może przesunąć kogoś o dziesięć miejsc percentylowych w gęstym środku rozkładu, ponieważ to właśnie tam znajduje się większość ludzi. Rangi percentylowe wyglądają na precyzyjne, a są najmniej stabilnym sposobem wyrażania wyniku.
Precyzja nie jest jednolita w obrębie skali. Klasyczna teoria testów zakłada jedną wartość błędu dla każdego wyniku, co jest uproszczeniem. Teoria odpowiedzi na pozycje testowe modeluje błąd oddzielnie dla każdego poziomu cechy i jest on niemal zawsze większy na krańcach, czyli właśnie tam, gdzie dokonuje się najbardziej doniosłych interpretacji. Wynik bardzo wysoki lub bardzo niski jest zazwyczaj mniej precyzyjny niż wynik przeciętny, a nie bardziej.
Dlaczego uczciwe raportowanie wygląda mniej imponująco
Narzędzie, które podaje przedziały ufności, wygląda na mniej precyzyjne niż takie, które podaje pojedynczą liczbę z dokładnością do jednego miejsca po przecinku. To mniej precyzyjnie wyglądające narzędzie mówi prawdę. To, które wygląda precyzyjnie, ma ten sam ukryty błąd, tylko postanowiło go nie pokazywać.
Warto o tym pamiętać, porównując test udokumentowany naukowo z produktem komercyjnym, który przypisuje cię do kategorii. Granica kategorii znajduje się przy konkretnym wyniku, a osoba jeden punkt poniżej i osoba jeden punkt powyżej są, statystycznie rzecz biorąc, tą samą osobą. Etykieta typu całkowicie to ukrywa, co jest jednym z poważniejszych argumentów przeciwko narzędziom opartym na typach i powodem, dla którego wyniki ciągłe z podanym błędem są standardem w badaniach naukowych.
Wypróbuj to sam
Czytanie o pomiarze to jedno. Zobaczenie własnego wyniku wraz z jego źródłem, próbą normalizacyjną i ograniczeniami to drugie. Bezpłatny test, bez rejestracji.
Czytaj dalej
- Czym jest psychometria?Dyscyplina, która rozstrzyga, czy pomiar psychologiczny jest dobry, i powód, dla którego dwa testy zadające podobne pytania mogą się ogromnie różnić pod względem wartości swoich wyników.
- Czym jest rzetelność w testach psychologicznych?Rzetelność to spójność pomiaru, nie poprawność. Test może być bardzo rzetelny i wciąż mierzyć niewłaściwą rzecz, dlatego jest to pierwsze pytanie, które się zadaje, i nigdy ostatnie.
- Czym jest trafność w testach psychologicznych?Trafność nie jest właściwością, którą test posiada. Jest to argument dotyczący tego, czy konkretna interpretacja konkretnego wyniku, dla konkretnego celu, jest uzasadniona i musi być odbudowywana na nowo dla każdego nowego zastosowania.
- Czym jest trafność konstruktu?Najtrudniejsze pytanie w pomiarze: czy rzecz, którą mierzysz, istnieje tak, jak ją zdefiniowałeś, i czy twoje narzędzie dociera do niej, a nie do czegoś zbliżonego.
- Trafność zbieżna i różnicowaDwa wymagania będące odbiciem siebie nawzajem: miara musi zgadzać się z tym, z czym powinna się zgadzać, i musi pozostać odrębna od tego, czym twierdzi, że nie jest. Większość słabych narzędzi zawodzi w drugim z nich.
- Co to jest alfa Cronbacha i czym nie jestNajczęściej podawana statystyka w testowaniu psychologicznym i najczęściej błędnie odczytywana. Alfa nie mówi ci, że skala jest jednowymiarowa, a wysoka wartość jest często symptomem, a nie zaletą.
- Normy i percentyle: z czym porównywany jest twój wynikWynik surowy jest niemożliwy do zinterpretowania sam w sobie. Nabiera znaczenia tylko w odniesieniu do grupy odniesienia, a to, która grupa została użyta, jest jednym z najbardziej istotnych i najmniej ujawnianych faktów o każdym teście.
- Jak faktycznie powstaje test psychometrycznyOd definicji konstruktu do opublikowanych norm, ta sekwencja trwa latami i odrzuca większość tego, co do niej wchodzi. Znajomość tych kroków sprawia, że oczywiste staje się, które z nich zostały pominięte w szybkim quizie online.
- Co to znaczy, że test jest zwalidowany?To słowo jest nieregulowane i swobodnie używane przez produkty, które nie wykonały żadnej z potrzebnej pracy. Oto co znaczy, gdy naprawdę coś znaczy, oraz cztery pytania, które oddzielają jeden przypadek od drugiego.
- Dlaczego większość internetowych testów osobowości nie jest rzetelnaNie dlatego, że są nieuczciwe, ale dlatego, że kroki, które czynią pomiar wiarygodnym, są niewidoczne, kosztowne i łatwe do pominięcia, a ich pominięcie niczego nie zmienia w wyglądzie wyniku.
- Co samoopis może, a czego nie może zmierzyćKwestionariusze proszą cię o bycie obserwatorem samego siebie, co działa lepiej w przypadku niektórych rzeczy niż innych. Wiedza o tym, gdzie ta metoda jest silna a gdzie zawodzi, zmienia sposób, w jaki odczytujesz jakikolwiek wynik.
- Co to znaczy, że test coś przewidujeKorelacja na poziomie 0,30 to silny wynik w badaniach osobowości i słaba podstawa do decyzji dotyczącej jednej osoby. Obie stwierdzenia są prawdziwe, a rozbieżność między nimi powoduje większość niewłaściwych zastosowań wyników testów.
- Badanie przesiewowe to nie diagnozaKwestionariusz przesiewowy jest skonstruowany tak, aby wychwycić jak najwięcej możliwych przypadków, przyjmując wysoki wskaźnik wyników fałszywie pozytywnych jako cenę. Odczytywanie wyniku przesiewowego jako diagnozy odwraca to, do czego został on stworzony.