Czym jest rzetelność w testach psychologicznych?

Rzetelność to stopień, w jakim pomiar jest powtarzalny, a nie stanowi szumu. Gdybyś zważył się trzy razy w ciągu minuty i uzyskał 71, 78 i 66 kilogramów, waga byłaby nierzetelna, a ty nie miałbyś sposobu, by na jej podstawie poznać swoją rzeczywistą wagę. Pomiar psychologiczny mierzy się z tym samym problemem, dysponując znacznie mniej precyzyjnym sprzętem.

Najważniejsza rzecz, którą trzeba zrozumieć w kwestii rzetelności, to to, czego ona nie zapewnia. Waga łazienkowa, która konsekwentnie pokazuje wynik o osiem kilogramów za wysoki, jest całkowicie rzetelna i całkowicie błędna. Rzetelność dotyczy spójności; to, czy liczba oznacza to, co powinna, to osobna kwestia, zwana trafnością. Rzetelność jest konieczna dla trafności, ale daleka od wystarczającej.

Formy, jakie przybiera

Spójność wewnętrzna sprawdza, czy pozycje w skali są ze sobą zgodne. Jeśli dziesięć pytań ma mierzyć tę samą ukrytą cechę, osoby, które wysoko oceniają jedno z nich, powinny mieć tendencję do wysokiego oceniania pozostałych. Zwykle raportuje się ją jako alfa Cronbacha lub, lepiej, omega McDonalda.

Rzetelność test-retest sprawdza, czy ta sama osoba uzyskuje podobne wyniki przy dwóch różnych okazjach. To forma, która ma największe znaczenie dla cech, które z definicji powinny być stabilne. To także forma najczęściej pomijana w raportach, ponieważ wymaga odnalezienia tych samych uczestników po kilku tygodniach.

Rzetelność międzysędziowska ma zastosowanie wtedy, gdy narzędzie jest oceniane przez ludzi: wywiady kliniczne, techniki projekcyjne, obserwacja zachowania. Sprawdza, czy dwóch przeszkolonych sędziów, patrząc na ten sam materiał, dochodzi do tego samego wniosku.

Rzetelność form równoległych sprawdza, czy dwie różne wersje tego samego testu, zbudowane tak, aby były równoważne, dają te same wyniki. Ma to znaczenie wszędzie tam, gdzie test jest stosowany więcej niż raz i istnieje obawa dotycząca ekspozycji na pozycje testowe.

Interpretacja liczb

Współczynniki rzetelności przyjmują wartości od 0 do 1. Konwencje są przybliżone i często nadużywane, ale w przybliżeniu: powyżej 0,90 jest wymagane tam, gdzie wynik wpływa na życie danej osoby, 0,80 do 0,90 to solidny poziom dla większości zastosowań praktycznych, 0,70 do 0,80 jest akceptowalne dla badań naukowych i porównań grupowych, a poniżej 0,70 oznacza, że wynik zawiera więcej szumu, niż mogą wytrzymać większość wniosków.

Dwie uwagi dotyczące tych progów. Po pierwsze, są to konwencje, a nie prawa: akceptowalny poziom zależy całkowicie od tego, do czego wynik będzie wykorzystywany. Po drugie, bardzo wysoka alfa w krótkiej skali zwykle wskazuje, że pozycje są niemal parafrazami siebie nawzajem, co kupuje spójność kosztem pokrycia konstruktu. Skala złożona z dziesięciu pytań, które wszystkie pytają "czy jesteś zorganizowany?" nieco innymi słowami, będzie miała doskonałą spójność wewnętrzną i wąskie ujęcie sumienności.

Co to oznacza dla twojego wyniku

Rzetelność przekłada się bezpośrednio na to, ile zaufania zasługuje pojedyncza liczba. Test o rzetelności 0,85 niesie ze sobą błąd pomiaru na tyle duży, że różnica kilku punktów między dwiema osobami, albo między twoim dzisiejszym wynikiem a wynikiem sprzed miesiąca, z dużym prawdopodobieństwem stanowi szum, a nie sygnał.

To praktyczna konsekwencja: dobre narzędzie podaje swoją rzetelność, dzięki czemu wiesz, jak duża jest niepewność wokół twojego wyniku. Technicznym wyrazem tej niepewności jest standardowy błąd pomiaru, który przekształca współczynnik rzetelności w przedział plus minus wokół wyniku.

Narzędzie, które w ogóle nie podaje wartości rzetelności, nie staje się przez to bardziej precyzyjne. Po prostu nie zdecydowało się powiedzieć ci, jak bardzo jest nieprecyzyjne.