Co to znaczy, że test jest zwalidowany?
To słowo jest nieregulowane i swobodnie używane przez produkty, które nie wykonały żadnej z potrzebnej pracy. Oto co znaczy, gdy naprawdę coś znaczy, oraz cztery pytania, które oddzielają jeden przypadek od drugiego.
"Naukowo zwalidowany" to nie termin chroniony prawnie. Nikt go nie certyfikuje, żaden organ go nie audytuje, a pojawia się na produktach, których cała baza dowodowa polega na tym, że wiele osób je wypełniło. Warto wiedzieć, co to oznacza, gdy jest używane właściwie.
Wersja skrócona
Zwalidowane narzędzie ma opublikowaną dokumentację pokazującą, co mierzy, z jaką precyzją, w jakich populacjach i do czego jego wyniki mogą być zasadnie wykorzystywane. Walidacja to nie certyfikat. To zbiór dowodów, zwykle gromadzonych przez lata, zwykle zawierający ustalenia, które ograniczają zastosowanie narzędzia, a nie mu schlebiają.
Obecność udokumentowanych ograniczeń jest jednym z lepszych sygnałów. Prawdziwa literatura walidacyjna jest ich pełna: ta skala działa słabo u młodzieży, ten aspekt się nie replikuje, punkt odcięcia zależy od populacji. Produkt, który raportuje tylko zalety, nie opublikował swojej walidacji, opublikował swój marketing.
Cztery pytania, które robią różnicę
Jaka jest publikacja źródłowa? Zwalidowane narzędzie ma oryginalną publikację w recenzowanym czasopiśmie, z autorami, rokiem wydania i zwykle numerem DOI. Ta publikacja opisuje, jak opracowano pozycje i jakie były początkowe właściwości psychometryczne. Jeśli nikt nie umie wskazać tej publikacji, nie ma o czym mówić w kontekście walidacji.
Czy struktura została potwierdzona przez kogoś innego? Zespół twórców odtworzy strukturę, którą zaprojektował. Ważne jest to, czy niezależna grupa, dysponująca niezależnymi danymi, znalazła to samo. To jedno pytanie, które daje najwięcej informacji, i to, które najczęściej pozostaje bez odpowiedzi.
Na jakiej populacji zbudowano normy i kiedy? Wynik to pozycja w rozkładzie odniesienia. Narzędzie, które podaje percentyl bez podania, do jakiej populacji się odnosi, dało ci liczbę bez mianownika.
Co to wnosi? Trafność przyrostową względem ustalonej miary. Bardzo wiele markowych konstruktów zawodzi w tym punkcie, korelując tak wysoko z istniejącą cechą, że nie wyjaśniają żadnej dodatkowej wariancji w niczym. To normalny wynik naukowej kontroli i jest niewidoczny, o ile nikt nie przeprowadzi testu.
Gdzie tłumaczenie to komplikuje
Narzędzie zwalidowane w języku angielskim nie jest tym samym zwalidowane w języku niemieckim. Właściwa adaptacja międzykulturowa wymaga tłumaczenia w przód i wstecz, oceny eksperckiej, wywiadów kognitywnych, a następnie nowego badania psychometrycznego w nowym języku, testującego, czy struktura czynnikowa się utrzymuje i czy poszczególne pozycje działają równoważnie w różnych grupach.
Narzędzia, które pomijają ten etap, są powszechne. Kwestionariusz, którego oryginalna walidacja jest nienaganna, może zachowywać się zupełnie inaczej w języku, w którym kluczowa pozycja niesie inną konotację, a bez odpowiedniego badania nie ma sposobu, aby to wiedzieć. Gdy test jest dostępny w dziesięciu językach, przydatne pytanie brzmi, czy został zwalidowany w dziesięciu językach, czy zwalidowany w jednym i przetłumaczony na dziewięć.
Czego walidacja nie daje
Nie sprawia, że wynik jest pewny. Zwalidowane narzędzie nadal niesie błąd pomiaru, wciąż opisuje regularność na poziomie populacji, a nie indywidualne przeznaczenie, i wciąż mierzy tylko to, do czego docierają jego pozycje.
To, co daje walidacja, to poznawalne granice. Możesz sprawdzić, jaki jest błąd, w jakiej populacji, do jakiego celu. To mniejsze twierdzenie niż "ten test ujawnia, kim naprawdę jesteś", i jest to jedyne, które się broni.
Jeśli chcesz zobaczyć, jak wygląda dokumentacja, gdy istnieje, każdy test w katalogu NOESIS wskazuje narzędzie, które implementuje, jego autorów i rok powstania, metodę oceny wyników oraz dowody stojące za nim, w tym miejsca, w których te dowody są kwestionowane.
Wypróbuj to sam
Czytanie o pomiarze to jedno. Zobaczenie własnego wyniku wraz z jego źródłem, próbą normalizacyjną i ograniczeniami to drugie. Bezpłatny test, bez rejestracji.
Czytaj dalej
- Czym jest psychometria?Dyscyplina, która rozstrzyga, czy pomiar psychologiczny jest dobry, i powód, dla którego dwa testy zadające podobne pytania mogą się ogromnie różnić pod względem wartości swoich wyników.
- Czym jest rzetelność w testach psychologicznych?Rzetelność to spójność pomiaru, nie poprawność. Test może być bardzo rzetelny i wciąż mierzyć niewłaściwą rzecz, dlatego jest to pierwsze pytanie, które się zadaje, i nigdy ostatnie.
- Czym jest trafność w testach psychologicznych?Trafność nie jest właściwością, którą test posiada. Jest to argument dotyczący tego, czy konkretna interpretacja konkretnego wyniku, dla konkretnego celu, jest uzasadniona i musi być odbudowywana na nowo dla każdego nowego zastosowania.
- Czym jest trafność konstruktu?Najtrudniejsze pytanie w pomiarze: czy rzecz, którą mierzysz, istnieje tak, jak ją zdefiniowałeś, i czy twoje narzędzie dociera do niej, a nie do czegoś zbliżonego.
- Trafność zbieżna i różnicowaDwa wymagania będące odbiciem siebie nawzajem: miara musi zgadzać się z tym, z czym powinna się zgadzać, i musi pozostać odrębna od tego, czym twierdzi, że nie jest. Większość słabych narzędzi zawodzi w drugim z nich.
- Co to jest alfa Cronbacha i czym nie jestNajczęściej podawana statystyka w testowaniu psychologicznym i najczęściej błędnie odczytywana. Alfa nie mówi ci, że skala jest jednowymiarowa, a wysoka wartość jest często symptomem, a nie zaletą.
- Standardowy błąd pomiaru: o ile twój wynik może się różnić od rzeczywistegoKażdy wynik niesie ze sobą margines błędu, a w przypadku większości testów psychologicznych jest on szerszy, niż się zwykle przypuszcza. To liczba, która mówi ci, kiedy różnica jest rzeczywista, a kiedy jest szumem.
- Normy i percentyle: z czym porównywany jest twój wynikWynik surowy jest niemożliwy do zinterpretowania sam w sobie. Nabiera znaczenia tylko w odniesieniu do grupy odniesienia, a to, która grupa została użyta, jest jednym z najbardziej istotnych i najmniej ujawnianych faktów o każdym teście.
- Jak faktycznie powstaje test psychometrycznyOd definicji konstruktu do opublikowanych norm, ta sekwencja trwa latami i odrzuca większość tego, co do niej wchodzi. Znajomość tych kroków sprawia, że oczywiste staje się, które z nich zostały pominięte w szybkim quizie online.
- Dlaczego większość internetowych testów osobowości nie jest rzetelnaNie dlatego, że są nieuczciwe, ale dlatego, że kroki, które czynią pomiar wiarygodnym, są niewidoczne, kosztowne i łatwe do pominięcia, a ich pominięcie niczego nie zmienia w wyglądzie wyniku.
- Co samoopis może, a czego nie może zmierzyćKwestionariusze proszą cię o bycie obserwatorem samego siebie, co działa lepiej w przypadku niektórych rzeczy niż innych. Wiedza o tym, gdzie ta metoda jest silna a gdzie zawodzi, zmienia sposób, w jaki odczytujesz jakikolwiek wynik.
- Co to znaczy, że test coś przewidujeKorelacja na poziomie 0,30 to silny wynik w badaniach osobowości i słaba podstawa do decyzji dotyczącej jednej osoby. Obie stwierdzenia są prawdziwe, a rozbieżność między nimi powoduje większość niewłaściwych zastosowań wyników testów.
- Badanie przesiewowe to nie diagnozaKwestionariusz przesiewowy jest skonstruowany tak, aby wychwycić jak najwięcej możliwych przypadków, przyjmując wysoki wskaźnik wyników fałszywie pozytywnych jako cenę. Odczytywanie wyniku przesiewowego jako diagnozy odwraca to, do czego został on stworzony.