측정표준오차: 귀하의 점수가 어느 정도 오차를 가질 수 있는지

측정의 표준오차는 추상적인 신뢰도 계수를 구체적인 것, 즉 점수를 중심으로 한 플러스마이너스 범위로 전환합니다. 이는 대부분의 결과 화면이 답하지 않고 남겨두는 질문에 답합니다: 만약 다른 날 오후에 검사를 받았다면 이 숫자가 얼마나 달라질 수 있었을까 하는 질문입니다.

공식은 간단합니다. 척도의 표준편차에 1에서 신뢰도를 뺀 값의 제곱근을 곱하면 됩니다. 표준편차가 10이고 신뢰도가 0.85인 척도의 경우, 표준오차는 약 3.9점입니다.

이 범위가 실제로 의미하는 것

대략 3분의 2의 경우, 한 사람의 실제 위치는 관찰된 점수를 기준으로 표준오차 1개 범위 내에 있습니다. 약 95%의 신뢰수준을 원한다면 양쪽으로 표준오차 약 2개가 필요합니다.

위의 예를 들어보겠습니다. 어떤 사람이 62점을 받았다고 가정해 봅시다. 95% 구간은 약 54점에서 70점까지입니다. 이는 평균과 명확히 평균 이상 사이의 일반적인 차이가 10점 정도인 척도에서 16점에 달하는 범위입니다.

이는 특정 검사의 결함이 아닙니다. 0.85의 신뢰도는 훌륭한 수준입니다. 이는 심리 측정의 정상적인 정밀도이며, 신중한 보고서가 단일 점수보다 범위를 제시하는 이유입니다.

사람들이 놓치는 결과들

척도 간의 작은 차이는 대부분 의미가 없습니다. 귀하의 외향성이 58점이고 개방성이 54점이라면, 정직한 해석은 이 둘이 구별되지 않는다는 것입니다. 4점 차이로부터 이야기를 만들어내는 프로파일 해석은 잡음을 읽고 있는 것입니다.

시간에 따른 작은 변화 역시 대부분 의미가 없습니다. 검사를 다시 받았을 때 5점이 달라지는 것은 대부분의 검사에서 오차 범위 내에 있습니다. 실제 특성 변화는 수년에 걸쳐 일어나며, 매달 몇 점씩 달라지는 것이 아니라 오차 범위를 훨씬 벗어나는 움직임으로 나타납니다.

순위 서열은 이 문제를 증폭시킵니다. 원점수의 몇 점 차이가 분포의 밀집된 중앙 부분에서는 백분위를 10단계나 이동시킬 수 있습니다. 대부분의 사람들이 그곳에 위치하기 때문입니다. 백분위 순위는 정확해 보이지만 점수를 표현하는 가장 불안정한 방식입니다.

정밀도는 척도 전체에 걸쳐 균일하지 않습니다. 고전검사이론은 모든 점수에 대해 하나의 오차 값을 가정하는데, 이는 단순화된 접근입니다. 문항반응이론은 특성의 각 수준에서 오차를 별도로 모델링하며, 오차는 거의 항상 극단값에서 더 크게 나타납니다. 바로 가장 중대한 해석이 이루어지는 지점입니다. 매우 높거나 매우 낮은 점수는 일반적으로 중간 점수보다 정밀도가 더 낮지, 더 높지 않습니다.

정직한 보고가 덜 인상적으로 보이는 이유

신뢰구간을 보고하는 검사는 소수점 한 자리까지 단일 숫자를 보고하는 검사보다 모호해 보입니다. 모호해 보이는 쪽이 진실을 말하고 있습니다. 정확해 보이는 쪽은 동일한 근본적 오차를 갖고 있으면서 그것을 보여주지 않기로 선택한 것입니다.

이는 과학적으로 근거를 갖춘 검사와 귀하를 하나의 범주에 배정하는 상업적 제품을 비교할 때 기억해 둘 가치가 있습니다. 범주의 경계선은 특정 점수에 위치하며, 그 경계선보다 1점 낮은 사람과 1점 높은 사람은 통계적으로 동일한 사람입니다. 유형 라벨은 이러한 사실을 완전히 감춥니다. 이는 유형 기반 검사에 반대하는 더 심각한 논거 중 하나이며, 오차를 명시한 연속 점수가 연구에서 표준으로 사용되는 이유입니다.