심리검사에서 신뢰도란 무엇입니까?

신뢰도란 측정이 잡음이 아니라 반복 가능한 정도를 의미합니다. 만약 귀하가 1분 사이에 세 번 체중을 측정했는데 71킬로그램, 78킬로그램, 66킬로그램이 나왔다면, 그 저울은 신뢰할 수 없는 것이며, 귀하는 그것으로부터 실제 체중을 알 방법이 없을 것입니다. 심리적 측정은 훨씨 부정확한 도구로 동일한 문제에 직면합니다.

신뢰도에 대해 이해해야 할 핵심은 그것이 주장하지 않는 바입니다. 항상 8킬로그램 더 무겁게 측정되는 욕실 저울은 완벽하게 신뢰할 수 있지만 완전히 잘못된 것입니다. 신뢰도는 일관성에 관한 것이며, 그 수치가 올바른 것을 의미하는지는 별개의 문제로, 타당도라고 불립니다. 신뢰도는 타당도를 위한 필요조건이지만 충분조건과는 거리가 멉니다.

신뢰도의 형태

내적 일관성은 척도의 문항들이 서로 일치하는지를 묻습니다. 열 개의 문항이 모두 동일한 근본적 특성을 측정하도록 설계되었다면, 한 문항에서 높은 점수를 받은 사람은 다른 문항에서도 높은 점수를 받는 경향이 있어야 합니다. 이는 보통 크론바흐 알파(Cronbach's alpha), 또는 더 나은 방법으로 맥도날드 오메가(McDonald's omega)로 보고됩니다.

검사-재검사 신뢰도는 동일한 사람이 두 번의 다른 시점에서 유사한 점수를 받는지를 묻습니다. 이는 정의상 안정적이어야 하는 특성에 있어 가장 중요한 형태입니다. 또한 동일한 참가자를 몇 주 후에 다시 추적해야 하기 때문에 가장 자주 보고되지 않는 형태이기도 합니다.

평정자 간 신뢰도는 사람이 검사를 채점할 때, 즉 임상 면담, 투사적 기법, 행동 관찰 등에 적용됩니다. 이는 동일한 자료를 보는 두 명의 훈련된 평정자가 동일한 결론에 도달하는지를 묻습니다.

동형 검사 신뢰도는 동등하게 제작된 동일 검사의 두 가지 다른 버전이 동일한 점수를 산출하는지를 묻습니다. 이는 검사가 두 번 이상 시행되고 문항 노출이 우려되는 모든 경우에 중요합니다.

수치 읽는 법

신뢰도 계수는 0에서 1까지 분포합니다. 그 기준은 대략적이며 널리 오용되고 있지만, 대체로 다음과 같습니다. 0.90 이상은 점수가 개인의 삶에 영향을 미치는 경우 요구되며, 0.80에서 0.90은 대부분의 응용 목적에 견고한 수준이며, 0.70에서 0.80은 연구 및 집단 비교에 허용 가능한 수준이며, 0.70 미만은 그 점수에 대부분의 결론이 견뎌낼 수 없을 정도로 많은 잡음이 포함되어 있음을 의미합니다.

이 기준들에 대해 두 가지 주의할 점이 있습니다. 첫째, 이는 관례일 뿐 법칙이 아니며, 허용 가능한 수준은 그 점수가 어떤 용도로 사용될 것인지에 전적으로 달려 있습니다. 둘째, 짧은 척도에서 매우 높은 알파값은 보통 문항들이 서로 거의 같은 말을 바꿔 표현한 것에 불과함을 나타내며, 이는 구성개념을 폭넓게 다루는 것을 희생하여 일관성을 얻는 것입니다. "당신은 정리정돈을 잘합니까?"를 약간씩 다른 말로 묻는 열 개의 문항으로 이루어진 척도는 뛰어난 내적 일관성을 가지지만 성실성에 대한 좁은 해석을 제공할 것입니다.

귀하 자신의 점수에 대한 의미

신뢰도는 하나의 수치가 얼마나 많은 신뢰를 받을 자격이 있는지로 직접 환산됩니다. 신뢰도가 0.85인 검사는 두 사람 간의 몇 점 차이, 또는 오늘의 귀하 점수와 지난달 귀하 점수 간의 차이가 신호가 아니라 잡음일 가능성이 매우 높을 정도로 큰 측정 오차를 포함합니다.

이것이 실질적인 결론입니다. 좋은 도구는 자신의 신뢰도를 보고하여 귀하의 점수를 둘러싼 불확실성이 얼마나 넓은지 알 수 있게 합니다. 그 불확실성의 기술적 표현은 측정의 표준오차(standard error of measurement)이며, 이는 신뢰도 계수를 점수 주변의 플러스마이너스 범위로 변환합니다.

신뢰도 수치를 전혀 보고하지 않는 도구가 그렇다고 해서 더 정확한 것은 아닙니다. 그것은 단지 자신이 얼마나 부정확한지 귀하에게 말하기를 거부한 것일 뿐입니다.