수렴 타당도와 판별 타당도

수렴 타당도와 판별 타당도는 하나의 요건을 이루는 두 측면입니다. 어떤 측정치는 이론적으로 관련이 있어야 하는 것들과는 상당한 상관을 보여야 하고, 구별되어야 하는 것들과는 지나치게 높은 상관을 보이지 않아야 합니다. 둘 중 하나만 충족하는 것은 부분적 성공이 아니며, 대개 그 구성개념이 표방하는 것과 다르다는 신호입니다.

수렴 타당도

수렴 증거는 어떤 측정치가 동일한 대상을 나타내는 다른 지표들과 일치함을 보여줍니다. 새로운 불안 척도는 기존의 확립된 불안 척도, 임상가 평정, 그리고 이상적으로는 생리적 측정치나 관찰된 회피 행동과 같이 또 다른 질문지가 아닌 지표와도 상당한 상관을 보여야 합니다.

여기서 기대되는 상관은 보통 0.50 이상이며, 비교 대상이 동일한 구성개념을 측정하는 확립된 도구일 경우에는 흔히 0.70 이상이어야 합니다. 그보다 낮다면 새 척도든 비교 대상이든 다른 무언가를 측정하고 있는 것입니다.

여기에는 함정이 있습니다. 기존 척도와 0.95의 상관을 보이는 것은 성공이 아닙니다. 이는 새로운 도구가 기존 것을 재포장한 것에 불과함을 의미하며, 정직한 질문은 그것이 무엇을 더해주는가가 됩니다. 수렴 타당도는 극대화해야 할 목표가 아니라 최소한의 기준선입니다.

판별 타당도

판별 증거는 어떤 측정치가 다르다고 주장하는 구성개념들과 실제로 구분되는지를 보여줍니다. 흥미로운 실패들이 바로 여기서 드러납니다.

이러한 패턴은 문헌 전반에서 반복됩니다. 그릿(grit)은 성실성과 약 0.84의 상관을 보이는데, 이는 메타분석에서 성실성을 통제하면 학업 예측에 거의 아무것도 더하지 못한다는 결과가 나올 만큼 높은 수치입니다. 자기보고식 정서지능은 정서적 안정성, 외향성, 성실성을 합친 것과 크게 중복됩니다. 다크 트라이어드(Dark Triad) 전반의 공유 분산은 HEXACO 모델의 정직·겸손(Honesty-Humility)을 고려하면 대부분 사라집니다. 각각의 경우, 해당 구성개념은 새로운 영역으로 제시되었지만 결국 기존 지형도의 이름만 바꾼 영역으로 드러났습니다.

판별 타당도는 또한 방법 효과가 드러나는 지점이기도 합니다. 한 연구 내의 모든 자기보고식 구성개념들이 서로 0.4의 상관을 보인다면, 그 공통 요인은 어떤 공유된 심리적 특성이 아니라 응답자의 응답 양식일 가능성이 큽니다.

결정적인 검증

결정적인 절차는 증분 타당도입니다. 회귀분석에 확립된 측정치를 먼저 투입한 다음 새로운 측정치를 투입하여, 새 측정치가 결과 변수의 추가적인 분산을 설명하는지를 확인하는 것입니다. 그렇지 않다면, 그 구성개념은 여전히 이론적으로 흥미로울 수 있지만, 그 도구는 해당 분야가 이미 가지고 있던 것 이상의 무언가를 측정하고 있지는 않은 것입니다.

이는 까다로운 기준이며, 발표된 수많은 척도들이 이 검증을 받은 적이 없습니다. 검증을 받았을 때 자주 나오는 결과는 앞서 언급한 중복성 발견입니다. 이는 스캔들이 아니라 정상적인 과학적 가지치기 과정이지만, 어떤 구성개념의 인기가 그것이 이 검증을 통과하는지 여부를 알려주지는 않는다는 뜻입니다.

독자에게 달라지는 것

어떤 검사가 여러 점수를 제시할 때, 유용한 질문은 그 점수들이 실제로 구별되는가입니다. 서로 0.8의 상관을 보이는 네 개의 차원은 사실 네 개의 이름을 가진 하나의 차원이며, 이를 바탕으로 만든 프로파일은 차별화된 것처럼 보이지만 독립적인 정보는 거의 담고 있지 않습니다.

척도 간 상관을 공개하는 도구는 이를 스스로 확인할 수 있게 해줍니다. 네 사분면 유형을 제시하면서 그 사분면들이 서로 어떤 관계에 있는지 전혀 보여주지 않는 도구는 이러한 확인을 불가능하게 만든 것이며, 이는 대개 의도된 바입니다.