심리검사에서 타당도란 무엇입니까?

타당도는 검사가 측정하고자 하는 바를 실제로 측정하는지, 그리고 그 점수로부터 도출된 결론이 정당한지를 묻는 질문입니다. 이는 심리측정학에서 가장 핵심적인 질문이면서도, 증거보다는 마케팅 주장으로 답해지는 경우가 가장 흔한 질문이기도 합니다.

1980년대 메시크(Messick)의 연구 이후 유지되어 온 현대적 이해에 따르면, 타당도는 도구의 고정된 속성이 아닙니다. 이는 특정한 용도를 위한 점수의 해석이 지니는 속성입니다. 동일한 질문지가 자기 인식을 기술하는 데는 잘 타당화되어 있으면서도, 채용 여부를 결정하는 데는 전혀 타당화되어 있지 않을 수 있습니다. "이 검사는 타당하다"라고만 말하고 무엇에 대해 타당한지 말하지 않는 것은 주장이 아니라 슬로건에 불과합니다.

증거의 종류

타당도는 여러 유형의 증거가 축적되어 구축됩니다. 오래된 문헌들은 이를 서로 별개의 타당도 종류로 제시하지만, 현재의 관점은 이를 하나의 논지를 뒷받침하는 서로 다른 논증들로 취급합니다.

내용 증거는 문항들이 구성개념을 적절히 포괄하는지를 묻습니다. 수면과 식욕에 대해서만 묻는 우울 척도는 신체적 증상은 다루지만 기분과 인지적 증상은 놓치게 됩니다. 내용의 포괄성은 보통 해당 분야 전문가들이 판단하며, 이것이 매우 짧은 척도가 항상 타협의 산물인 이유입니다.

내적 구조 증거는 문항들이 이론이 말하는 방식대로 묶이는지를 묻습니다. 어떤 모델이 네 가지 구별되는 하위요인을 주장한다면, 요인분석은 네 개의 요인을 재현해야 합니다. 그리고 결정적으로, 척도가 개발된 표본이 아닌 독립적인 표본에서도 그래야 합니다. 매우 많은 도구들이 개발 표본에서는 의도된 구조를 재현하지만 다른 누구의 표본에서는 그렇지 못합니다.

다른 변수들과의 관계는 대부분의 작업이 이루어지는 영역입니다. 수렴 증거는 척도가 상관되어야 할 것들과 상관관계를 보인다는 것을 보여줍니다. 판별 증거는 구별되어야 할 것들과 지나치게 높은 상관을 보이지 않는다는 것을 보여줍니다. 이는 만성적으로 소홀히 다루어지는 요건이며, 새롭게 브랜드화된 구성개념들 다수를 침몰시키는 요건입니다. 기준 증거는 점수가 중요한 결과와 관련되어 있음을 보여주는데, 이는 동시에 측정되거나 사전에 예측될 수 있습니다.

결과적 증거는 검사가 사용될 때 무슨 일이 일어나는지를 묻습니다. 어떤 도구가 구성개념과 무관한 이유로 특정 집단에 체계적으로 불리하게 작용한다면, 이는 단순히 윤리적 문제가 아니라 타당도의 문제입니다.

대부분의 주장을 드러내는 질문

타당도 주장에 대한 가장 날카로운 검증은 증분 타당도입니다. 이 도구가 더 저렴하고 오래되고 확립된 측정도구가 이미 알려주는 것에 무언가를 더 추가하는가?

놀랍게도 많은 브랜드화된 구성개념들이 여기서 실패합니다. 이들은 기존의 빅파이브 영역과 0.7 이상의 상관을 보이고, 동일한 크기로 동일한 결과를 예측하며, 이전 측정도구를 통계적으로 통제하면 아무것도 추가하지 못합니다. 구성개념은 새롭지만, 측정은 새롭지 않습니다. 이것이 바로 진지한 도구 문서의 비판 섹션이 부정확성보다는 중복성을 문제 삼는 경우가 그토록 많은 이유입니다.

무엇을 살펴봐야 하는가

누군가가 어떤 검사가 타당화되었다고 주장할 때, 유용한 질문들은 구체적입니다. 어떤 기준에 대해 타당화되었는가? 어떤 규모의 어떤 모집단에서인가? 요인 구조가 독립적인 표본에서 확인되었는가? 그 답에 상업적 이해관계가 없는 연구자들의 발표된 증거가 있는가? 확립된 대안에 비해 무언가를 추가하는가?

이러한 질문들에 정직하게 답할 수 있는 도구는 한계를 포함하더라도 진지하게 받아들일 가치가 있습니다. 타당화 과정이 추천사 페이지와 수백만 명이 이 검사를 받았다는 주장으로만 이루어진 도구는 완전히 다른 질문에 답한 것입니다. 인기는 증거가 아니며, 어떤 검사를 받은 사람의 수는 그 점수가 무언가를 의미하는지에 대해 아무것도 말해주지 않습니다.