구성 타당도란 무엇입니까?

구성타당도(construct validity)는 어떤 도구가 그것이 측정한다고 주장하는 이론적 구성개념을 실제로 측정하는지, 아니면 그것과 상관된 다른 무언가나 그보다 좁은 무언가, 혹은 아무런 일관성도 없는 무언가를 측정하는지를 묻는 것입니다. 이는 타당도 증거 중 가장 심층적인 형태이며, 하나의 연구가 아니라 수년에 걸쳐 확립되는 것입니다.

어려움은 구조적인 것입니다. 회복탄력성이나 정서지능과 같은 구성개념은 하나의 대상이 아니라 행동에서 제안된 규칙성입니다. 어떤 척도가 그것을 측정한다는 것을 보이려면, 그 구성개념이 기술된 대로 존재한다는 주장과 이 특정 문항들이 그것에 도달한다는 주장을 동시에 방어해야 합니다. 이 두 주장은 분리될 수 없으며, 이것이 바로 1955년 이 개념을 제시한 Cronbach와 Meehl이 이를 하나의 도구가 아니라 이론적 네트워크 전체를 검증하는 것으로 규정한 이유입니다.

논증은 어떻게 구축되는가

예측된 상관 패턴. 이론은 그 구성개념이 어떤 것들과 어느 정도 강하게 관련되어야 하는지를 말해줍니다. 자기자비(self-compassion)는 삶의 만족도와는 양의 상관을, 우울과는 음의 상관을 보여야 하며, 자존감과는 중간 정도의 상관만을 보여야 합니다. 만약 자존감과 0.9의 상관을 보인다면, 그것은 별개의 구성개념이 아닐 것입니다. 이러한 예측 하나하나가 검증 가능한 주장이며, 그중 하나가 실패하는 것도 정보로서의 가치가 있습니다.

예상되는 집단 차이. 만약 이론이 어떤 특성이 나이에 따라 발달한다거나 특정 임상 집단에서 높게 나타난다고 말한다면, 그 도구는 이를 보여주어야 합니다. 이론이 요구하는 차이를 발견하지 못하는 것은 그 도구나 이론, 혹은 둘 다에 반하는 증거입니다.

개입에 대한 반응. 만약 어떤 구성개념이 훈련 가능한 것으로 간주된다면, 점수는 훈련 후에 변화해야 하고 통제집단에서는 변화하지 않아야 합니다. 아무런 것에도 반응하지 않는 구성개념은 인위적 산물(artefact)과 구분하기 어렵습니다.

내적 구조. 요인 구조는 이론화된 구조와 일치해야 하며, 중요하게는 새로운 표본에서도 그러해야 합니다. 개발 데이터에 대한 탐색적 요인분석은 설계된 대로의 구조를 찾아낼 뿐이며, 새로운 데이터에 대한 확인적 분석에서야 그 주장이 실제로 검증됩니다.

다중특성-다중방법(multitrait-multimethod) 개념

Campbell과 Fiske가 1959년에 기여한 바는, 구성타당도가 동시에 두 가지를 요구한다고 주장한 것입니다. 즉, 서로 다른 방법으로 측정한 동일한 특성의 측정치들은 서로 일치해야 하고, 동일한 방법으로 측정한 서로 다른 특성의 측정치들은 일치하지 않아야 한다는 것입니다.

대부분의 도구가 어려움을 겪는 부분이 바로 이 두 번째 절반입니다. 만약 귀하의 자기보고 공감 점수가 자기보고 우호성 점수와는 0.7의 상관을, 관찰자 평정 공감 점수와는 0.2의 상관을 보인다면, 귀하의 질문지가 가장 강하게 측정하고 있는 것은 공감이 아니라 귀하가 질문지에서 자신을 기술하는 일반적인 방식입니다. 방법 분산(method variance)은 자기보고 연구에서 가장 지속적으로 나타나는 문제 중 하나이며, 이것이 바로 진지한 타당화 작업이 가능한 경우 질문지가 아닌 기준(criterion)을 찾으려 하는 이유입니다.

귀하의 결과를 읽을 때 이것이 중요한 이유

구성타당도는 점수와 그 해석 사이를 지탱하는 것입니다. 잘 타당화된 도구가 귀하가 어떤 특성에서 높은 점수를 받았다고 보고할 때, 그 진술 뒤에 있는 추론의 연쇄에는 그 특성이 일관된 양으로서 작동한다는 것, 이 문항들이 그것을 추적한다는 것, 그리고 그 점수가 검사를 받는 사람들 전반에 걸쳐 유사한 의미를 갖는다는 것을 확립한 수십 년에 걸친 발표된 연구들이 포함되어 있습니다.

구성타당도 검증이 전혀 없는 검사가 동일한 것을 보고할 때, 그 점수는 누구도 검증한 적 없는 알고리즘이 생성한 숫자일 뿐입니다. 결과 화면에서는 둘 다 동일하게 보입니다. 차이는 전적으로 문서화(documentation)에 있으며, 바로 그 때문에 문서화를 찾아보는 것이 가치 있는 일입니다.