검사가 '타당화되었다'고 불리는 것은 무엇을 의미합니까?

"과학적으로 검증됨"은 보호받는 용어가 아닙니다. 이를 인증하는 기관도 없고, 이를 감사하는 기구도 없으며, 이 표현은 전체 근거 기반이 '많은 사람들이 그것을 받아보았다'는 것뿐인 제품들에도 등장합니다. 이 표현이 제대로 사용될 때 무엇을 의미하는지 알아둘 필요가 있습니다.

요약

타당화된 도구에는 그것이 무엇을 측정하는지, 얼마나 정밀하게 측정하는지, 어떤 모집단에서 측정하는지, 그리고 그 점수가 어떤 용도로 정당하게 사용될 수 있는지를 보여주는 공개된 기록이 있습니다. 타당화는 인증서가 아닙니다. 그것은 보통 여러 해에 걸쳐 축적된 증거의 총체이며, 대개는 그 도구를 미화하기보다 그 사용 범위를 제한하는 발견들도 포함하고 있습니다.

문서화된 한계가 존재한다는 것은 더 나은 신호 중 하나입니다. 진정한 타당화 문헌에는 이러한 한계가 가득합니다. 이 척도는 청소년에게서는 성능이 떨어진다, 저 하위 요인은 재현되지 않는다, 절단점은 모집단에 따라 달라진다는 식입니다. 오직 강점만 보고하는 제품은 자신의 타당화를 발표한 것이 아니라 자신의 마케팅을 발표한 것입니다.

핵심이 되는 네 가지 질문

원 출처 논문은 무엇인가? 타당화된 도구에는 저자, 발행 연도, 그리고 보통 DOI가 포함된, 동료 심사를 거친 학술지에 실린 원 논문이 있습니다. 그 논문은 문항이 어떻게 개발되었는지, 초기 심리측정적 속성이 무엇이었는지를 보고합니다. 아무도 그 논문의 이름을 대지 못한다면, 논할 타당화 자체가 존재하지 않는 것입니다.

그 구조는 다른 사람에 의해 확인되었는가? 개발팀은 자신들이 설계한 구조를 당연히 재확인하게 됩니다. 중요한 것은 독립된 집단이 독립된 데이터를 가지고 같은 결과를 발견했는지 여부입니다. 이것은 귀하가 물어볼 수 있는 가장 유익한 단 하나의 질문이며, 동시에 가장 자주 답변되지 않은 채 남겨지는 질문입니다.

규준은 어떤 모집단을 기반으로, 언제 구축되었는가? 점수란 참조 분포 내에서의 위치입니다. 어떤 모집단을 지칭하는지 밝히지 않은 채 백분위를 보고하는 도구는 귀하에게 분모 없는 숫자를 건넨 것입니다.

이 도구는 무엇을 더해주는가? 기존에 확립된 측정치에 대한 증분 타당도가 그것입니다. 매우 많은 브랜드화된 구성개념들이 바로 이 지점에서 실패합니다. 기존 특성과 지나치게 높은 상관을 보여, 어떤 것에 대해서도 추가적인 분산을 설명하지 못하는 것입니다. 이는 과학적 검증의 정상적인 결과이지만, 누군가 검사를 실제로 시행하지 않으면 드러나지 않습니다.

번역이 문제를 복잡하게 만드는 지점

영어로 타당화된 도구가 그 사실만으로 독일어에서도 타당화되는 것은 아닙니다. 제대로 된 문화 간 적응에는 정방향 번역과 역번역, 전문가 검토, 인지적 인터뷰, 그리고 새로운 언어에서 요인 구조가 유지되는지, 개별 문항이 집단 간에 동등하게 기능하는지를 검증하는 새로운 심리측정 연구가 필요합니다.

이를 생략하는 도구가 흔합니다. 원 타당화가 완벽한 설문지라 하더라도, 핵심 문항이 다른 함의를 지니는 언어에서는 상당히 다르게 작동할 수 있으며, 그 연구 없이는 이를 알 방법이 없습니다. 어떤 검사가 열 개 언어로 제공될 때, 유용한 질문은 그것이 열 개 언어에서 타당화되었는지, 아니면 하나의 언어에서 타당화되고 아홉 개 언어로 번역되었는지입니다.

타당화가 보장하지 않는 것

타당화는 점수를 확실하게 만들어주지 않습니다. 타당화된 도구라도 여전히 측정 오차를 지니며, 여전히 개인의 운명이 아니라 모집단 수준의 규칙성을 기술할 뿐이고, 여전히 그 문항이 다다르는 범위까지만 측정합니다.

타당화가 보장하는 것은 알 수 있는 한계입니다. 귀하는 얼마나 많은 오차가, 어떤 모집단에서, 어떤 목적을 위해 존재하는지를 파악할 수 있습니다. 이는 "이 검사가 귀하가 진정 누구인지를 밝혀준다"는 주장보다 훨씬 작은 주장이며, 유일하게 성립하는 주장입니다.

그러한 문서화가 실제로 존재할 때 어떤 모습인지 보고 싶으시다면, NOESIS 카탈로그에 있는 모든 검사는 그것이 구현하는 도구의 명칭, 저자와 연도, 채점 방식, 그리고 그 뒤에 있는 근거를, 그 근거가 논쟁의 대상이 되는 부분까지 포함하여 명시하고 있습니다.