측정의 작동 원리

검사가 무엇인가를 예측한다는 것의 의미

0.30의 상관관계는 성격 연구에서는 강력한 결과이지만, 한 개인에 대한 의사결정의 근거로는 약합니다. 두 진술 모두 참이며, 이 둘 사이의 간극이 검사 결과 오용의 대부분을 유발합니다.

성격 연구는 성실성이 직무 수행을 예측한다고 보고합니다. 이 문장을 읽으면 대부분의 사람들은 실제 데이터가 보여주는 것보다 훨씬 강한 무언가를 떠올립니다. 통계적 주장과 "예측한다"는 말의 일상적 의미 사이의 간극이야말로 심리검사 오용이 시작되는 지점입니다.

그럼에도 0.25가 실제 발견인 이유

모집단 규모에서는 작은 상관관계도 상당한 총합 효과를 만들어냅니다. 천 명을 선발하는 경우, 0.25의 예측 변수는 평균 결과를 측정 가능하고 반복적으로 개선합니다. 보험사와 역학자들은 이 정도 크기의 효과를 바탕으로 전체 실무 체계를 구축합니다.

문제는 총합적 이익과 개별 예측이 서로 다른 양이라는 점입니다. 0.25의 상관계수는 높은 점수를 받은 사람들 중에서 낮은 점수를 받은 사람들보다 더 많은 사람이 좋은 성과를 낸다는 것을 의미합니다. 그리고 동시에 매우 많은 고득점자들이 성과가 나쁘고 매우 많은 저득점자들이 우수한 성과를 낸다는 것도 의미합니다. 이 두 진술 모두 같은 수치에서 나옵니다.

개별 사례의 문제

이것이 흔히 생략되는 단계입니다. 상관계수는 두 분포 간의 관계를 기술합니다. 그것이 특정 개인에 대한 진술을 정당화하지는 않습니다.

성실성이 수행과 0.25의 상관을 보인다면, 누군가의 성실성 점수를 아는 것은 그 사람의 수행에 대한 타당한 범위를 약간만 좁혀줍니다. 한 개인에 대한 예측 구간은 거의 전체 결과 범위를 포함할 만큼 여전히 넓습니다. 성실성에서 상위 80번째 백분위에 있다는 말을 듣는 것은 특정 직무에서 귀하가 어떻게 해낼지에 대해 매우 적은 정보만을 알려줍니다.

이런 이유로, 기반 연구가 견고하더라도 성격 점수를 주요 선발 필터로 사용하는 것은 근거가 부족합니다. 연구는 그 특성이 중요하다는 주장을 지지합니다. 그러나 점수가 지원자가 어떻게 행동할지를 알려준다는 주장을 지지하지는 않습니다.

추가로 유의할 두 가지

예측하는 것과 원인이 되는 것은 다릅니다. 이 문헌의 거의 전부는 상관관계 연구입니다. 성실성이 건강 결과를 예측한다는 것은, 성실성이 더 나은 건강 행동을 유발한다는 것과도, 제3의 요인이 둘 다를 유발한다는 것과도, 역방향 인과관계와도 모두 일치합니다. 종단 설계는 가능성의 범위를 좁혀주지만, 그것들을 완전히 배제하는 경우는 드뭅니다.

자기보고 기준은 수치를 부풀립니다. 예측 변수와 결과 변수가 모두 같은 사람에 의해 같은 오후에 자기보고될 때, 공통방법분산은 상관계수를 끌어올립니다. 객관적 결과나 정보 제공자 평가를 사용하는 연구들은 보통 더 작은 효과를 보고하며, 바로 이런 연구들에 더 큰 비중을 두어야 합니다.

점수가 실제로 유용한 것은 무엇인가

예언이 아니라 기술로 읽을 때, 검사 점수는 진정으로 유용합니다. 그것은 문서화된 결과를 가진 어떤 특성에 대해 귀하가 참조 모집단과 비교해 어디에 위치하는지 알려주며, 귀하가 알아차렸을 수는 있지만 이름 붙이지 못했던 패턴에 대한 어휘를 제공합니다.

그것은 가질 만한 가치가 있습니다. 그것은 예측과는 다른 것이며, 이 구분은 정직한 보고서가 귀하를 위해 직접 짚어주어야 할 것이지, 귀하가 스스로 추론하도록 남겨두어서는 안 되는 것입니다.

직접 검사해 보기

측정에 관한 글을 읽는 것과, 자신의 점수가 그 출처, 규준 표본, 한계와 함께 보고되는 것을 직접 확인하는 것은 다른 경험입니다. 무료로 응시할 수 있으며 가입도 필요하지 않습니다.

목록 둘러보기 검사의 기반 이론 살펴보기 →