인터넷상의 대부분의 성격 검사가 신뢰할 수 없는 이유

무료 온라인 성격 검사와 타당화된 심리측정 도구는 동일하게 보이는 결과물을 산출합니다: 점수, 백분위, 귀하를 설명하는 문단. 그 차이는 결과 화면에서 볼 수 없는 작업에 전적으로 있습니다.

이는 정확히 짚고 넘어갈 필요가 있습니다. 흔히 통용되는 프레이밍, 즉 인터넷 검사는 사기라는 주장은 대체로 틀렸으며 그다지 유용하지도 않기 때문입니다. 대부분의 검사는 속이려는 의도가 없는 사람들에 의해 만들어집니다. 이들은 구조적인 이유로 신뢰할 수 없습니다.

흔히 생략되는 것들

문항 분석. 제대로 구축된 척도에서는 예비 조사 후 초안 문항 대부분이 폐기됩니다. 아무도 응답이 갈리지 않는 문항, 전체 점수와 상관이 낮은 문항, 하나 이상의 요인에 부하되는 문항, 연령대나 언어 집단에 따라 다르게 작동하는 문항 등이 그렇습니다. 예비 조사 없이 작성되어 공개된 검사는 작동하지 않는 문항까지 포함하여 모든 것을 그대로 남겨 둡니다.

독립적인 구조 검증. 척도를 구축한 바로 그 데이터에 대한 요인분석은 귀하가 설계한 구조를 그대로 다시 찾아낼 뿐입니다. 새로운 표본에서 그 구조를 확인하는 것은 별도의 연구이며, 상당수의 척도가 실패하는 단계가 바로 이 지점입니다.

규준. 백분위는 어딘가에서 도출되어야 합니다. 사이트가 참조 모집단을 명시하지 않는다면, 그 수치는 이전 방문자, 즉 구성이 알려지지 않은 자기선택 집단에서 도출되었거나 특별한 근거 없이 산출된 것입니다.

검사-재검사 데이터. 사람들이 다음 달에도 동일한 점수를 받는다는 것을 입증하려면 그들을 다시 찾아내야 합니다. 이를 수행하는 경우는 거의 없으며, 이는 '특성'이라는 단어가 암시하는 안정성이 입증되지 않았다는 의미입니다.

설계상의 인센티브는 잘못된 방향으로 작동한다

참여를 유도하기 위해 만들어진 검사는 정확성을 위해 만들어진 검사와는 다른 결과에 최적화되어 있으며, 이 둘은 예측 가능한 방식으로 서로 어긋납니다.

듣기 좋은 결과가 더 잘 작동합니다. 듣기 싫은 이야기를 하는 결과는 공유가 덜 되므로, 결과는 누구나 자신에게서 발견할 수 있는 설명 쪽으로 쏠리게 됩니다. 이것이 바로 바넘 효과로, 1940년대에 입증되었고 그 이후로도 꾸준히 재현되었습니다: 사람들은 일반적인 성격 설명을 자신에게 특별히 정확하게 들어맞는다고 평가합니다.

유형은 차원보다 더 잘 작동합니다. "귀하는 건축가형입니다"라는 표현은 "귀하는 개방성에서 넓은 신뢰구간을 가진 68백분위입니다"보다 공유하기 쉽습니다. 유형은 또한 측정 오차를 은폐합니다. 범주 경계선 양쪽에서 1점 차이가 나는 사람이 완전히 다른 라벨을 받게 되기 때문입니다.

짧은 검사가 적절한 검사보다 더 잘 작동합니다. 문항이 하나 늘어날 때마다 응답자를 잃게 되므로, 검사는 구성개념을 충분히 다루는 길이가 아니라 완료율을 최대화하는 길이로 잘려나갑니다.

이들 중 어느 것도 거짓말은 아닙니다. 이는 정확성이 아닌 다른 지표에 대한 최적화입니다.

약 30초 안에 판별하는 방법

저자와 연도가 명시된 원본 검사명이 있는지 확인하십시오. 규준이 어떤 모집단에서 나온 것인지에 대한 설명이 있는지 확인하십시오. 한계나 측정 오차에 대한 인정이 있는지 확인하십시오. 결과가 연속 점수인지 범주인지 확인하십시오. 같은 페이지에서 20개의 문항으로 이상적인 직업, 배우자, 인생의 목적까지 알아낼 수 있다고 약속하는지 확인하십시오.

자신의 검사명을 밝히고, 출처를 인용하며, 규준을 명시하고, 무엇을 알려줄 수 없는지 말하는 검사는 필요한 작업을 해낸 것입니다. 이 중 어느 것도 하지 않는 검사도 5분을 즐겁게 보내는 방법이 될 수는 있지만, 그것이 산출하는 수치는 장식일 뿐입니다.

NOESIS 카탈로그의 모든 도구는 어떤 공인된 검사를 구현한 것인지, 누가 작성했는지, 어느 해에 작성했는지, 어떻게 채점되는지, 그리고 그 결과가 무엇을 입증하지 못하는지를 명시합니다. 마지막 부분이야말로 비교해 볼 가치가 있는 부분입니다.