심리검사가 실제로 만들어지는 과정

발표에 이르는 심리측정 도구는 대개 5, 6년의 작업을 거쳐 왔으며, 그 과정에서 작성된 내용의 대부분을 폐기하게 됩니다. 이 순서를 알아둘 필요가 있는데, 각 단계가 검사가 부적절해질 수 있는 방식과 하나씩 대응하기 때문입니다.

1. 구성개념 정의하기

문항을 작성하기 전에, 무엇이 그 범위 밖에 있는지 말할 수 있을 만큼 구성개념을 정확하게 규정해야 합니다. 이는 정의, 차원 구조에 대한 진술(단일 차원인지 다차원인지, 다차원이라면 그것들이 어떻게 관련되는지), 그리고 인접한 어떤 구성개념들과 구별되어야 하는지에 대한 명시적인 설명을 포함합니다.

이 단계를 건너뛰는 것이 대부분의 중복 도구가 생겨나는 원인입니다. 어떤 개념에 대한 직관적인 느낌으로 만들어진 척도는 결국 이미 확립된 특성을 새로운 이름으로 측정하는 결과로 끝나는 경우가 많습니다.

2. 문항 풀 생성하기

문항은 최종적으로 남을 수보다 훨씬 많이, 보통 최종 개수의 3배에서 5배 정도로 초안이 작성됩니다. 이 문항들은 이론, 기존 도구, 해당 경험을 겪은 사람들과의 인터뷰, 그리고 주제 전문가로부터 나옵니다.

이 단계에서 풀은 내용 범위(구성개념 전체를 포괄하는지 아니면 한 측면에 몰려 있는지), 읽기 난이도, 이중적 의미를 지닌 표현, 그리고 실제로는 다른 것을 묻고 있는 문항들에 대해 검토됩니다.

3. 예비조사 및 축소

풀은 첫 번째 표본으로 전달됩니다. 이 분석은 대체로 제거를 위한 것입니다.

분산이 거의 없는 문항은 제거됩니다. 모두가 같은 방식으로 대답하는 질문은 누구도 구별해내지 못합니다. 전체 점수와의 상관이 낮은 문항도 제거됩니다. 두 개 이상의 요인에 교차 적재되는 문항도 제거됩니다. 특성과 무관한 이유로 인구통계 집단 간에 다르게 작동하는 문항, 즉 차별기능문항(differential item functioning)도 제거되는데, 이 검증은 가장 흔히 생략되는 것 중 하나입니다.

남는 것은 대개 처음 작성된 것의 3분의 1 정도입니다.

4. 새로운 표본에서 구조 확인하기

이 단계가 신중한 도구와 그렇지 않은 것을 구분합니다. 개발 표본에 대한 요인분석은 설계된 구조를 그대로 복원하게 되는데, 이는 당연한 일입니다. 문항들이 바로 그 구조를 만들어내도록 선택되었기 때문입니다. 진정한 검증은 독립적인 표본에서 실시하는 확인적 요인분석입니다.

발표된 척도 중 상당수가 그것을 만드는 데 사용된 데이터에서만 의도된 구조를 복원합니다. 다른 누군가가 새로운 데이터를 수집하면, 그 요인들이 나타나지 않습니다. 이러한 실패는 흔하기 때문에, "그 구조가 독립적인 표본에서 확인되었는가?"는 어떤 도구에 대해서든 물어볼 수 있는 가장 효율적인 질문 중 하나입니다.

5. 타당도 증거 축적하기

동일한 구성개념을 측정하는 확립된 도구들과의 상관. 구별되어야 할 구성개념들과의 상관은 더 낮아야 합니다. 중요한 결과 변수들과의 관계. 기존에 존재하는 것에 대한 증분 타당도. 그 구성개념에 적합한 간격에 걸친 검사-재검사 안정성.

이 단계는 끝나지 않습니다. 그 도구가 사용되는 한 계속되며, 발표된 지 여러 해가 지난 후에도 도구가 부족하다고 판명되는 경우가 가장 많은 지점이 바로 여기입니다.

6. 규준 구축하기

대상 모집단에 대해 충분히 크고 대표성 있는 기준 표본을 구성하고, 특성이 연령이나 성별에 따라 다르게 나타나는 경우 이를 층화하며, 연도와 국가를 문서화합니다. 그리고 규준은 시간이 지나면서 변화하기 때문에 주기적으로 갱신됩니다.

7. 다른 지역에서 사용될 경우 번역하기

번역은 단순한 언어 작업이 아닙니다. 적절한 적응 과정은 순번역, 독립적인 역번역, 전문가 검토, 목표 언어 사용자와의 인지적 인터뷰, 그리고 새로운 언어에서 구조가 유지되는지, 문항들이 동등하게 작동하는지를 검증하기 위한 새로운 심리측정 연구를 포함합니다. 그러한 연구 없이 번역된 도구는, 원본에서 어떤 자격을 갖추고 있든, 그 언어에서는 검증되지 않은 도구입니다.

이것이 즉석 퀴즈에 대해 시사하는 바

오후 한나절 만에 작성된 검사는 2단계를 완료한 것입니다. 그럴듯해 보이는 결과, 백분위와 한 단락의 설명을 만들어낼 수도 있습니다. 건너뛴 단계들은 바로 그것이 실제로 어떤 의미가 있는지를 확립했을 단계들입니다.