Cách một bài trắc nghiệm tâm lý thực sự được xây dựng

Một công cụ đo lường tâm lý đạt đến giai đoạn xuất bản thường đã trải qua năm hoặc sáu năm làm việc và loại bỏ phần lớn những gì đã được viết ra cho nó. Trình tự này đáng để biết, bởi vì mỗi giai đoạn của nó tương ứng với một cách mà một bài trắc nghiệm có thể trở nên không đầy đủ.

1. Xác định khái niệm

Trước khi bất kỳ câu hỏi nào được viết ra, khái niệm phải được xác định đủ chính xác để có thể nói điều gì nằm ngoài nó. Điều này bao gồm một định nghĩa, một phát biểu về cấu trúc chiều kích (một chiều kích hay nhiều chiều kích, và nếu nhiều thì chúng liên hệ với nhau ra sao), và một mô tả rõ ràng về những khái niệm lân cận mà nó cần được phân biệt.

Bỏ qua giai đoạn này là nguồn gốc của phần lớn các công cụ trùng lặp. Một thang đo được xây dựng từ cảm nhận trực giác về một khái niệm thường cuối cùng lại đo một đặc điểm đã được thiết lập dưới một cái tên mới.

2. Tạo tập hợp câu hỏi

Các câu hỏi được soạn thảo nhiều hơn hẳn số lượng sẽ tồn tại sau cùng, thường gấp ba đến năm lần số lượng cuối cùng. Chúng đến từ lý thuyết, từ các công cụ hiện có, từ phỏng vấn với những người có trải nghiệm được mô tả, và từ các chuyên gia trong lĩnh vực.

Ở giai đoạn này, tập hợp câu hỏi được xem xét về mức độ bao quát nội dung (nó có bao trùm toàn bộ khái niệm hay chỉ tập trung vào một khía cạnh?), về trình độ đọc hiểu, về cách diễn đạt hai ý trong một câu, và về những câu hỏi thực chất đang hỏi về một điều khác.

3. Thử nghiệm sơ bộ và loại bỏ

Tập hợp câu hỏi được đưa đến một mẫu đầu tiên. Việc phân tích ở giai đoạn này chủ yếu mang tính loại bỏ.

Những câu hỏi gần như không có sự biến thiên bị loại bỏ, vì một câu hỏi mà ai cũng trả lời giống nhau thì không phân biệt được ai cả. Những câu hỏi có tương quan kém với điểm số tổng bị loại bỏ. Những câu hỏi có tải chéo lên nhiều hơn một nhân tố bị loại bỏ. Những câu hỏi có biểu hiện khác nhau giữa các nhóm nhân khẩu học vì lý do không liên quan đến đặc điểm đang đo (chức năng câu hỏi khác biệt) bị loại bỏ, và đây là một trong những kiểm tra thường bị bỏ qua nhất.

Số lượng còn lại sau cùng thường chỉ bằng một phần ba số câu hỏi đã được viết ra.

4. Xác nhận cấu trúc trên một mẫu mới

Đây là bước phân biệt các công cụ nghiêm túc với phần còn lại. Phân tích nhân tố trên mẫu phát triển sẽ khôi phục lại cấu trúc đã được thiết kế từ trước, điều này tất yếu phải xảy ra vì các câu hỏi đã được chọn lọc để tạo ra cấu trúc đó. Phép thử thực sự là phân tích nhân tố khẳng định trên một mẫu độc lập.

Rất nhiều thang đo đã được công bố chỉ khôi phục được cấu trúc dự kiến trong chính dữ liệu dùng để xây dựng chúng. Khi có người khác thu thập dữ liệu mới, các nhân tố đó không xuất hiện. Sự thất bại này phổ biến đến mức câu hỏi "cấu trúc có được xác nhận trên một mẫu độc lập hay không?" là một trong những câu hỏi hiệu quả nhất để đặt ra về bất kỳ công cụ nào.

5. Tích lũy bằng chứng về độ hiệu lực

Tương quan với các thước đo đã được thiết lập của cùng khái niệm. Tương quan với những khái niệm mà nó cần được phân biệt, và những tương quan này nên thấp hơn. Mối quan hệ với những kết quả có ý nghĩa thực tiễn. Độ hiệu lực gia tăng so với những gì đã tồn tại. Độ ổn định qua các lần trắc nghiệm lặp lại (test-retest) trong một khoảng thời gian phù hợp với khái niệm đó.

Giai đoạn này không bao giờ kết thúc. Nó tiếp diễn suốt thời gian công cụ còn được sử dụng, và đây cũng là nơi các công cụ thường bị phát hiện là thiếu sót nhiều năm sau khi được công bố.

6. Xây dựng chuẩn

Một mẫu tham chiếu đủ lớn và đủ đại diện cho quần thể mục tiêu, được phân tầng ở những nơi mà đặc điểm đó biến đổi theo độ tuổi hoặc giới tính, được ghi chép rõ về năm và quốc gia. Sau đó được lặp lại định kỳ, vì các chuẩn sẽ thay đổi theo thời gian.

7. Chuyển ngữ, nếu công cụ sẽ được sử dụng ở nơi khác

Chuyển ngữ không phải là một bài tập ngôn ngữ đơn thuần. Việc thích nghi đúng đắn đòi hỏi dịch xuôi, dịch ngược độc lập, đánh giá của chuyên gia, phỏng vấn nhận thức với người nói ngôn ngữ đích, và sau đó là một nghiên cứu đo lường tâm lý mới trong ngôn ngữ đó để kiểm tra xem cấu trúc có còn đúng hay không và các câu hỏi có hoạt động tương đương hay không. Một công cụ được chuyển ngữ mà không qua nghiên cứu đó là một công cụ chưa được kiểm chứng trong ngôn ngữ ấy, bất kể uy tín của nó trong ngôn ngữ gốc.

Điều này ngụ ý gì về bài trắc nghiệm nhanh

Một bài trắc nghiệm được viết trong một buổi chiều đã hoàn thành bước hai. Nó hoàn toàn có thể tạo ra một kết quả trông có vẻ hợp lý, một bách phân vị và một đoạn mô tả. Những bước bị bỏ qua chính là những bước đáng lẽ phải xác lập xem liệu bất kỳ điều gì trong đó có thực sự có ý nghĩa hay không.