Độ hiệu lực cấu trúc là gì?

Độ hiệu lực cấu trúc đặt câu hỏi liệu một công cụ đo có thực sự đo lường cấu trúc lý thuyết mà nó tuyên bố hay không, thay vì đo một thứ gì đó tương quan với nó, hẹp hơn nó, hoặc không có tính mạch lạc nào cả. Đây là hình thức bằng chứng về độ hiệu lực sâu sắc nhất, và là loại phải mất nhiều năm chứ không phải một nghiên cứu để thiết lập.

Cái khó nằm ở cấu trúc của vấn đề. Một cấu trúc như khả năng phục hồi hay trí tuệ cảm xúc không phải là một vật thể; nó là một quy luật hành vi được đề xuất. Để chứng minh rằng một thang đo đo lường được cấu trúc đó, bạn phải đồng thời bảo vệ luận điểm rằng cấu trúc tồn tại đúng như mô tả và rằng những câu hỏi cụ thể này chạm được đến nó. Hai luận điểm này không thể tách rời, đó là lý do vì sao Cronbach và Meehl, những người đưa ra ý tưởng này vào năm 1955, đã đóng khung nó như việc kiểm định cả một mạng lưới lý thuyết chứ không phải chỉ một công cụ đo.

Luận điểm này được xây dựng như thế nào

Các mô hình tương quan được dự đoán. Lý thuyết cho biết cấu trúc này nên liên hệ với những điều gì và mạnh đến mức nào. Lòng trắc ẩn với bản thân nên tương quan thuận với sự hài lòng trong cuộc sống, tương quan nghịch với trầm cảm, và chỉ tương quan ở mức vừa phải với lòng tự trọng, nếu nó tương quan 0,9 với lòng tự trọng, thì nó sẽ không phải là một cấu trúc riêng biệt. Mỗi dự đoán trong số đó là một luận điểm có thể kiểm chứng, và việc không đạt được một dự đoán nào đó cũng mang tính thông tin.

Sự khác biệt nhóm được kỳ vọng. Nếu lý thuyết nói rằng một đặc điểm phát triển theo tuổi tác, hoặc gia tăng ở một nhóm dân số lâm sàng, công cụ đo cần phải thể hiện được điều đó. Việc không tìm thấy sự khác biệt mà lý thuyết yêu cầu là bằng chứng chống lại công cụ đo, lý thuyết, hoặc cả hai.

Phản ứng với can thiệp. Nếu một cấu trúc được cho là có thể rèn luyện được, điểm số cần phải thay đổi sau khi được huấn luyện và không thay đổi ở nhóm đối chứng. Những cấu trúc không bao giờ phản ứng với bất cứ điều gì thì khó phân biệt với các sai lệch giả tạo (artefacts).

Cấu trúc nội tại. Cấu trúc nhân tố cần khớp với cấu trúc được lý thuyết hóa, và quan trọng là phải khớp trên một mẫu dữ liệu mới. Phân tích nhân tố khám phá trên dữ liệu phát triển sẽ tìm ra bất cứ cấu trúc nào đã được thiết kế sẵn từ đầu; phân tích khẳng định trên dữ liệu mới mới là nơi luận điểm thực sự được kiểm định.

Ý tưởng đa đặc điểm đa phương pháp

Đóng góp của Campbell và Fiske năm 1959 là khẳng định rằng độ hiệu lực cấu trúc đòi hỏi hai điều cùng một lúc: các phép đo cùng một đặc điểm bằng các phương pháp khác nhau cần phải nhất quán với nhau, và các phép đo các đặc điểm khác nhau bằng cùng một phương pháp thì không nên nhất quán với nhau.

Vế thứ hai chính là nơi hầu hết các công cụ đo gặp khó khăn. Nếu sự đồng cảm bạn tự báo cáo tương quan 0,7 với tính dễ chịu bạn tự báo cáo và chỉ 0,2 với sự đồng cảm do người quan sát đánh giá, thì thứ mạnh nhất mà bảng câu hỏi của bạn đang đo không phải là sự đồng cảm, mà là cách chung của bạn khi mô tả bản thân trong các bảng câu hỏi. Phương sai phương pháp là một trong những vấn đề dai dẳng nhất trong nghiên cứu tự báo cáo, và đó là lý do vì sao các công trình thẩm định nghiêm túc luôn tìm kiếm một tiêu chí không dựa trên bảng câu hỏi bất cứ khi nào có thể.

Vì sao điều này quan trọng khi đọc kết quả của bạn

Độ hiệu lực cấu trúc là thứ đứng giữa một điểm số và cách diễn giải nó. Khi một công cụ đo đã được thẩm định kỹ lưỡng báo cáo rằng bạn có điểm số cao ở một đặc điểm, chuỗi lập luận đằng sau tuyên bố đó bao gồm hàng chục năm công trình đã công bố nhằm thiết lập rằng đặc điểm này vận hành như một đại lượng mạch lạc, rằng những câu hỏi này theo dõi được nó, và rằng điểm số mang một ý nghĩa tương đồng giữa những người làm bài trắc nghiệm.

Khi một bài trắc nghiệm không có sự thẩm định cấu trúc nào báo cáo điều tương tự, điểm số đó chỉ là một con số được tạo ra bởi một thuật toán mà chưa ai kiểm chứng. Cả hai đều trông giống hệt nhau trên màn hình kết quả. Sự khác biệt hoàn toàn nằm ở phần tài liệu thẩm định, đó là lý do vì sao tài liệu đó đáng để bạn tìm hiểu.