Độ hiệu lực hội tụ và độ hiệu lực phân biệt

Độ hiệu lực hội tụ và độ hiệu lực phân biệt là hai nửa của một yêu cầu duy nhất. Một thước đo phải tương quan với những thứ mà về mặt lý thuyết nó phải tương quan, và không được tương quan quá cao với những thứ mà nó được cho là khác biệt. Đáp ứng một nửa mà không có nửa kia không phải là thành công một phần; đó thường là dấu hiệu cho thấy cấu trúc (construct) không phải là điều nó tự nhận.

Độ hiệu lực hội tụ

Bằng chứng hội tụ cho thấy một thước đo phù hợp với các chỉ báo khác của cùng một thứ. Một thang đo lo âu mới nên tương quan đáng kể với các thang đo lo âu đã được thiết lập, với đánh giá của lâm sàng viên, và, lý tưởng nhất, với thứ gì đó không phải là một bảng hỏi khác, chẳng hạn như các thước đo sinh lý học hoặc hành vi né tránh được quan sát.

Các hệ số tương quan ở đây thường được kỳ vọng trên 0,50, thường trên 0,70 khi thước đo đối chiếu là một công cụ đã được thiết lập vững chắc cho cùng cấu trúc. Dưới mức đó, hoặc thang đo mới hoặc thước đo đối chiếu đang đo lường một thứ khác.

Có một cái bẫy ở đây. Hệ số tương quan 0,95 với một thang đo hiện có không phải là thắng lợi, mà có nghĩa là công cụ mới chỉ là đóng gói lại, và câu hỏi trung thực trở thành nó bổ sung thêm điều gì. Độ hiệu lực hội tụ là một ngưỡng sàn, không phải một mục tiêu cần tối đa hóa.

Độ hiệu lực phân biệt

Bằng chứng phân biệt cho thấy thước đo vẫn tách biệt với các cấu trúc mà nó tuyên bố là khác biệt. Đây là nơi những thất bại thú vị xuất hiện.

Hình mẫu này lặp lại xuyên suốt tài liệu nghiên cứu. Nghị lực (grit) tương quan khoảng 0,84 với tính tận tâm, đủ gần để phân tích tổng hợp phát hiện ra rằng nó gần như không bổ sung gì cho dự đoán thành tích học tập một khi tính tận tâm đã được kiểm soát. Trí tuệ cảm xúc tự báo cáo trùng lặp nhiều với sự ổn định cảm xúc, hướng ngoại và tính tận tâm gộp lại. Phương sai chung xuyên suốt Bộ ba Hắc ám (Dark Triad) phần lớn biến mất một khi yếu tố Trung thực - Khiêm tốn từ mô hình HEXACO được tính đến. Trong mỗi trường hợp, cấu trúc được trình bày như một lãnh địa mới nhưng hóa ra chỉ là một vùng được đổi tên trên bản đồ đã có sẵn.

Độ hiệu lực phân biệt cũng là nơi các hiệu ứng phương pháp lộ diện. Nếu mọi cấu trúc tự báo cáo trong một nghiên cứu đều tương quan 0,4 với mọi cấu trúc khác, thì yếu tố chung ở đây có lẽ là phong cách trả lời của người tham gia hơn là bất kỳ đặc điểm tâm lý chung nào.

Phép kiểm định quyết định

Quy trình mang tính quyết định là độ hiệu lực gia tăng: đưa thước đo đã được thiết lập vào mô hình hồi quy trước, sau đó đưa thước đo mới vào, và xem liệu thước đo mới có giải thích thêm được phần phương sai nào trong kết quả đầu ra hay không. Nếu không, cấu trúc đó vẫn có thể thú vị về mặt lý thuyết, nhưng công cụ này không đo lường được điều gì mà lĩnh vực này chưa từng có.

Đây là một tiêu chuẩn khắt khe và rất nhiều thang đo đã công bố chưa từng được đưa qua phép kiểm định này. Khi được kiểm định, kết quả thường xuyên là phát hiện về sự dư thừa như trên. Đó không phải là một vụ bê bối, mà là quá trình chọn lọc khoa học bình thường, nhưng điều đó có nghĩa là mức độ phổ biến của một cấu trúc không cho biết gì về việc nó có vượt qua được phép kiểm định hay không.

Điều này thay đổi gì đối với người đọc

Khi một bài trắc nghiệm báo cáo nhiều điểm số, câu hỏi hữu ích là liệu những điểm số đó có thực sự khác biệt hay không. Bốn chiều kích tương quan 0,8 với nhau chỉ là một chiều kích với bốn nhãn khác nhau, và một hồ sơ được xây dựng từ chúng sẽ trông có vẻ phân hóa trong khi hầu như không mang thông tin độc lập nào.

Các công cụ công bố hệ số tương quan giữa các thang đo của mình cho phép bạn tự kiểm tra điều này. Các công cụ trình bày một kiểu bốn góc phần tư mà không bao giờ cho thấy các góc phần tư liên hệ với nhau như thế nào đã khiến việc kiểm tra trở nên bất khả thi, và đó thường chính là mục đích.