Vì sao hầu hết các bài trắc nghiệm tính cách trên internet không đáng tin cậy

Một bài trắc nghiệm tính cách miễn phí trên mạng và một công cụ đo lường tâm lý đã được kiểm chứng tạo ra kết quả trông giống hệt nhau: một điểm số, một bách phân vị, một đoạn văn mô tả về bạn. Sự khác biệt hoàn toàn nằm ở phần công việc mà bạn không thể nhìn thấy từ màn hình kết quả.

Điều này đáng để nói cho chính xác, bởi vì cách nhìn nhận thông thường, rằng các bài trắc nghiệm trên mạng là lừa đảo, phần lớn là sai và không mấy hữu ích. Đa số được tạo ra bởi những người không có ý định lừa dối. Chúng không đáng tin cậy vì những lý do mang tính cấu trúc.

Những điều thường bị bỏ qua

Phân tích câu hỏi. Trong một thang đo được xây dựng đúng cách, phần lớn các câu hỏi được soạn thảo ban đầu sẽ bị loại bỏ sau giai đoạn thử nghiệm: những câu hỏi mà không ai trả lời khác nhau, những câu hỏi tương quan kém với tổng điểm, những câu hỏi tải lên nhiều hơn một yếu tố, những câu hỏi có biểu hiện khác nhau giữa các nhóm tuổi hoặc ngôn ngữ. Một bài trắc nghiệm được viết và xuất bản mà không qua thử nghiệm sẽ giữ lại tất cả mọi thứ, kể cả những câu hỏi không hoạt động tốt.

Xác nhận cấu trúc độc lập. Phân tích yếu tố trên chính dữ liệu mà bạn đã dùng để xây dựng thang đo sẽ tái tạo lại cấu trúc mà bạn đã thiết kế. Việc xác nhận điều đó trên một mẫu dữ liệu mới là một nghiên cứu riêng biệt, và đây chính là bước mà phần lớn các thang đo thất bại.

Chuẩn. Bách phân vị phải đến từ một nguồn nào đó. Nếu trang web không nêu rõ nhóm dân số tham chiếu của mình, con số đó được tính ra hoặc là từ những người truy cập trước đó, một nhóm tự chọn với thành phần không xác định, hoặc là không dựa trên điều gì cụ thể cả.

Dữ liệu kiểm tra lặp lại. Để xác định rằng mọi người đạt điểm số tương tự vào tháng sau, cần phải tìm lại chính những người đó. Hầu như không ai làm điều này, nghĩa là tính ổn định mà từ "đặc điểm" hàm ý vẫn chưa được chứng minh.

Động lực thiết kế đi sai hướng

Một bài trắc nghiệm được xây dựng để thu hút tương tác được tối ưu hóa cho một kết quả khác so với một bài trắc nghiệm được xây dựng để đạt độ chính xác, và hai mục tiêu này tách rời nhau theo những cách có thể đoán trước.

Những kết quả mang tính tâng bốc hoạt động hiệu quả hơn. Một kết quả cho bạn biết điều gì đó không mấy dễ chịu sẽ ít được chia sẻ hơn, vì vậy các kết quả dần trôi về hướng những mô tả mà ai cũng nhận ra ở chính mình. Đây chính là hiệu ứng Barnum, đã được chứng minh vào những năm 1940 và được tái hiện một cách đáng tin cậy kể từ đó: người ta đánh giá những mô tả tính cách chung chung là chính xác cao độ đối với riêng bản thân mình.

Các kiểu loại hoạt động hiệu quả hơn các chiều kích. "Bạn là một Kiến trúc sư" dễ được chia sẻ hơn "bạn ở bách phân vị thứ 68 về tính cởi mở với một khoảng tin cậy rộng". Các kiểu loại cũng che giấu sai số đo lường, vì một người lệch một điểm về phía bên này hay bên kia của ranh giới phân loại sẽ nhận được những nhãn hoàn toàn khác nhau.

Ngắn gọn hoạt động hiệu quả hơn đầy đủ. Mỗi câu hỏi bổ sung đều làm mất đi một số người trả lời, vì vậy các bài trắc nghiệm bị cắt ngắn đến độ dài tối đa hóa tỷ lệ hoàn thành thay vì độ dài bao quát đầy đủ khái niệm cần đo.

Không điều nào trong số này là lời nói dối. Chúng là sự tối ưu hóa cho một chỉ số khác ngoài độ chính xác.

Cách nhận biết trong khoảng ba mươi giây

Hãy tìm xem có công cụ đo lường gốc được nêu tên cụ thể cùng với tác giả và năm xuất bản hay không. Hãy tìm xem có nêu rõ chuẩn được lấy từ nhóm dân số nào hay không. Hãy tìm xem có bất kỳ sự thừa nhận nào về những hạn chế hoặc sai số đo lường hay không. Hãy xem kết quả là một điểm số liên tục hay là một kiểu loại. Hãy xem cùng một trang đó có hứa hẹn xác định nghề nghiệp lý tưởng, bạn đời hoặc mục đích sống của bạn chỉ từ hai mươi câu hỏi hay không.

Một bài trắc nghiệm nêu tên công cụ đo lường của mình, trích dẫn nguồn gốc của nó, nêu rõ các chuẩn của nó, và nói rõ những gì nó không thể cho bạn biết là bài đã thực hiện đầy đủ công việc cần thiết. Một bài không làm bất kỳ điều nào trong số đó vẫn có thể là một cách dễ chịu để dành năm phút, nhưng con số mà nó tạo ra chỉ là trang trí.

Mọi công cụ đo lường trong danh mục của NOESIS đều nêu rõ nó triển khai bài trắc nghiệm đã được công bố nào, ai là người viết ra nó, vào năm nào, cách nó được chấm điểm ra sao, và những gì kết quả của nó không thể chứng minh được. Phần cuối cùng đó chính là điều đáng để đem ra so sánh.