وقتی یک آزمون چیزی را پیش‌بینی می‌کند، یعنی چه

پژوهش‌های شخصیت گزارش می‌کنند که وظیفه‌شناسی عملکرد شغلی را پیش‌بینی می‌کند. بیشتر افراد با خواندن این جمله چیزی بسیار قوی‌تر از آنچه داده‌ها نشان می‌دهند در ذهن خود مجسم می‌کنند. فاصلهٔ میان ادعای آماری و معنای روزمرهٔ «پیش‌بینی می‌کند» همان جایی است که بیشتر سوءاستفاده‌ها از آزمون‌های روان‌شناختی آغاز می‌شود.

اعداد مربوط

اندازه‌های اثر در پژوهش‌های شخصیت معمولاً به صورت همبستگی گزارش می‌شوند. مقادیر فراتحلیلی برای روابطی که به‌خوبی تثبیت شده‌اند معمولاً بین 0.20 و 0.35 قرار می‌گیرند. رابطهٔ وظیفه‌شناسی و عملکرد شغلی حدود 0.20 تا 0.25 است. رابطهٔ رضایت شغلی و عملکرد شغلی حدود 0.30 است. توانایی ذهنی عمومی، قوی‌ترین پیش‌بین منفرد در این حوزه، برای کارهای پیچیده تقریباً به 0.50 می‌رسد.

اگر یک همبستگی را به توان دو برسانید، نسبت واریانس تبیین‌شده به دست می‌آید. همبستگی 0.25 حدود شش درصد از تفاوت‌های میان افراد را توضیح می‌دهد. نود و چهار درصد باقی‌مانده به چیزهای دیگری مربوط است: توانایی، فرصت، آموزش، مدیریت، سلامت و شانس.

چرا 0.25 با این حال یک یافتهٔ واقعی است

در مقیاس جمعیت، همبستگی‌های کوچک اثرهای کلی قابل‌توجهی ایجاد می‌کنند. اگر هزار نفر را انتخاب می‌کنید، پیش‌بینی با همبستگی 0.25 میانگین نتایج شما را به‌طور قابل‌سنجش و مکرر بهبود می‌دهد. شرکت‌های بیمه و اپیدمیولوژیست‌ها کل فعالیت‌های خود را بر اثرهایی در همین اندازه بنا می‌کنند.

اما نکته این است که سود کلی و پیش‌بینی فردی دو کمیت متفاوت‌اند. همبستگی 0.25 یعنی در میان کسانی که نمرهٔ بالا می‌گیرند، تعداد بیشتری نسبت به کسانی که نمرهٔ پایین می‌گیرند عملکرد خوبی خواهند داشت، و همچنین یعنی تعداد زیادی از افراد با نمرهٔ بالا عملکرد ضعیفی خواهند داشت و تعداد زیادی از افراد با نمرهٔ پایین عالی عمل خواهند کرد. هر دو گزاره از همین یک عدد نتیجه می‌شوند.

مورد فردی

این همان مرحله‌ای است که نادیده گرفته می‌شود. همبستگی رابطهٔ میان دو توزیع را توصیف می‌کند. این همبستگی اجازهٔ هیچ ادعایی دربارهٔ یک فرد خاص را نمی‌دهد.

اگر وظیفه‌شناسی با عملکرد همبستگی 0.25 داشته باشد، دانستن نمرهٔ وظیفه‌شناسی یک فرد دامنهٔ محتمل عملکرد او را فقط اندکی محدود می‌کند. فاصلهٔ پیش‌بینی برای یک فرد همچنان آن‌قدر پهن است که تقریباً کل دامنهٔ نتایج را در بر می‌گیرد. اینکه به شما گفته شود در وظیفه‌شناسی در صدک 80 قرار دارید، دربارهٔ اینکه در یک شغل مشخص چگونه عمل خواهید کرد، اطلاعات بسیار کمی به شما می‌دهد.

به همین دلیل، استفاده از نمره‌های شخصیت به‌عنوان فیلتر اصلی گزینش، حتی وقتی پژوهش‌های پایه معتبر باشند، پشتوانهٔ ضعیفی دارد. پژوهش از این ادعا پشتیبانی می‌کند که این صفت اهمیت دارد. اما از این ادعا پشتیبانی نمی‌کند که یک نمره به شما می‌گوید متقاضی چه خواهد کرد.

دو احتیاط دیگر

پیش‌بینی کردن و علت بودن یکسان نیستند. تقریباً همهٔ این پژوهش‌ها همبستگی‌اند. اینکه وظیفه‌شناسی پیامدهای سلامت را پیش‌بینی می‌کند، هم با این سازگار است که وظیفه‌شناسی موجب رفتار سلامت بهتر می‌شود، هم با اینکه عاملی سوم هر دو را ایجاد می‌کند، و هم با علیت معکوس. طرح‌های طولی امکان‌ها را محدود می‌کنند، اما به‌ندرت آن‌ها را کاملاً می‌بندند.

ملاک‌های خودگزارشی اعداد را باد می‌کنند. وقتی هم پیش‌بین و هم پیامد را همان فرد در همان بعدازظهر خودگزارشی می‌کند، واریانس روش مشترک همبستگی را بالا می‌برد. پژوهش‌هایی که از پیامدهای عینی یا ارزیابی‌های اطرافیان استفاده می‌کنند معمولاً اثرهای کوچک‌تری گزارش می‌کنند، و همین‌ها هستند که باید وزن بیشتری به آن‌ها داد.

نمره واقعاً به چه کاری می‌آید

نمرهٔ آزمون اگر به‌عنوان توصیف خوانده شود و نه پیشگویی، واقعاً مفید است. این نمره به شما می‌گوید در یک صفت که پیامدهای مستند دارد، نسبت به یک گروه مرجع در چه جایگاهی هستید، و به شما واژگانی می‌دهد برای الگویی که شاید متوجهش شده بودید ولی نمی‌توانستید نامی برایش بگذارید.

داشتن این چیز ارزشمند است. اما با یک پیش‌بینی تفاوت دارد، و این تمایز را یک گزارش صادقانه باید خودش برای شما روشن کند، نه اینکه آن را به استنباط شما واگذارد.