روایی همگرا و تمایزی
دو الزام آینه‌وار: یک سنجه باید با آنچه باید با آن هم‌سو باشد هم‌سو باشد، و از آنچه ادعا می‌کند نیست متمایز بماند. بیشتر ابزارهای ضعیف در مورد دوم شکست می‌خورند.
روایی همگرا و روایی افتراقی دو نیمهٔ یک الزام واحدند. یک سنجه باید با چیزهایی که از نظر نظری باید با آن‌ها همبسته باشد همبستگی داشته باشد و نباید با چیزهایی که قرار است از آن‌ها متمایز باشد، همبستگی بسیار بالایی داشته باشد. برآورده‌کردن تنها یکی از این دو، موفقیت جزئی نیست؛ معمولاً نشانهٔ آن است که سازه همان چیزی نیست که ادعا می‌کند.
روایی همگرا
شواهد همگرا نشان می‌دهند که یک سنجه با دیگر شاخص‌های همان سازه هم‌راستا است. یک مقیاس جدید اضطراب باید همبستگی قابل‌توجهی با مقیاس‌های معتبر اضطراب، با درجه‌بندی‌های بالینی و، در حالت ایده‌آل، با چیزی که پرسشنامهٔ دیگری نیست، مانند سنجه‌های فیزیولوژیک یا رفتار اجتنابی مشاهده‌شده داشته باشد.
معمولاً انتظار می‌رود همبستگی‌ها در اینجا بالاتر از 0.50 باشند و وقتی سنجهٔ مقایسه ابزاری کاملاً تثبیت‌شده برای همان سازه است، اغلب بالاتر از 0.70. پایین‌تر از این مقدار، یا مقیاس جدید یا سنجهٔ مقایسه چیز دیگری را می‌سنجد.
یک دام وجود دارد. همبستگی 0.95 با یک مقیاس موجود پیروزی نیست؛ به این معناست که ابزار جدید بازبسته‌بندی همان مقیاس است و پرسش صادقانه این می‌شود که چه چیزی اضافه می‌کند. روایی همگرا یک حد پایین است، نه هدفی که باید به حداکثر رسانده شود.
روایی افتراقی
شواهد افتراقی نشان می‌دهند که سنجه از سازه‌هایی که ادعا می‌کند با آن‌ها تفاوت دارد، جدا می‌ماند. شکست‌های جالب توجه در همین‌جا رخ می‌دهند.
این الگو در پیشینهٔ پژوهشی بارها تکرار می‌شود. همبستگی سرسختی (grit) با وظیفه‌شناسی حدود 0.84 است، آن‌قدر نزدیک که فراتحلیل نشان داد پس از کنترل وظیفه‌شناسی، تقریباً هیچ چیزی به پیش‌بینی تحصیلی نمی‌افزاید. هوش هیجانی خودگزارشی همپوشانی زیادی با ترکیب ثبات هیجانی، برون‌گرایی و وظیفه‌شناسی دارد. واریانس مشترک میان صفات سه‌گانهٔ تاریک تا حد زیادی با درنظرگرفتن صداقت-فروتنی از مدل HEXACO ناپدید می‌شود. در هر یک از این موارد، سازه به‌عنوان قلمرویی تازه معرفی شد و معلوم شد ناحیه‌ای با نام جدید از یک نقشهٔ موجود است.
روایی افتراقی همچنین جایی است که اثرهای روش آشکار می‌شوند. اگر در یک پژوهش هر سازهٔ خودگزارشی با هر سازهٔ دیگر همبستگی 0.4 داشته باشد، عامل مشترک احتمالاً سبک پاسخ‌دهی پاسخ‌دهنده است، نه روان‌شناسی مشترکی میان آن‌ها.
آزمونی که موضوع را فیصله می‌دهد
روش تعیین‌کننده روایی افزایشی است: ابتدا سنجهٔ تثبیت‌شده را وارد یک رگرسیون کنید، سپس سنجهٔ جدید را، و ببینید آیا سنجهٔ جدید واریانس اضافی در پیامد را تبیین می‌کند یا نه. اگر نکند، ممکن است سازه همچنان از نظر نظری جالب باشد، اما ابزار چیزی را نمی‌سنجد که حوزه از قبل در اختیار نداشته است.
این معیار سخت‌گیرانه‌ای است و شمار زیادی از مقیاس‌های منتشرشده هرگز تحت آن بررسی نشده‌اند. وقتی بررسی می‌شوند، نتیجه اغلب همان یافتهٔ افزونگی است که در بالا آمد. این رسوایی نیست؛ هرس عادی علمی است. اما به این معناست که محبوبیت یک سازه دربارهٔ اینکه آیا از این آزمون سربلند بیرون می‌آید یا نه، اطلاعاتی به ما نمی‌دهد.
این موضوع برای خواننده چه تغییری ایجاد می‌کند
وقتی یک آزمون چند نمره گزارش می‌کند، پرسش مفید این است که آیا آن نمره‌ها واقعاً از هم متمایزند. چهار بُعد که همبستگی 0.8 با یکدیگر دارند، یک بُعد با چهار برچسب‌اند و نیم‌رخی که از آن‌ها ساخته شود متمایز به نظر می‌رسد، در حالی که تقریباً هیچ اطلاعات مستقلی در خود ندارد.
ابزارهایی که همبستگی‌های بین مقیاس‌های خود را گزارش می‌کنند، به شما امکان می‌دهند خودتان این را بررسی کنید. ابزارهایی که یک تیپ چهار‌ربعی را بدون نشان‌دادن رابطهٔ ربع‌ها با یکدیگر ارائه می‌کنند، این بررسی را ناممکن کرده‌اند، و معمولاً همین هدف است.
خودتان را بیازمایید
خواندن دربارهٔ سنجش یک چیز است و دیدن نمرهٔ خودتان همراه با منبع، نمونهٔ هنجار و محدودیت‌هایش چیز دیگری. شرکت در آزمون رایگان است و نیازی به ثبت‌نام نیست.
ادامه مطالعه
- روانسنجی چیست؟رشتهای که بررسی می‌کند یک اندازه‌گیری روانشناختی چقدر خوب است، و دلیل اینکه دو آزمون با پرسشهای مشابه میتوانند از نظر ارزش نتایجشان تفاوت بسیار زیادی داشته باشند.
- پایایی در آزمونهای روانشناختی چیست؟پایایی یعنی ثبات اندازه‌گیری، نه درستی آن. یک آزمون میتواند بسیار پایا باشد و باز هم چیز نادرستی را بسنجد؛ به همین دلیل پایایی نخستین پرسشی است که مطرح می‌شود، اما هرگز آخرین پرسش نیست.
- روایی در آزمونهای روانشناختی چیست؟روایی ویژگیِ یک آزمون نیست. روایی استدلالی است دربارهٔ اینکه آیا یک تفسیر مشخص از یک نمرهٔ مشخص، برای یک هدف مشخص، قابل دفاع است یا نه؛ و این استدلال برای هر کاربرد تازه باید از نو ساخته شود.
- روایی سازه چیست؟دشوارترین پرسش در اندازه‌گیری: اینکه آیا چیزی که اندازه میگیرید واقعاً به همان صورتی که تعریف کردهاید وجود دارد، و آیا ابزار شما به خود آن می‌رسد، نه به چیزی نزدیک به آن.
- آلفای کرونباخ چیست و چه چیزی نیستپرکاربردترین آماره در آزمونهای روانشناختی و در عین حال پرتکرارترین آمارهای که اشتباه تفسیر می‌شود. آلفا نشان نمی‌دهد که یک مقیاس تکبُعدی است، و مقدار بالای آن اغلب نشانهٔ مشکل است، نه حُسن.
- خطای استاندارد اندازه‌گیری: میزان خطای احتمالی نمره شماهر نمرهای با یک حاشیهٔ خطا همراه است و در بیشتر آزمونهای روانشناختی این حاشیه از آنچه افراد تصور می‌کنند وسیعتر است. این همان عددی است که به شما میگوید یک تفاوت واقعی است یا فقط نوفه.
- هنجارها و صدکها: نمرهٔ شما با چه چیزی مقایسه میشودنمره خام بهتنهایی قابل تفسیر نیست. این نمره تنها در مقایسه با یک گروه مرجع معنا پیدا می‌کند، و اینکه کدام گروه به کار رفته است، یکی از پرپیامدترین و کمتر اعلامشدهترین واقعیتها درباره هر آزمونی است.
- یک آزمون روانسنجی در واقع چگونه ساخته میشوداز تعریف سازه تا انتشار هنجارها، این فرایند سالها طول میکشد و بیشتر آنچه وارد آن می‌شود کنار گذاشته می‌شود. آشنایی با این مراحل روشن می‌کند که یک پرسشنامهٔ سریع اینترنتی کدامیک از آن‌ها را نادیده گرفته است.
- وقتی گفته می‌شود یک آزمون «اعتبارسنجیشده» است، چه معنایی دارد؟این واژه تنظیمشده نیست و محصولاتی که هیچ کاری برای آن انجام ندادهاند آن را آزادانه به کار میبرند. در اینجا میخوانید این واژه وقتی معنایی دارد چه معنایی دارد، و چهار پرسشی که این دو حالت را از هم جدا می‌کنند.
- چرا بیشتر آزمونهای شخصیت اینترنتی پایا نیستندنه از آن رو که صادق نیستند، بلکه از آن رو که گامهایی که یک اندازه‌گیری را قابلاعتماد می‌کنند دیده نمیشوند، پرهزینهاند و نادیده گرفتنشان آسان است؛ و نادیده گرفتن آن‌ها هیچ تغییری در ظاهر نتیجه ایجاد نمیکند.
- خودگزارشی چه چیزهایی را میتواند بسنجد و چه چیزهایی را نمیتواندپرسشنامهها از شما میخواهند ناظر خودتان باشید، و این روش برای بعضی چیزها بهتر از بقیه جواب می‌دهد. دانستن اینکه این روش در کجا قوی است و در کجا ناکام می‌ماند، شیوهٔ خواندن هر نتیجه را تغییر می‌دهد.
- وقتی یک آزمون چیزی را پیش‌بینی می‌کند، یعنی چههمبستگی 0.30 در پژوهشهای شخصیت یافتهای قوی است، اما برای تصمیمگیری درباره یک فرد مبنایی ضعیف است. هر دو گزاره درستاند و فاصلهٔ میان آن‌ها عامل بیشتر سوءاستفادهها از نتایج آزمون است.
- غربالگری به معنای تشخیص نیستپرسشنامه غربالگری برای شناسایی حداکثر موارد ممکن ساخته می‌شود و در ازای آن نرخ بالای مثبت کاذب را میپذیرد. خواندن نمره غربالگری به‌عنوان تشخیص، عکس چیزی است که این ابزار برای آن طراحی شده است.