روایی در آزمون‌های روان‌شناختی چیست؟

روایی به این پرسش می‌پردازد که آیا یک آزمون آنچه را ادعا می‌کند می‌سنجد یا نه، و آیا نتیجه‌گیری‌هایی که مردم از نمره‌های آن می‌کنند موجه است. این پرسش محوری روان‌سنجی است و بیشتر وقت‌ها به‌جای شواهد، با یک ادعای تبلیغاتی پاسخ داده می‌شود.

برداشت امروزی، که از کارهای مسیک در دهه ۱۹۸۰ تاکنون پابرجا مانده، این است که روایی ویژگی ثابتی از یک ابزار نیست. روایی ویژگیِ یک تفسیر از نمره‌ها برای یک کاربرد مشخص است. یک پرسشنامهٔ واحد می‌تواند برای توصیف خودپنداره‌ی فرد به‌خوبی اعتباریابی شده باشد و برای تصمیم‌گیری دربارهٔ استخدام او اصلاً اعتباریابی نشده باشد. گفتن اینکه «این آزمون روا است» بدون اینکه بگوییم برای چه، ادعا نیست؛ شعار است.

انواع شواهد

روایی از انباشت شواهدِ چند نوع ساخته می‌شود. متون قدیمی‌تر این انواع را چند گونهٔ جداگانهٔ روایی معرفی می‌کنند؛ دیدگاه کنونی آن‌ها را استدلال‌های متفاوتی می‌داند که از یک ادعای واحد پشتیبانی می‌کنند.

شواهد محتوایی می‌پرسد که آیا گویه‌ها سازه را به‌درستی پوشش می‌دهند. مقیاس افسردگی‌ای که فقط دربارهٔ خواب و اشتها بپرسد، نشانه‌های جسمانی را پوشش می‌دهد و نشانه‌های خلقی و شناختی را از قلم می‌اندازد. پوشش محتوایی معمولاً را متخصصان موضوع قضاوت می‌کنند و دلیل اینکه مقیاس‌های بسیار کوتاه همیشه یک مصالحه‌اند همین است.

شواهد ساختار درونی می‌پرسد که آیا گویه‌ها همان‌طور که نظریه می‌گوید گروه‌بندی می‌شوند. اگر الگویی چهار جنبهٔ متمایز را ادعا کند، تحلیل عاملی باید چهار عامل را بازیابی کند، و نکتهٔ مهم اینکه در یک نمونهٔ مستقل، نه فقط در نمونه‌ای که مقیاس روی آن ساخته شده است. بسیاری از ابزارها ساختار موردنظر خود را در نمونهٔ تدوین بازیابی می‌کنند و در نمونهٔ دیگران ناکام می‌مانند.

روابط با متغیرهای دیگر جایی است که بیشتر کار انجام می‌شود. شواهد همگرا نشان می‌دهد مقیاس با چیزهایی که باید با آن‌ها همبسته باشد همبسته است. شواهد افتراقی نشان می‌دهد با چیزهایی که باید از آن‌ها متمایز باشد همبستگی بیش‌ازحد بالایی ندارد؛ این الزام همیشه نادیده گرفته می‌شود و بسیاری از سازه‌های تازه‌برچسب‌خورده را از پا درمی‌آورد. شواهد ملاکی نشان می‌دهد نمره با پیامدی مهم مرتبط است، چه هم‌زمان اندازه‌گیری شده باشد و چه از پیش پیش‌بینی شده باشد.

شواهد پیامدی می‌پرسد وقتی آزمون به کار می‌رود چه اتفاقی می‌افتد. اگر ابزاری به‌طور نظام‌مند، به دلایلی نامرتبط با سازه، یک گروه را در موقعیت نامطلوب قرار دهد، این یک مشکل روایی است، نه صرفاً یک مشکل اخلاقی.

پرسشی که بیشتر ادعاها را آشکار می‌کند

تیزترین محک برای ادعای روایی، روایی افزایشی است: آیا این ابزار چیزی بیش از آنچه یک سنجهٔ ارزان‌تر، قدیمی‌تر و جاافتاده می‌گوید به شما می‌دهد؟

شمار قابل‌توجهی از سازه‌های برچسب‌دار در اینجا شکست می‌خورند. آن‌ها با یکی از بُعدهای بزرگ پنج‌گانه همبستگی 0.7 یا بیشتر دارند، همان پیامدها را با همان اندازه پیش‌بینی می‌کنند، و وقتی سنجهٔ قدیمی‌تر از نظر آماری کنترل شود چیزی اضافه نمی‌کنند. سازه جدید است؛ اندازه‌گیری جدید نیست. به همین دلیل است که بخش‌های نقد در مستندات جدی ابزارها این‌قدر اغلب حول محور زائد بودن می‌چرخد، نه نادقیق بودن.

به چه چیزی باید توجه کرد

وقتی کسی ادعا می‌کند آزمونی اعتباریابی شده است، پرسش‌های مفید مشخص هستند. در برابر کدام ملاک اعتباریابی شده است؟ در چه جمعیتی و با چه حجمی؟ آیا ساختار عاملی در یک نمونهٔ مستقل تأیید شده است؟ آیا شواهد منتشرشده‌ای از پژوهشگرانی وجود دارد که هیچ منفعت تجاری در پاسخ ندارند؟ آیا نسبت به یک گزینهٔ جاافتاده چیزی اضافه می‌کند؟

ابزاری که پاسخ‌های صادقانه‌ای به این پرسش‌ها دارد، با همهٔ محدودیت‌هایش، ارزش جدی گرفتن دارد. ابزاری که اعتباریابی‌اش به یک صفحهٔ توصیه‌نامه و این ادعا خلاصه می‌شود که میلیون‌ها نفر آن را انجام داده‌اند، به پرسشی کاملاً متفاوت پاسخ داده است: محبوبیت شاهد نیست، و شمار افرادی که آزمونی را داده‌اند هیچ چیزی دربارهٔ معنادار بودن نمره‌های آن نمی‌گوید.