وقتی گفته می‌شود یک آزمون «اعتبارسنجی‌شده» است، چه معنایی دارد؟
این واژه تنظیم‌شده نیست و محصولاتی که هیچ کاری برای آن انجام نداده‌اند آن را آزادانه به کار می‌برند. در اینجا می‌خوانید این واژه وقتی معنایی دارد چه معنایی دارد، و چهار پرسشی که این دو حالت را از هم جدا می‌کنند.
«اعتبارسنجی علمی‌شده» اصطلاحی حفاظت‌شده نیست. هیچ نهادی آن را تأیید نمی‌کند، هیچ مرجعی آن را ممیزی نمی‌کند و روی محصولاتی دیده می‌شود که تمام شواهدشان این است که افراد زیادی آن‌ها را انجام داده‌اند. شایسته است بدانید این عبارت در کاربرد درست خود به چه معناست.
خلاصه کوتاه
یک ابزار دارای روایی، سابقه‌ای منتشرشده دارد که نشان می‌دهد چه چیزی را اندازه می‌گیرد، با چه دقتی، در چه جمعیت‌هایی و نمره‌های آن را به‌طور مشروع می‌توان برای چه منظوری به کار برد. روایی‌سنجی یک گواهی نیست. مجموعه‌ای از شواهد است که معمولاً طی سال‌ها گردآوری می‌شود و معمولاً شامل یافته‌هایی است که کاربرد ابزار را محدود می‌کنند، نه اینکه از آن تمجید کنند.
وجود محدودیت‌های مستندشده یکی از نشانه‌های بهتر است. ادبیات واقعی روایی‌سنجی پر از آن‌هاست: این مقیاس در نوجوانان عملکرد ضعیفی دارد، آن جنبه تکرارپذیر نیست، نقطه برش به جمعیت وابسته است. محصولی که فقط نقاط قوت را گزارش می‌کند، روایی‌سنجی خود را منتشر نکرده است؛ تبلیغات خود را منتشر کرده است.
چهار پرسش کلیدی
منبع انتشار چیست؟ یک ابزار دارای روایی، مقاله‌ای اصلی در یک نشریه داوری‌شده دارد، همراه با نویسندگان، سال انتشار و معمولاً یک DOI. آن مقاله گزارش می‌کند که گویه‌ها چگونه تدوین شده‌اند و ویژگی‌های روان‌سنجی اولیه چه بوده است. اگر هیچ‌کس نتواند نام آن مقاله را بگوید، روایی‌ای وجود ندارد که بتوان دربارهٔ آن بحث کرد.
آیا ساختار را فرد دیگری تأیید کرده است؟ تیم سازنده همان ساختاری را بازیابی می‌کند که خودش طراحی کرده است. آنچه اهمیت دارد این است که آیا گروهی مستقل، با داده‌های مستقل، به همان نتیجه رسیده است یا نه. این آموزنده‌ترین پرسشی است که می‌توانید بپرسید و بیش از همه بی‌پاسخ می‌ماند.
هنجارها بر پایهٔ کدام جمعیت و در چه زمانی ساخته شده‌اند؟ نمره عبارت است از جایگاه در یک توزیع مرجع. ابزاری که صدک را گزارش می‌کند اما نمی‌گوید به کدام جمعیت اشاره دارد، عددی بی‌مخرج به شما داده است.
چه چیزی اضافه می‌کند؟ یعنی روایی افزایشی نسبت به یک سنجهٔ تثبیت‌شده. بسیاری از سازه‌های برندسازی‌شده در اینجا شکست می‌خورند و آن‌قدر با یک صفت موجود همبستگی بالا دارند که هیچ واریانس اضافی‌ای را در هیچ چیزی توضیح نمی‌دهند. این نتیجه‌ای عادی از بررسی علمی است و تا کسی آزمون را اجرا نکند، دیده نمی‌شود.
ترجمه چه پیچیدگی‌ای ایجاد می‌کند
ابزاری که به زبان انگلیسی روایی‌سنجی شده، به همین دلیل به زبان آلمانی روایی‌سنجی‌شده نیست. انطباق فرهنگی درست مستلزم ترجمهٔ رفت‌وبرگشتی، بازبینی کارشناسان، مصاحبهٔ شناختی و سپس یک مطالعهٔ روان‌سنجی تازه به زبان جدید است تا بررسی شود که آیا ساختار عاملی برقرار می‌ماند و آیا گویه‌ها در گروه‌های مختلف عملکرد معادلی دارند.
ابزارهایی که این مراحل را رد می‌کنند فراوانند. پرسشنامه‌ای که روایی‌سنجی اصلی آن بی‌نقص است، ممکن است در زبانی که یکی از گویه‌های کلیدی بار معنایی متفاوتی دارد، رفتار کاملاً متفاوتی نشان دهد و بدون انجام مطالعه راهی برای دانستن آن وجود ندارد. وقتی آزمونی به ده زبان ارائه می‌شود، پرسش مفید این است که آیا به ده زبان روایی‌سنجی شده یا فقط به یک زبان روایی‌سنجی شده و به نه زبان دیگر ترجمه شده است.
آنچه روایی‌سنجی تضمین نمی‌کند
روایی‌سنجی نمره را قطعی نمی‌کند. ابزار دارای روایی همچنان خطای اندازه‌گیری دارد، همچنان یک قاعدهٔ سطح جمعیتی را توصیف می‌کند نه سرنوشت فردی را، و همچنان فقط آنچه را می‌سنجد که گویه‌هایش به آن می‌رسند.
آنچه روایی‌سنجی فراهم می‌کند، حدود قابل‌شناخت است. می‌توانید بفهمید چه مقدار خطا، در کدام جمعیت و برای چه منظوری وجود دارد. این ادعایی کوچک‌تر از «این آزمون نشان می‌دهد شما واقعاً چه کسی هستید» است و تنها ادعایی است که در برابر بررسی دوام می‌آورد.
اگر می‌خواهید ببینید در صورت وجود، مستندات چه شکلی دارند، هر آزمون در فهرست آزمون‌های NOESIS ابزاری را که پیاده‌سازی می‌کند، نویسندگان و سال آن، روش نمره‌گذاری و شواهد پشتوانهٔ آن را نام می‌برد، از جمله جایی که آن شواهد محل مناقشه است.
خودتان را بیازمایید
خواندن دربارهٔ سنجش یک چیز است و دیدن نمرهٔ خودتان همراه با منبع، نمونهٔ هنجار و محدودیت‌هایش چیز دیگری. شرکت در آزمون رایگان است و نیازی به ثبت‌نام نیست.
ادامه مطالعه
- روان‌سنجی چیست؟رشتهای که بررسی می‌کند یک اندازه‌گیری روانشناختی چقدر خوب است، و دلیل اینکه دو آزمون با پرسشهای مشابه میتوانند از نظر ارزش نتایجشان تفاوت بسیار زیادی داشته باشند.
- پایایی در آزمون‌های روانشناختی چیست؟پایایی یعنی ثبات اندازه‌گیری، نه درستی آن. یک آزمون میتواند بسیار پایا باشد و باز هم چیز نادرستی را بسنجد؛ به همین دلیل پایایی نخستین پرسشی است که مطرح می‌شود، اما هرگز آخرین پرسش نیست.
- روایی در آزمون‌های روانشناختی چیست؟روایی ویژگیِ یک آزمون نیست. روایی استدلالی است دربارهٔ اینکه آیا یک تفسیر مشخص از یک نمرهٔ مشخص، برای یک هدف مشخص، قابل دفاع است یا نه؛ و این استدلال برای هر کاربرد تازه باید از نو ساخته شود.
- روایی سازه چیست؟دشوارترین پرسش در اندازه‌گیری: اینکه آیا چیزی که اندازه میگیرید واقعاً به همان صورتی که تعریف کردهاید وجود دارد، و آیا ابزار شما به خود آن میرسد، نه به چیزی نزدیک به آن.
- روایی همگرا و تمایزیدو الزام آینهوار: یک سنجه باید با آنچه باید با آن همسو باشد همسو باشد، و از آنچه ادعا می‌کند نیست متمایز بماند. بیشتر ابزارهای ضعیف در مورد دوم شکست می‌خورند.
- آلفای کرونباخ چیست و چه چیزی نیستپرکاربردترین آماره در آزمون‌های روانشناختی و در عین حال پرتکرارترین آمارهای که اشتباه تفسیر می‌شود. آلفا نشان نمیدهد که یک مقیاس تکبُعدی است، و مقدار بالای آن اغلب نشانهٔ مشکل است، نه حُسن.
- خطای استاندارد اندازه‌گیری: میزان خطای احتمالی نمره شماهر نمرهای با یک حاشیهٔ خطا همراه است و در بیشتر آزمون‌های روانشناختی این حاشیه از آنچه افراد تصور می‌کنند وسیعتر است. این همان عددی است که به شما میگوید یک تفاوت واقعی است یا فقط نوفه.
- هنجارها و صدکها: نمرهٔ شما با چه چیزی مقایسه میشودنمره خام بهتنهایی قابل تفسیر نیست. این نمره تنها در مقایسه با یک گروه مرجع معنا پیدا می‌کند، و اینکه کدام گروه به کار رفته است، یکی از پرپیامدترین و کمتر اعلامشدهترین واقعیتها درباره هر آزمونی است.
- یک آزمون روان‌سنجی در واقع چگونه ساخته میشوداز تعریف سازه تا انتشار هنجارها، این فرایند سال‌ها طول میکشد و بیشتر آنچه وارد آن می‌شود کنار گذاشته می‌شود. آشنایی با این مراحل روشن می‌کند که یک پرسشنامهٔ سریع اینترنتی کدامیک از آن‌ها را نادیده گرفته است.
- چرا بیشتر آزمون‌های شخصیت اینترنتی پایا نیستندنه از آن رو که صادق نیستند، بلکه از آن رو که گامهایی که یک اندازه‌گیری را قابلاعتماد می‌کنند دیده نمیشوند، پرهزینهاند و نادیده گرفتنشان آسان است؛ و نادیده گرفتن آن‌ها هیچ تغییری در ظاهر نتیجه ایجاد نمی‌کند.
- خودگزارشی چه چیزهایی را میتواند بسنجد و چه چیزهایی را نمیتواندپرسشنامهها از شما میخواهند ناظر خودتان باشید، و این روش برای بعضی چیزها بهتر از بقیه جواب می‌دهد. دانستن اینکه این روش در کجا قوی است و در کجا ناکام می‌ماند، شیوهٔ خواندن هر نتیجه را تغییر می‌دهد.
- وقتی یک آزمون چیزی را پیشبینی می‌کند، یعنی چههمبستگی 0.30 در پژوهشهای شخصیت یافتهای قوی است، اما برای تصمیمگیری درباره یک فرد مبنایی ضعیف است. هر دو گزاره درستاند و فاصلهٔ میان آن‌ها عامل بیشتر سوءاستفادهها از نتایج آزمون است.
- غربالگری به معنای تشخیص نیستپرسشنامه غربالگری برای شناسایی حداکثر موارد ممکن ساخته می‌شود و در ازای آن نرخ بالای مثبت کاذب را میپذیرد. خواندن نمره غربالگری بهعنوان تشخیص، عکس چیزی است که این ابزار برای آن طراحی شده است.