یک آزمون روان‌سنجی در واقع چگونه ساخته می‌شود
از تعریف سازه تا انتشار هنجارها، این فرایند سال‌ها طول می‌کشد و بیشتر آنچه وارد آن می‌شود کنار گذاشته می‌شود. آشنایی با این مراحل روشن می‌کند که یک پرسشنامهٔ سریع اینترنتی کدام‌یک از آن‌ها را نادیده گرفته است.
یک ابزار روان‌سنجی که به مرحلهٔ انتشار می‌رسد، معمولاً پنج یا شش سال کار را پشت سر گذاشته و بیشتر آنچه برایش نوشته شده بود کنار گذاشته شده است. شناخت این توالی ارزش دارد، چون هر مرحلهٔ آن با یکی از راه‌هایی که یک آزمون می‌تواند ناکافی باشد مطابقت دارد.
1. تعریف سازه
پیش از نوشتن هر گویه، سازه باید به‌اندازه‌ای دقیق مشخص شود که بتوان گفت چه چیزی بیرون از آن قرار می‌گیرد. این کار شامل یک تعریف، یک بیان از ساختار بُعدی (یک بُعد یا چند بُعد، و در صورت چند بُعد، چگونگی ارتباط آن‌ها) و یک شرح صریح از سازه‌های همجوار است که قرار است سازهٔ مورد نظر از آن‌ها متمایز باشد.
نادیده گرفتن این مرحله سرچشمهٔ بیشتر ابزارهای زائد است. مقیاسی که از یک درک شهودی دربارهٔ یک مفهوم ساخته شود، معمولاً در نهایت صفتی جاافتاده را با نامی تازه اندازه می‌گیرد.
2. تولید مجموعهٔ گویه‌ها
گویه‌ها به‌مراتب بیش از آنچه باقی خواهد ماند نوشته می‌شوند، معمولاً سه تا پنج برابر تعداد نهایی. این گویه‌ها از نظریه، از ابزارهای موجود، از مصاحبه با افرادی که تجربهٔ موردنظر را دارند و از متخصصان موضوع به دست می‌آیند.
در این مرحله مجموعه از نظر پوشش محتوا بررسی می‌شود (آیا کل سازه را دربر می‌گیرد یا روی یک جنبه متمرکز شده است؟)، و همچنین از نظر سطح خوانایی، عبارت‌های دوگانه‌پرس و گویه‌هایی که در واقع دربارهٔ چیز دیگری می‌پرسند.
3. اجرای مقدماتی و حذف
مجموعه به نمونهٔ اول داده می‌شود. تحلیل در بیشتر موارد جنبهٔ حذفی دارد.
گویه‌هایی که تقریباً هیچ واریانسی ندارند حذف می‌شوند، چون پرسشی که همه یک‌جور به آن پاسخ می‌دهند هیچ‌کس را از دیگری متمایز نمی‌کند. گویه‌هایی که همبستگی ضعیفی با نمرهٔ کل دارند حذف می‌شوند. گویه‌هایی که بار عاملی متقاطع روی بیش از یک عامل دارند حذف می‌شوند. گویه‌هایی که میان گروه‌های جمعیت‌شناختی به دلایلی نامرتبط با صفت رفتار متفاوتی دارند، یعنی کارکرد افتراقی گویه، حذف می‌شوند، و این بررسی یکی از رایج‌ترین مواردی است که نادیده گرفته می‌شود.
آنچه باقی می‌ماند معمولاً یک‌سوم چیزی است که نوشته شده بود.
4. تأیید ساختار در نمونه‌ای تازه
این همان گامی است که ابزارهای جدی را از بقیه جدا می‌کند. تحلیل عاملی روی نمونهٔ ساخت، ساختاری را که از پیش طراحی شده بازیابی می‌کند، و چاره‌ای هم جز این ندارد، زیرا گویه‌ها برای تولید همان ساختار انتخاب شده‌اند. آزمون واقعی، تحلیل عاملی تأییدی در یک نمونهٔ مستقل است.
شمار زیادی از مقیاس‌های منتشرشده ساختار موردنظر خود را فقط در داده‌هایی بازیابی می‌کنند که برای ساختشان به کار رفته است. وقتی فرد دیگری داده‌های تازه گردآوری می‌کند، عامل‌ها ظاهر نمی‌شوند. این شکست به‌قدری رایج است که پرسش «آیا ساختار در یک نمونهٔ مستقل تأیید شده است؟» یکی از کارآمدترین پرسش‌ها دربارهٔ هر ابزاری است.
5. انباشت شواهد روایی
همبستگی با سنجه‌های جاافتاده از همان سازه. همبستگی با سازه‌هایی که باید از آن متمایز باشند و بهتر است پایین‌تر باشد. ارتباط با پیامدهای مهم. روایی افزایشی نسبت به آنچه از پیش وجود دارد. ثبات بازآزمایی در بازه‌ای متناسب با سازه.
این مرحله هرگز پایان نمی‌یابد. تا زمانی که ابزار در حال استفاده است ادامه دارد، و جایی است که ابزارها اغلب سال‌ها پس از انتشار ناکافی از آب درمی‌آیند.
6. ساخت هنجارها
نمونهٔ مرجعی که برای جمعیت موردنظر به‌اندازهٔ کافی بزرگ و معرف باشد، در جایی که صفت با سن یا جنسیت تغییر می‌کند طبقه‌بندی شده باشد، و سال و کشور آن مستند شده باشد. سپس به‌طور دوره‌ای تکرار می‌شود، چون هنجارها دچار رانش می‌شوند.
7. ترجمه، در صورتی که در جای دیگری به کار می‌رود
ترجمه یک تمرین زبانی نیست. انطباق درست شامل ترجمهٔ مستقیم، ترجمهٔ معکوس مستقل، بازبینی کارشناسان، مصاحبه‌های شناختی با گویشوران زبان مقصد و سپس یک مطالعهٔ روان‌سنجی تازه به زبان جدید است تا بررسی شود که آیا ساختار حفظ می‌شود و آیا گویه‌ها به‌طور هم‌ارز عمل می‌کنند. ابزاری که بدون آن مطالعه ترجمه شده باشد، در آن زبان ابزاری آزمون‌نشده است، هر اعتباری که در نسخهٔ اصلی داشته باشد.
این موضوع دربارهٔ آزمون‌های سریع چه معنایی دارد
آزمونی که در یک بعدازظهر نوشته شده باشد مرحلهٔ دوم را کامل کرده است. ممکن است نتیجه‌ای به‌ظاهر موجه تولید کند، یک صدک و یک بند توضیحات. مراحلی که از آن‌ها صرف‌نظر شده، همان مراحلی بود که مشخص می‌کرد آیا هیچ‌کدام از اینها معنایی دارد یا نه.
خودتان را بیازمایید
خواندن دربارهٔ سنجش یک چیز است و دیدن نمرهٔ خودتان همراه با منبع، نمونهٔ هنجار و محدودیت‌هایش چیز دیگری. شرکت در آزمون رایگان است و نیازی به ثبت‌نام نیست.
ادامه مطالعه
- روان‌سنجی چیست؟رشتهای که بررسی می‌کند یک اندازه‌گیری روانشناختی چقدر خوب است، و دلیل اینکه دو آزمون با پرسشهای مشابه میتوانند از نظر ارزش نتایجشان تفاوت بسیار زیادی داشته باشند.
- پایایی در آزمون‌های روانشناختی چیست؟پایایی یعنی ثبات اندازه‌گیری، نه درستی آن. یک آزمون می‌تواند بسیار پایا باشد و باز هم چیز نادرستی را بسنجد؛ به همین دلیل پایایی نخستین پرسشی است که مطرح می‌شود، اما هرگز آخرین پرسش نیست.
- روایی در آزمون‌های روانشناختی چیست؟روایی ویژگیِ یک آزمون نیست. روایی استدلالی است دربارهٔ اینکه آیا یک تفسیر مشخص از یک نمرهٔ مشخص، برای یک هدف مشخص، قابل دفاع است یا نه؛ و این استدلال برای هر کاربرد تازه باید از نو ساخته شود.
- روایی سازه چیست؟دشوارترین پرسش در اندازه‌گیری: اینکه آیا چیزی که اندازه میگیرید واقعاً به همان صورتی که تعریف کردهاید وجود دارد، و آیا ابزار شما به خود آن می‌رسد، نه به چیزی نزدیک به آن.
- روایی همگرا و تمایزیدو الزام آینهوار: یک سنجه باید با آنچه باید با آن همسو باشد همسو باشد، و از آنچه ادعا می‌کند نیست متمایز بماند. بیشتر ابزارهای ضعیف در مورد دوم شکست میخورند.
- آلفای کرونباخ چیست و چه چیزی نیستپرکاربردترین آماره در آزمون‌های روانشناختی و در عین حال پرتکرارترین آمارهای که اشتباه تفسیر می‌شود. آلفا نشان نمیدهد که یک مقیاس تکبُعدی است، و مقدار بالای آن اغلب نشانهٔ مشکل است، نه حُسن.
- خطای استاندارد اندازه‌گیری: میزان خطای احتمالی نمره شماهر نمرهای با یک حاشیهٔ خطا همراه است و در بیشتر آزمون‌های روانشناختی این حاشیه از آنچه افراد تصور می‌کنند وسیعتر است. این همان عددی است که به شما میگوید یک تفاوت واقعی است یا فقط نوفه.
- هنجارها و صدکها: نمرهٔ شما با چه چیزی مقایسه میشودنمره خام بهتنهایی قابل تفسیر نیست. این نمره تنها در مقایسه با یک گروه مرجع معنا پیدا می‌کند، و اینکه کدام گروه به کار رفته است، یکی از پرپیامدترین و کمتر اعلامشدهترین واقعیتها درباره هر آزمونی است.
- وقتی گفته می‌شود یک آزمون «اعتبارسنجیشده» است، چه معنایی دارد؟این واژه تنظیمشده نیست و محصولاتی که هیچ کاری برای آن انجام ندادهاند آن را آزادانه به کار میبرند. در اینجا میخوانید این واژه وقتی معنایی دارد چه معنایی دارد، و چهار پرسشی که این دو حالت را از هم جدا می‌کنند.
- چرا بیشتر آزمون‌های شخصیت اینترنتی پایا نیستندنه از آن رو که صادق نیستند، بلکه از آن رو که گامهایی که یک اندازه‌گیری را قابلاعتماد می‌کنند دیده نمی‌شوند، پرهزینهاند و نادیده گرفتنشان آسان است؛ و نادیده گرفتن آن‌ها هیچ تغییری در ظاهر نتیجه ایجاد نمی‌کند.
- خودگزارشی چه چیزهایی را می‌تواند بسنجد و چه چیزهایی را نمیتواندپرسشنامهها از شما میخواهند ناظر خودتان باشید، و این روش برای بعضی چیزها بهتر از بقیه جواب میدهد. دانستن اینکه این روش در کجا قوی است و در کجا ناکام می‌ماند، شیوهٔ خواندن هر نتیجه را تغییر میدهد.
- وقتی یک آزمون چیزی را پیشبینی می‌کند، یعنی چههمبستگی 0.30 در پژوهشهای شخصیت یافتهای قوی است، اما برای تصمیمگیری درباره یک فرد مبنایی ضعیف است. هر دو گزاره درستاند و فاصلهٔ میان آن‌ها عامل بیشتر سوءاستفادهها از نتایج آزمون است.
- غربالگری به معنای تشخیص نیستپرسشنامه غربالگری برای شناسایی حداکثر موارد ممکن ساخته می‌شود و در ازای آن نرخ بالای مثبت کاذب را میپذیرد. خواندن نمره غربالگری بهعنوان تشخیص، عکس چیزی است که این ابزار برای آن طراحی شده است.