خطای استاندارد اندازه‌گیری: میزان خطای احتمالی نمره شما
هر نمره‌ای با یک حاشیهٔ خطا همراه است و در بیشتر آزمون‌های روان‌شناختی این حاشیه از آنچه افراد تصور می‌کنند وسیع‌تر است. این همان عددی است که به شما می‌گوید یک تفاوت واقعی است یا فقط نوفه.
خطای استاندارد اندازه‌گیری، ضریب پایایی انتزاعی را به چیزی ملموس تبدیل می‌کند: یک بازهٔ بالا و پایین در اطراف نمره. این شاخص به پرسشی پاسخ می‌دهد که بیشتر صفحه‌های نتایج بی‌پاسخ می‌گذارند: اگر همین آزمون را بعدازظهر روز دیگری داده بودم، این عدد چقدر می‌توانست متفاوت باشد؟
فرمول ساده است. انحراف معیار مقیاس را در جذر یک منهای پایایی آن ضرب کنید. برای مقیاسی با انحراف معیار 10 و پایایی 0.85، خطای استاندارد حدود 3.9 نمره است.
این بازه واقعاً چه چیزی را پوشش می‌دهد
تقریباً در دو سوم موارد، جایگاه واقعی فرد در فاصلهٔ یک خطای استاندارد از نمرهٔ مشاهده‌شده‌اش قرار دارد. برای اطمینان حدود 95 درصد، به تقریباً دو خطای استاندارد در دو سو نیاز دارید.
مثال بالا را در نظر بگیرید. فردی نمرهٔ 62 می‌گیرد. بازهٔ اطمینان 95 درصدی تقریباً از 54 تا 70 است. این بازه‌ای شانزده‌نمره‌ای است، در مقیاسی که فاصلهٔ معمول میان «متوسط» و «به‌روشنی بالاتر از متوسط» ممکن است ده نمره باشد.
این نقصِ آن آزمون خاص نیست. پایایی 0.85 قابل‌قبول است. این همان دقت عادی اندازه‌گیری روان‌شناختی است و دلیل آن است که گزارش‌های دقیق، به‌جای یک نقطه، یک بازه ارائه می‌کنند.
پیامدهایی که مردم از آن‌ها غافل می‌شوند
تفاوت‌های کوچک میان مقیاس‌ها معمولاً بی‌معنی‌اند. اگر برون‌گرایی شما 58 و گشودگی شما 54 باشد، برداشت صادقانه این است که این دو از هم قابل تشخیص نیستند. تفسیرهای نیم‌رخی که از شکاف‌های چهارنمره‌ای روایتی می‌سازند، نوفه را می‌خوانند.
تغییرهای کوچک در طول زمان نیز معمولاً بی‌معنی‌اند. اگر آزمون را دوباره بدهید و پنج نمره جابه‌جا شوید، برای بیشتر ابزارها این تغییر در محدودهٔ خطاست. تغییر واقعی صفت در طول سال‌ها رخ می‌دهد و به‌صورت جابه‌جایی‌ای بسیار فراتر از بازهٔ خطا دیده می‌شود، نه چند نمره در هر ماه.
رتبه‌بندی‌ها مشکل را تشدید می‌کنند. تفاوت چند نمرهٔ خام می‌تواند فرد را در بخش متراکم میانی توزیع ده صدک جابه‌جا کند، چون بیشتر افراد همان‌جا قرار دارند. رتبه‌های درصدی دقیق به نظر می‌رسند، اما کم‌پایدارترین شیوه برای بیان یک نمره‌اند.
دقت در سراسر مقیاس یکنواخت نیست. نظریهٔ کلاسیک آزمون یک مقدار خطا را برای همهٔ نمره‌ها فرض می‌کند، که یک ساده‌سازی است. نظریهٔ پاسخ به گویه خطا را در هر سطح از صفت جداگانه مدل می‌کند، و این خطا تقریباً همیشه در دو سر طیف بزرگ‌تر است، یعنی دقیقاً همان‌جا که پرپیامدترین تفسیرها انجام می‌شود. نمرهٔ بسیار بالا یا بسیار پایین معمولاً کم‌دقت‌تر از نمرهٔ میانی است، نه دقیق‌تر.
چرا گزارش صادقانه کم‌جلوه‌تر به نظر می‌رسد
ابزاری که بازه‌های اطمینان گزارش می‌کند، مبهم‌تر از ابزاری به نظر می‌رسد که یک عدد را تا یک رقم اعشار اعلام می‌کند. ابزار مبهم‌تر حقیقت را می‌گوید. ابزار دقیق‌نما همان خطای زیربنایی را دارد و فقط تصمیم گرفته آن را نشان ندهد.
هنگام مقایسهٔ یک آزمون دارای مستندات علمی با یک محصول تجاری که شما را در یک دسته قرار می‌دهد، این نکته ارزش به یاد داشتن دارد. مرز دسته در یک نمرهٔ مشخص قرار دارد، و فردی که یک نمره پایین‌تر از آن است و فردی که یک نمره بالاتر از آن است، از نظر آماری همان یک نفرند. برچسب نوع این واقعیت را کاملاً پنهان می‌کند. این یکی از جدی‌ترین دلایل مخالفت با ابزارهای مبتنی بر نوع است، و دلیل آنکه نمره‌های پیوسته همراه با خطای اعلام‌شده در پژوهش معیار هستند.
خودتان را بیازمایید
خواندن دربارهٔ سنجش یک چیز است و دیدن نمرهٔ خودتان همراه با منبع، نمونهٔ هنجار و محدودیت‌هایش چیز دیگری. شرکت در آزمون رایگان است و نیازی به ثبت‌نام نیست.
ادامه مطالعه
- روانسنجی چیست؟رشتهای که بررسی می‌کند یک اندازه‌گیری روان‌شناختی چقدر خوب است، و دلیل اینکه دو آزمون با پرسشهای مشابه میتوانند از نظر ارزش نتایجشان تفاوت بسیار زیادی داشته باشند.
- پایایی در آزمون‌های روان‌شناختی چیست؟پایایی یعنی ثبات اندازه‌گیری، نه درستی آن. یک آزمون می‌تواند بسیار پایا باشد و باز هم چیز نادرستی را بسنجد؛ به همین دلیل پایایی نخستین پرسشی است که مطرح می‌شود، اما هرگز آخرین پرسش نیست.
- روایی در آزمون‌های روان‌شناختی چیست؟روایی ویژگیِ یک آزمون نیست. روایی استدلالی است دربارهٔ اینکه آیا یک تفسیر مشخص از یک نمرهٔ مشخص، برای یک هدف مشخص، قابل دفاع است یا نه؛ و این استدلال برای هر کاربرد تازه باید از نو ساخته شود.
- روایی سازه چیست؟دشوارترین پرسش در اندازه‌گیری: اینکه آیا چیزی که اندازه میگیرید واقعاً به همان صورتی که تعریف کردهاید وجود دارد، و آیا ابزار شما به خود آن می‌رسد، نه به چیزی نزدیک به آن.
- روایی همگرا و تمایزیدو الزام آینهوار: یک سنجه باید با آنچه باید با آن همسو باشد همسو باشد، و از آنچه ادعا می‌کند نیست متمایز بماند. بیشتر ابزارهای ضعیف در مورد دوم شکست میخورند.
- آلفای کرونباخ چیست و چه چیزی نیستپرکاربردترین آماره در آزمون‌های روان‌شناختی و در عین حال پرتکرارترین آمارهای که اشتباه تفسیر می‌شود. آلفا نشان نمیدهد که یک مقیاس تکبُعدی است، و مقدار بالای آن اغلب نشانهٔ مشکل است، نه حُسن.
- هنجارها و صدکها: نمرهٔ شما با چه چیزی مقایسه میشودنمره خام بهتنهایی قابل تفسیر نیست. این نمره تنها در مقایسه با یک گروه مرجع معنا پیدا می‌کند، و اینکه کدام گروه به کار رفته است، یکی از پرپیامدترین و کمتر اعلامشدهترین واقعیتها درباره هر آزمونی است.
- یک آزمون روانسنجی در واقع چگونه ساخته میشوداز تعریف سازه تا انتشار هنجارها، این فرایند سال‌ها طول میکشد و بیشتر آنچه وارد آن می‌شود کنار گذاشته می‌شود. آشنایی با این مراحل روشن می‌کند که یک پرسشنامهٔ سریع اینترنتی کدامیک از آن‌ها را نادیده گرفته است.
- وقتی گفته می‌شود یک آزمون «اعتبارسنجیشده» است، چه معنایی دارد؟این واژه تنظیمشده نیست و محصولاتی که هیچ کاری برای آن انجام ندادهاند آن را آزادانه به کار میبرند. در اینجا میخوانید این واژه وقتی معنایی دارد چه معنایی دارد، و چهار پرسشی که این دو حالت را از هم جدا می‌کنند.
- چرا بیشتر آزمون‌های شخصیت اینترنتی پایا نیستندنه از آن رو که صادق نیستند، بلکه از آن رو که گامهایی که یک اندازه‌گیری را قابلاعتماد می‌کنند دیده نمیشوند، پرهزینهاند و نادیده گرفتنشان آسان است؛ و نادیده گرفتن آن‌ها هیچ تغییری در ظاهر نتیجه ایجاد نمیکند.
- خودگزارشی چه چیزهایی را می‌تواند بسنجد و چه چیزهایی را نمیتواندپرسشنامهها از شما میخواهند ناظر خودتان باشید، و این روش برای بعضی چیزها بهتر از بقیه جواب می‌دهد. دانستن اینکه این روش در کجا قوی است و در کجا ناکام میماند، شیوهٔ خواندن هر نتیجه را تغییر می‌دهد.
- وقتی یک آزمون چیزی را پیشبینی می‌کند، یعنی چههمبستگی 0.30 در پژوهشهای شخصیت یافتهای قوی است، اما برای تصمیمگیری درباره یک فرد مبنایی ضعیف است. هر دو گزاره درستاند و فاصلهٔ میان آن‌ها عامل بیشتر سوءاستفادهها از نتایج آزمون است.
- غربالگری به معنای تشخیص نیستپرسشنامه غربالگری برای شناسایی حداکثر موارد ممکن ساخته می‌شود و در ازای آن نرخ بالای مثبت کاذب را میپذیرد. خواندن نمره غربالگری بهعنوان تشخیص، عکس چیزی است که این ابزار برای آن طراحی شده است.