روایی سازه چیست؟
دشوارترین پرسش در اندازه‌گیری: اینکه آیا چیزی که اندازه می‌گیرید واقعاً به همان صورتی که تعریف کرده‌اید وجود دارد، و آیا ابزار شما به خود آن می‌رسد، نه به چیزی نزدیک به آن.
روایی سازه می‌پرسد که آیا یک ابزار واقعاً سازهٔ نظری مورد ادعای خود را اندازه می‌گیرد، یا چیزی را می‌سنجد که با آن همبسته است، یا چیزی محدودتر از آن، یا اصلاً هیچ چیز منسجمی را. این عمیق‌ترین نوع شواهد روایی است و استقرار آن سال‌ها زمان می‌برد، نه یک پژوهش.
دشواری آن ساختاری است. سازه‌ای مانند تاب‌آوری یا هوش هیجانی یک شیء نیست؛ یک قاعده‌مندی پیشنهادی در رفتار است. برای نشان دادن اینکه یک مقیاس آن را می‌سنجد، باید هم‌زمان از این ادعا دفاع کنید که سازه همان‌گونه که توصیف شده وجود دارد و اینکه این گویه‌های خاص به آن دست می‌یابند. این دو ادعا را نمی‌توان از هم جدا کرد؛ به همین دلیل کرونباخ و میل، که این ایده را در سال 1955 مطرح کردند، آن را آزمودن یک شبکهٔ نظری کامل دانستند، نه آزمودن یک ابزار منفرد.
چگونه استدلال ساخته می‌شود
الگوهای پیش‌بینی‌شدهٔ همبستگی. نظریه مشخص می‌کند سازه باید با چه چیزهایی و با چه شدتی مرتبط باشد. شفقت به خود باید با رضایت از زندگی همبستگی مثبت، با افسردگی همبستگی منفی، و با عزت نفس فقط همبستگی متوسط داشته باشد؛ اگر همبستگی آن با عزت نفس 0.9 بود، سازه‌ای متمایز نبود. هر یک از این پیش‌بینی‌ها ادعایی آزمون‌پذیر است و ناکامی در هر کدام اطلاعات ارزشمندی به دست می‌دهد.
تفاوت‌های گروهی مورد انتظار. اگر نظریه می‌گوید یک صفت با افزایش سن رشد می‌کند، یا در یک جمعیت بالینی بالاتر است، ابزار باید این را نشان دهد. نیافتن تفاوتی که نظریه آن را ایجاب می‌کند، شاهدی علیه ابزار، نظریه، یا هر دوی آن‌هاست.
پاسخ به مداخله. اگر قرار است سازه‌ای قابل آموزش باشد، نمره‌ها باید پس از آموزش تغییر کنند و در گروه کنترل تغییر نکنند. سازه‌هایی که هرگز به هیچ چیز پاسخ نمی‌دهند به‌سختی از آثار مصنوعی تشخیص داده می‌شوند.
ساختار درونی. ساختار عاملی باید با ساختار نظری‌شده مطابقت داشته باشد، و نکتهٔ مهم اینکه در یک نمونهٔ تازه. تحلیل عاملی اکتشافی روی داده‌های تدوین هر ساختاری را که در طراحی گنجانده شده باشد پیدا می‌کند؛ تحلیل تأییدی روی داده‌های جدید جایی است که ادعا واقعاً آزموده می‌شود.
ایدهٔ چندصفتی-چندروشی
سهم کمبل و فیسکه در سال 1959 این بود که بر لزوم هم‌زمان دو چیز برای روایی سازه تأکید کردند: سنجه‌های یک صفت واحد با روش‌های متفاوت باید با هم هم‌خوان باشند، و سنجه‌های صفت‌های متفاوت با یک روش واحد نباید هم‌خوان باشند.
بیشتر ابزارها در همین بخش دوم دچار مشکل می‌شوند. اگر همدلی خودگزارشی شما با توافق‌پذیری خودگزارشی‌تان همبستگی 0.7 و با همدلی ارزیابی‌شده توسط ناظر همبستگی 0.2 داشته باشد، قوی‌ترین چیزی که پرسشنامهٔ شما می‌سنجد همدلی نیست؛ شیوهٔ کلی شما در توصیف خودتان در پرسشنامه‌هاست. واریانس روش یکی از پایدارترین مشکلات در پژوهش‌های خودگزارشی است و دلیل آن است که کار جدی اعتباریابی، هر جا ممکن باشد، به دنبال ملاکی غیرپرسشنامه‌ای می‌گردد.
چرا این موضوع هنگام خواندن نتایج شما اهمیت دارد
روایی سازه همان چیزی است که میان یک نمره و تفسیر آن قرار می‌گیرد. وقتی یک ابزار دارای روایی تأییدشده گزارش می‌دهد که در یک صفت نمرهٔ بالایی دارید، زنجیرهٔ استدلال پشت این گزاره شامل دهه‌ها کار منتشرشده است که نشان می‌دهد آن صفت مانند یک کمیت منسجم رفتار می‌کند، این گویه‌ها آن را دنبال می‌کنند، و نمره برای افرادی که آن را پاسخ می‌دهند معنای مشابهی دارد.
وقتی آزمونی بدون اعتباریابی سازه همین را گزارش می‌دهد، نمره عددی است که الگوریتمی تولید کرده که هیچ‌کس آن را بررسی نکرده است. این دو در صفحهٔ نتایج یکسان به نظر می‌رسند. تفاوت کاملاً در مستندات است و به همین دلیل ارزش دارد که دنبال مستندات بگردید.
خودتان را بیازمایید
خواندن دربارهٔ سنجش یک چیز است و دیدن نمرهٔ خودتان همراه با منبع، نمونهٔ هنجار و محدودیت‌هایش چیز دیگری. شرکت در آزمون رایگان است و نیازی به ثبت‌نام نیست.
ادامه مطالعه
- روانسنجی چیست؟رشتهای که بررسی می‌کند یک اندازه‌گیری روانشناختی چقدر خوب است، و دلیل اینکه دو آزمون با پرسشهای مشابه میتوانند از نظر ارزش نتایجشان تفاوت بسیار زیادی داشته باشند.
- پایایی در آزمونهای روانشناختی چیست؟پایایی یعنی ثبات اندازه‌گیری، نه درستی آن. یک آزمون میتواند بسیار پایا باشد و باز هم چیز نادرستی را بسنجد؛ به همین دلیل پایایی نخستین پرسشی است که مطرح می‌شود، اما هرگز آخرین پرسش نیست.
- روایی در آزمونهای روانشناختی چیست؟روایی ویژگیِ یک آزمون نیست. روایی استدلالی است دربارهٔ اینکه آیا یک تفسیر مشخص از یک نمرهٔ مشخص، برای یک هدف مشخص، قابل دفاع است یا نه؛ و این استدلال برای هر کاربرد تازه باید از نو ساخته شود.
- روایی همگرا و تمایزیدو الزام آینهوار: یک سنجه باید با آنچه باید با آن همسو باشد همسو باشد، و از آنچه ادعا می‌کند نیست متمایز بماند. بیشتر ابزارهای ضعیف در مورد دوم شکست میخورند.
- آلفای کرونباخ چیست و چه چیزی نیستپرکاربردترین آماره در آزمونهای روانشناختی و در عین حال پرتکرارترین آمارهای که اشتباه تفسیر می‌شود. آلفا نشان نمیدهد که یک مقیاس تکبُعدی است، و مقدار بالای آن اغلب نشانهٔ مشکل است، نه حُسن.
- خطای استاندارد اندازه‌گیری: میزان خطای احتمالی نمره شماهر نمرهای با یک حاشیهٔ خطا همراه است و در بیشتر آزمونهای روانشناختی این حاشیه از آنچه افراد تصور می‌کنند وسیعتر است. این همان عددی است که به شما می‌گوید یک تفاوت واقعی است یا فقط نوفه.
- هنجارها و صدکها: نمرهٔ شما با چه چیزی مقایسه میشودنمره خام بهتنهایی قابل تفسیر نیست. این نمره تنها در مقایسه با یک گروه مرجع معنا پیدا می‌کند، و اینکه کدام گروه به کار رفته است، یکی از پرپیامدترین و کمتر اعلامشدهترین واقعیتها درباره هر آزمونی است.
- یک آزمون روانسنجی در واقع چگونه ساخته میشوداز تعریف سازه تا انتشار هنجارها، این فرایند سال‌ها طول میکشد و بیشتر آنچه وارد آن می‌شود کنار گذاشته می‌شود. آشنایی با این مراحل روشن می‌کند که یک پرسشنامهٔ سریع اینترنتی کدامیک از آنها را نادیده گرفته است.
- وقتی گفته می‌شود یک آزمون «اعتبارسنجیشده» است، چه معنایی دارد؟این واژه تنظیمشده نیست و محصولاتی که هیچ کاری برای آن انجام ندادهاند آن را آزادانه به کار میبرند. در اینجا میخوانید این واژه وقتی معنایی دارد چه معنایی دارد، و چهار پرسشی که این دو حالت را از هم جدا می‌کنند.
- چرا بیشتر آزمونهای شخصیت اینترنتی پایا نیستندنه از آن رو که صادق نیستند، بلکه از آن رو که گامهایی که یک اندازه‌گیری را قابلاعتماد می‌کنند دیده نمیشوند، پرهزینهاند و نادیده گرفتنشان آسان است؛ و نادیده گرفتن آنها هیچ تغییری در ظاهر نتیجه ایجاد نمیکند.
- خودگزارشی چه چیزهایی را میتواند بسنجد و چه چیزهایی را نمیتواندپرسشنامهها از شما میخواهند ناظر خودتان باشید، و این روش برای بعضی چیزها بهتر از بقیه جواب می‌دهد. دانستن اینکه این روش در کجا قوی است و در کجا ناکام میماند، شیوهٔ خواندن هر نتیجه را تغییر می‌دهد.
- وقتی یک آزمون چیزی را پیشبینی می‌کند، یعنی چههمبستگی 0.30 در پژوهش‌های شخصیت یافتهای قوی است، اما برای تصمیمگیری درباره یک فرد مبنایی ضعیف است. هر دو گزاره درستاند و فاصلهٔ میان آنها عامل بیشتر سوءاستفادهها از نتایج آزمون است.
- غربالگری به معنای تشخیص نیستپرسشنامه غربالگری برای شناسایی حداکثر موارد ممکن ساخته می‌شود و در ازای آن نرخ بالای مثبت کاذب را میپذیرد. خواندن نمره غربالگری بهعنوان تشخیص، عکس چیزی است که این ابزار برای آن طراحی شده است.