noesisnoesis
איך המדידה עובדת

שגיאה תקנית של מדידה: עד כמה הציון שלך יכול להיות כביכול

כל ציון נושא שוליים של שגיאה, ולרוב מבחנים פסיכולוגיים הוא רחב יותר מאשר אנשים מניחים. זה המספר שאומר לך מתי הבדל אמיתי ומתי הוא רעש.

טעות התקן של המדידה הופכת מקדם מהימנות מופשט למשהו מוחשי: טווח של פלוס מינוס סביב ציון. היא עונה על השאלה שרוב מסכי התוצאות משאירים ללא מענה: עד כמה המספר הזה היה יכול להיות שונה אילו הייתי עושה את המבחן אחר צהריים אחר?

הנוסחה פשוטה. מכפילים את סטיית התקן של הסולם בשורש הריבועי של אחת פחות המהימנות שלו. עבור סולם עם סטיית תקן של 10 ומהימנות של 0.85, טעות התקן היא כ-3.9 נקודות.

מה הטווח הזה מכסה בפועל

בערך בשני שלישים מהמקרים, מעמדו האמיתי של אדם נמצא בטווח של טעות תקן אחת מהציון הנצפה שלו. כדי להגיע לביטחון של כ-95 אחוז, יש צורך בכשתי טעויות תקן לכל צד.

קח את הדוגמה שלמעלה. מישהו מקבל ציון 62. רווח הסמך של 95 אחוז נע בין כ-54 לכ-70. זהו חלון של שש עשרה נקודות בסולם שבו הפער הטיפוסי בין ממוצע לבין מעל הממוצע באופן ברור עשוי להיות עשר נקודות.

זה אינו פגם של המבחן המסוים הזה. מהימנות של 0.85 היא מכובדת. זהו הדיוק הרגיל של מדידה פסיכולוגית, וזו הסיבה שדוחות קפדניים מציגים טווחים ולא נקודות.

ההשלכות שאנשים מחמיצים

הבדלים קטנים בין סולמות הם בדרך כלל חסרי משמעות. אם ציון המוחצנות שלך הוא 58 וציון הפתיחות שלך הוא 54, הקריאה הכנה היא שאי אפשר להבחין ביניהם. פרשנויות פרופיל שבונות נרטיב מפערים של ארבע נקודות קוראות רעש.

גם שינויים קטנים לאורך זמן הם בדרך כלל חסרי משמעות. חזרה על מבחן ותזוזה של חמש נקודות נמצאות בתחום הטעות ברוב הכלים. שינוי אמיתי בתכונה מתרחש לאורך שנים ומתבטא בתזוזה החורגת בהרבה מטווח הטעות, ולא בכמה נקודות מחודש לחודש.

סידורי דירוג מעצימים את הבעיה. הבדל של כמה נקודות גולמיות יכול להזיז אדם עשרה מקומות באחוזונים באמצע הצפוף של ההתפלגות, משום ששם נמצאים רוב האנשים. דירוגי אחוזון נראים מדויקים, והם הדרך הפחות יציבה לבטא ציון.

הדיוק אינו אחיד לאורך הסולם. תורת המבחנים הקלאסית מניחה ערך טעות אחד לכל ציון, וזו הפשטה. תורת התגובה לפריט ממדלת את הטעות בנפרד בכל רמה של התכונה, והיא כמעט תמיד גדולה יותר בקצוות, בדיוק במקום שבו מתקבלות הפרשנויות בעלות ההשלכות הכבדות ביותר. ציון גבוה מאוד או נמוך מאוד הוא בדרך כלל פחות מדויק מציון בינוני, לא יותר.

מדוע דיווח כן נראה פחות מרשים

כלי שמדווח על רווחי סמך נראה מעורפל יותר מכלי שמדווח על מספר יחיד בדיוק של ספרה אחת אחרי הנקודה העשרונית. המעורפל יותר אומר את האמת. זה שנראה מדויק כולל אותה טעות בסיסית ובחר שלא להציג אותה.

כדאי לזכור זאת כאשר משווים מבחן מתועד מדעית למוצר מסחרי שמשייך אותך לקטגוריה. גבול הקטגוריה נמצא בציון מסוים, ומי שנמצא נקודה אחת מתחתיו ומי שנמצא נקודה אחת מעליו הם, מבחינה סטטיסטית, אותו אדם. תווית הטיפוס מסתירה זאת לחלוטין; זהו אחד הטיעונים הרציניים יותר נגד כלים מבוססי טיפוסים, וזו הסיבה שציונים רציפים עם טעות מוצהרת הם הסטנדרט במחקר.

העמד למבחן

לקרוא על מדידה זה דבר אחד. לראות את הציון שלך מדווח עם המקור שלו, מדגם הנורמה שלו והמגבלות שלו זה דבר אחר. חינם לביצוע, ללא הרשמה נדרשת.

המשך לקרוא