מה זה אומר כשמבחן מנבא משהו
קורלציה של 0.30 היא ממצא חזק במחקר אישיות ובסיס חלש להחלטה לגבי אדם אחד. שתי הטענות נכונות, והפער ביניהן גורם לרוב השימוש לרעה בתוצאות מבחנים.
מחקר האישיות מדווח כי מצפוניות מנבאת ביצועים בעבודה. רוב האנשים שקוראים משפט זה מדמיינים דבר חזק בהרבה ממה שהנתונים מראים. הפער בין הטענה הסטטיסטית לבין המשמעות היומיומית של "מנבא" הוא המקום שבו מתחיל רוב השימוש השגוי במבחנים פסיכולוגיים.
המספרים הרלוונטיים
גדלי אפקט במחקר האישיות מדווחים בדרך כלל כמתאמים. ערכים מטא-אנליטיים לקשרים מבוססים היטב נוטים ליפול בין 0.20 ל-0.35. הקשר בין מצפוניות לביצועים בעבודה עומד על כ-0.20 עד 0.25. הקשר בין שביעות רצון מהעבודה לביצועים בעבודה עומד על כ-0.30. יכולת קוגניטיבית כללית, המנבא הבודד החזק ביותר בתחום, מגיעה לכ-0.50 בעבודה מורכבת.
העלה מתאם בריבוע ותקבל את שיעור השונות המוסברת. מתאם של 0.25 מסביר כשישה אחוזים מההבדלים בין אנשים. תשעים וארבעה האחוזים הנותרים הם משהו אחר: יכולת, הזדמנות, הכשרה, ניהול, בריאות, מזל.
מדוע 0.25 הוא בכל זאת ממצא אמיתי
ברמת האוכלוסייה, מתאמים קטנים מניבים השפעות מצטברות משמעותיות. אם אתה בוחר אלף אנשים, מנבא ברמה של 0.25 משפר את התוצאה הממוצעת שלך באופן מדיד ועקבי. חברות ביטוח ואפידמיולוגים בונים פרקטיקות שלמות על אפקטים בגודל כזה.
הבעיה היא שהתועלת המצטברת והניבוי האישי הם גדלים שונים. מתאם של 0.25 פירושו שבקרב אנשים שמקבלים ציון גבוה, יותר אנשים יפגינו ביצועים טובים מאשר בקרב אנשים שמקבלים ציון נמוך; וגם שרבים מאוד מבעלי הציון הגבוה יפגינו ביצועים חלשים, ורבים מאוד מבעלי הציון הנמוך יצטיינו. שתי הטענות נובעות מאותו מספר.
המקרה הפרטני
זה השלב שמדלגים עליו. מתאם מתאר את הקשר בין שתי התפלגויות. הוא אינו מצדיק טענה על אדם מסוים כלשהו.
אם מצפוניות מתואמת ב-0.25 עם ביצועים, הרי שידיעת ציון המצפוניות של מישהו מצמצמת רק במעט את הטווח הסביר של ביצועיו. רווח הניבוי עבור אדם יחיד נשאר רחב מספיק כדי לכלול כמעט את כל טווח התוצאות. כשאומרים לך שאתה באחוזון ה-80 במצפוניות, הדבר אומר לך מעט מאוד על האופן שבו תצליח בתפקיד מסוים.
זו הסיבה ששימוש בציוני אישיות כמסנן מיון עיקרי נשען על בסיס חלש, גם כשהמחקר שמאחוריו תקין. המחקר תומך בטענה שהתכונה חשובה. הוא אינו תומך בטענה שציון אומר לך מה מועמד יעשה.
שתי אזהרות נוספות
ניבוי וגרימה אינם אותו דבר. כמעט כל הספרות הזו היא מתאמית. העובדה שמצפוניות מנבאת תוצאות בריאותיות עולה בקנה אחד עם כך שמצפוניות גורמת להתנהגות בריאותית טובה יותר, עם גורם שלישי שגורם לשתיהן, ועם סיבתיות הפוכה. מחקרי אורך מצמצמים את האפשרויות; רק לעיתים רחוקות הם שוללים אותן.
קריטריונים של דיווח עצמי מנפחים את המספרים. כאשר גם המנבא וגם התוצאה נמדדים בדיווח עצמי של אותו אדם באותו אחר צהריים, שונות השיטה המשותפת דוחפת את המתאם כלפי מעלה. מחקרים המשתמשים בתוצאות אובייקטיביות או בדירוגים של מדווחים חיצוניים מדווחים בדרך כלל על אפקטים קטנים יותר, ולהם יש לתת משקל רב יותר.
למה ציון באמת טוב
כשקוראים אותו כתיאור ולא כנבואה, ציון במבחן שימושי באמת. הוא אומר לך היכן אתה עומד ביחס לאוכלוסיית ייחוס בתכונה שיש לה השלכות מתועדות, והוא נותן לך אוצר מילים לדפוס שאולי הבחנת בו בלי שיכולת לתת לו שם.
זה דבר שכדאי שיהיה לך. זה דבר שונה מתחזית, וההבחנה הזו היא הבחנה שדוח הגון צריך לעשות עבורך, ולא להשאיר לך להסיק בעצמך.
העמד למבחן
לקרוא על מדידה זה דבר אחד. לראות את הציון שלך מדווח עם המקור שלו, מדגם הנורמה שלו והמגבלות שלו זה דבר אחר. חינם לביצוע, ללא הרשמה נדרשת.
המשך לקרוא
- מה זה פסיכומטריקה?התחום שעובד האם מדידה פסיכולוגית טובה - והסיבה שניתן מבחנים השואלים שאלות דומות שונה עצום בחשיבות התוצאות שלהם.
- מהי מהימנות בבדיקה פסיכולוגית?מהימנות היא עקביות של מדידה, לא נכונות. מבחן יכול להיות בעל מהימנות גבוהה ועדיין למדוד את הדבר הלא נכון — וזו הסיבה שהיא השאלה הראשונה המוצגת ולא פעם אחרונה.
- מה זה תוקף בבדיקה פסיכולוגית?תוקף אינו תכונה שיש למבחן. זו טענה לגבי האם פרשנות מסוימת של ציון מסוים, למטרה מסוימת, ניתנת להגנה — וצריך לבנות אותה מחדש עבור כל שימוש חדש.
- מהו תוקף בנייה?השאלה הקשה ביותר במדידה: האם הדבר שאתה מודד קיים כפי שהגדרת אותו, והאם הכלי שלך מגיע אליו ולא למשהו סמוך.
- תוקף מתכנס ותוקף מפלהשתי דרישות תמונת ראי: מידה חייבת להסכים עם מה שהיא צריכה להסכים איתו, וחייבת להישאר נפרדת מממה שהיא טוענת שאינה. רוב הכלים החלשים נכשלים בשנייה.
- מהו אלפא של קרונבך — ומה הוא לאהסטטיסטיקה המדווחת ביותר בבדיקה פסיכולוגית, והמעובדת בצורה שגויה ביותר. Alpha לא מספר לך שסולם הוא חד-ממדי, וערך גבוה הוא לעתים קרובות סימפטום ולא סגולה.
- שגיאה תקנית של מדידה: עד כמה הציון שלך יכול להיות כביכולכל ציון נושא שוליים של שגיאה, ולרוב מבחנים פסיכולוגיים הוא רחב יותר מאשר אנשים מניחים. זה המספר שאומר לך מתי הבדל אמיתי ומתי הוא רעש.
- נורמות ואחוזונים: מה הציון שלך מושווה אליוציון גולמי אינו ניתן לפרשנות בעצמו. הוא הופך למשמעותי רק מול קבוצת ייחוס - ואילו קבוצה שימשה הוא אחד מהעובדות הקונסקוונציאליות ביותר והפחות מפורסמות על כל מבחן.
- איך מבחן פסיכומטרי באמת בנוימהגדרת קונסטרוקט לנורמות פורסומות, הרצף לוקח שנים וזורק את רובו של מה שנכנס אליו. ידיעת השלבים הופכת ברור אילו מהם כמעט חידון באינטרנט דילג.
- מה זה אומר כשמבחן נקרא מאומת?המילה אינה מוסדרת ומשמשת בחופשיות על ידי מוצרים שלא עשו כל עבודה. הנה מה זה אומר כשזה אומר משהו, וארבע השאלות שמפרידות בין שני המקרים.
- למה רוב מבחני אישיות באינטרנט אינם אמיניםלא משום שהם לא כנים, אלא משום שהשלבים שגורמים למדידה להיות אמינה אינם נראים, יקרים וקל לדלג - ודילוג עליהם לא משנה שום דבר בנוגע לאופן שהתוצאה נראית.
- מה דיווח עצמי יכול ולא יכול למדודשאלונים מבקשים ממך להיות התצפיתן על עצמך, מה שעובד טוב יותר לחלק מהדברים מאחרים. ידיעה איפה השיטה חזקה ואיפה היא נכשלת משנה את הדרך שבה אתה קורא כל דוח.
- סינון אינו אבחנהשאלון סינון בנוי כדי לתפוס כמה שיותר מקרים אפשריים, ומקבל שיעור גבוה של תוצאות חיוביות כוזבות כמחיר. לקרוא ציון סינון כאבחון הופך את מה שהוא נועד לעשות.