תוקף מתכנס ותוקף מפלה
שתי דרישות תמונת ראי: מידה חייבת להסכים עם מה שהיא צריכה להסכים איתו, וחייבת להישאר נפרדת מממה שהיא טוענת שאינה. רוב הכלים החלשים נכשלים בשנייה.
תוקף מתכנס ותוקף מבחין הם שני חצאים של דרישה אחת. מדד חייב להיות מתואם עם דברים שעל פי התאוריה הוא אמור להיות מתואם איתם, ואסור שיהיה מתואם במידה גבוהה מדי עם דברים שהוא אמור להיות נבדל מהם. עמידה באחד בלי השני איננה הצלחה חלקית; לרוב זהו סימן לכך שהמבנה אינו מה שהוא טוען שהוא.
תוקף מתכנס
ראיות מתכנסות מראות שמדד עולה בקנה אחד עם אינדיקטורים אחרים של אותו הדבר. סולם חרדה חדש אמור להיות מתואם באופן ניכר עם סולמות חרדה מבוססים, עם דירוגים של קלינאים, ובמקרה האידיאלי גם עם משהו שאינו שאלון נוסף, כגון מדדים פיזיולוגיים או התנהגות הימנעות נצפית.
בדרך כלל מצופים כאן מתאמים מעל 0.50, ולעתים קרובות מעל 0.70 כאשר מדד ההשוואה הוא כלי מבוסס היטב לאותו מבנה. מתחת לכך, או שהסולם החדש או שמדד ההשוואה מודד משהו אחר.
יש כאן מלכודת. מתאם של 0.95 עם סולם קיים אינו ניצחון: משמעותו שהכלי החדש הוא אריזה מחדש, והשאלה הכנה הופכת להיות מה הוא מוסיף. תוקף מתכנס הוא רף מינימום, לא יעד שיש למקסם.
תוקף מבחין
ראיות מבחינות מראות שהמדד נשאר נפרד ממבנים שהוא טוען שהוא שונה מהם. כאן נמצאים הכישלונות המעניינים.
הדפוס חוזר על עצמו בספרות. גריט (Grit) מתואם בכ-0.84 עם מצפוניות, קרוב מספיק כדי שמטא-אנליזה מצאה שהוא כמעט אינו מוסיף דבר לניבוי הישגים אקדמיים לאחר פיקוח על מצפוניות. אינטליגנציה רגשית בדיווח עצמי חופפת במידה רבה לשילוב של יציבות רגשית, מוחצנות ומצפוניות. השונות המשותפת בין רכיבי השלישייה האפלה (Dark Triad) נעלמת ברובה לאחר שמביאים בחשבון את ממד הכנות-ענווה (Honesty-Humility) ממודל HEXACO. בכל אחד מהמקרים המבנה הוצג כטריטוריה חדשה והתברר כאזור במפה קיימת שקיבל שם חדש.
תוקף מבחין הוא גם המקום שבו צצות השפעות שיטה. אם כל מבנה בדיווח עצמי במחקר מסוים מתואם ב-0.4 עם כל מבנה אחר, הגורם המשותף הוא כנראה סגנון התגובה של המשיב ולא פסיכולוגיה משותפת כלשהי.
המבחן המכריע
ההליך המכריע הוא תוקף מוסף: מכניסים תחילה את המדד המבוסס לרגרסיה, אחר כך את המדד החדש, ובודקים אם החדש מסביר שונות נוספת כלשהי במשתנה התוצאה. אם לא, ייתכן שהמבנה עדיין מעניין מבחינה תאורטית, אך הכלי אינו מודד שום דבר שלא היה כבר בידי התחום.
זהו סטנדרט תובעני, ורבים מאוד מהסולמות שפורסמו מעולם לא הועמדו בו. כאשר הם מועמדים בו, התוצאה היא לעתים קרובות ממצא היתירות שתואר לעיל. אין בכך שערורייה; זהו גיזום מדעי רגיל. אך המשמעות היא שהפופולריות של מבנה אינה מלמדת דבר על השאלה אם הוא שורד את המבחן.
מה זה משנה עבור הקורא
כאשר מבחן מדווח על כמה ציונים, השאלה המועילה היא אם ציונים אלה אכן נבדלים זה מזה. ארבעה ממדים המתואמים זה עם זה ב-0.8 הם ממד אחד עם ארבע תוויות, ופרופיל שנבנה מהם ייראה מובחן בעוד שהוא כמעט אינו נושא מידע עצמאי.
כלים המדווחים על המתאמים בין הסולמות שלהם מאפשרים לך לבדוק זאת בעצמך. כלים המציגים טיפוס בן ארבעה רבעים מבלי להראות אי פעם כיצד הרבעים קשורים זה לזה הפכו את הבדיקה לבלתי אפשרית, ולרוב זו בדיוק הכוונה.
העמד למבחן
לקרוא על מדידה זה דבר אחד. לראות את הציון שלך מדווח עם המקור שלו, מדגם הנורמה שלו והמגבלות שלו זה דבר אחר. חינם לביצוע, ללא הרשמה נדרשת.
המשך לקרוא
- מה זה פסיכומטריקה?התחום שעובד האם מדידה פסיכולוגית טובה - והסיבה שניתן מבחנים השואלים שאלות דומות שונה עצום בחשיבות התוצאות שלהם.
- מהי מהימנות בבדיקה פסיכולוגית?מהימנות היא עקביות של מדידה, לא נכונות. מבחן יכול להיות בעל מהימנות גבוהה ועדיין למדוד את הדבר הלא נכון — וזו הסיבה שהיא השאלה הראשונה המוצגת ולא פעם אחרונה.
- מה זה תוקף בבדיקה פסיכולוגית?תוקף אינו תכונה שיש למבחן. זו טענה לגבי האם פרשנות מסוימת של ציון מסוים, למטרה מסוימת, ניתנת להגנה — וצריך לבנות אותה מחדש עבור כל שימוש חדש.
- מהו תוקף בנייה?השאלה הקשה ביותר במדידה: האם הדבר שאתה מודד קיים כפי שהגדרת אותו, והאם הכלי שלך מגיע אליו ולא למשהו סמוך.
- מהו אלפא של קרונבך — ומה הוא לאהסטטיסטיקה המדווחת ביותר בבדיקה פסיכולוגית, והמעובדת בצורה שגויה ביותר. Alpha לא מספר לך שסולם הוא חד-ממדי, וערך גבוה הוא לעתים קרובות סימפטום ולא סגולה.
- שגיאה תקנית של מדידה: עד כמה הציון שלך יכול להיות כביכולכל ציון נושא שוליים של שגיאה, ולרוב מבחנים פסיכולוגיים הוא רחב יותר מאשר אנשים מניחים. זה המספר שאומר לך מתי הבדל אמיתי ומתי הוא רעש.
- נורמות ואחוזונים: מה הציון שלך מושווה אליוציון גולמי אינו ניתן לפרשנות בעצמו. הוא הופך למשמעותי רק מול קבוצת ייחוס - ואילו קבוצה שימשה הוא אחד מהעובדות הקונסקוונציאליות ביותר והפחות מפורסמות על כל מבחן.
- איך מבחן פסיכומטרי באמת בנוימהגדרת קונסטרוקט לנורמות פורסומות, הרצף לוקח שנים וזורק את רובו של מה שנכנס אליו. ידיעת השלבים הופכת ברור אילו מהם כמעט חידון באינטרנט דילג.
- מה זה אומר כשמבחן נקרא מאומת?המילה אינה מוסדרת ומשמשת בחופשיות על ידי מוצרים שלא עשו כל עבודה. הנה מה זה אומר כשזה אומר משהו, וארבע השאלות שמפרידות בין שני המקרים.
- למה רוב מבחני אישיות באינטרנט אינם אמיניםלא משום שהם לא כנים, אלא משום שהשלבים שגורמים למדידה להיות אמינה אינם נראים, יקרים וקל לדלג - ודילוג עליהם לא משנה שום דבר בנוגע לאופן שהתוצאה נראית.
- מה דיווח עצמי יכול ולא יכול למדודשאלונים מבקשים ממך להיות התצפיתן על עצמך, מה שעובד טוב יותר לחלק מהדברים מאחרים. ידיעה איפה השיטה חזקה ואיפה היא נכשלת משנה את הדרך שבה אתה קורא כל דוח.
- מה זה אומר כשמבחן מנבא משהוקורלציה של 0.30 היא ממצא חזק במחקר אישיות ובסיס חלש להחלטה לגבי אדם אחד. שתי הטענות נכונות, והפער ביניהן גורם לרוב השימוש לרעה בתוצאות מבחנים.
- סינון אינו אבחנהשאלון סינון בנוי כדי לתפוס כמה שיותר מקרים אפשריים, ומקבל שיעור גבוה של תוצאות חיוביות כוזבות כמחיר. לקרוא ציון סינון כאבחון הופך את מה שהוא נועד לעשות.