מהו תוקף בנייה?
השאלה הקשה ביותר במדידה: האם הדבר שאתה מודד קיים כפי שהגדרת אותו, והאם הכלי שלך מגיע אליו ולא למשהו סמוך.
תוקף מבנה בוחן האם כלי מודד את המבנה התיאורטי שהוא מתיימר למדוד, ולא משהו שמתואם איתו, משהו צר ממנו, או שום דבר קוהרנטי בכלל. זוהי הצורה העמוקה ביותר של ראיות לתוקף, וזו שביסוסה דורש שנים ולא מחקר בודד.
הקושי הוא מבני. מבנה כגון חוסן או אינטליגנציה רגשית אינו אובייקט; הוא סדירות משוערת בהתנהגות. כדי להראות שסולם מודד אותו, עליך להגן בו בזמן על הטענה שהמבנה קיים כפי שתואר ועל הטענה שהפריטים המסוימים האלה מגיעים אליו. לא ניתן להפריד בין שתי הטענות, ולכן Cronbach ו-Meehl, שהציגו את הרעיון ב-1955, ניסחו אותו כבחינה של רשת תיאורטית שלמה ולא של כלי יחיד.
איך בונים את הטיעון
דפוסי מתאם צפויים. התיאוריה קובעת עם מה המבנה אמור להיות קשור ובאיזו עוצמה. חמלה עצמית אמורה להיות במתאם חיובי עם שביעות רצון מהחיים, במתאם שלילי עם דיכאון, ובמתאם מתון בלבד עם הערכה עצמית. אילו היה המתאם שלה עם הערכה עצמית 0.9, היא לא הייתה מבנה נפרד. כל אחת מהתחזיות הללו היא טענה הניתנת לבדיקה, וכישלון באחת מהן הוא אינפורמטיבי.
הבדלים צפויים בין קבוצות. אם התיאוריה אומרת שתכונה מתפתחת עם הגיל, או שהיא מוגברת באוכלוסייה קלינית, הכלי אמור להראות זאת. אי-מציאת הבדל שהתיאוריה מחייבת היא ראיה נגד הכלי, נגד התיאוריה, או נגד שניהם.
תגובה להתערבות. אם מבנה אמור להיות ניתן לאימון, הציונים אמורים להשתנות לאחר האימון ולא להשתנות בקבוצת ביקורת. קשה להבחין בין מבנים שאינם מגיבים לשום דבר לבין ארטיפקטים.
מבנה פנימי. מבנה הגורמים צריך להתאים למבנה התיאורטי, וחשוב מכך, במדגם חדש. ניתוח גורמים מגשש על נתוני הפיתוח ימצא כל מבנה שתוכנן מראש; ניתוח גורמים מאשש על נתונים חדשים הוא המקום שבו הטענה נבחנת באמת.
רעיון ריבוי התכונות וריבוי השיטות
התרומה של Campbell ו-Fiske משנת 1959 הייתה ההתעקשות שתוקף מבנה מחייב שני דברים בו בזמן: מדדים של אותה תכונה בשיטות שונות צריכים להסכים זה עם זה, ומדדים של תכונות שונות באותה שיטה לא צריכים להסכים.
החצי השני הזה הוא המקום שבו רוב הכלים מתקשים. אם האמפתיה שלך בדיווח עצמי נמצאת במתאם של 0.7 עם הנעימות שלך בדיווח עצמי ושל 0.2 עם אמפתיה שדורגה על ידי צופה, הדבר החזק ביותר שהשאלון שלך מודד אינו אמפתיה: זוהי הדרך הכללית שלך לתאר את עצמך בשאלונים. שונות השיטה היא אחת הבעיות העיקשות ביותר במחקר דיווח עצמי, והיא הסיבה שעבודת תיקוף רצינית מחפשת קריטריון שאינו שאלון בכל מקום שבו קיים כזה.
למה זה חשוב כשאתה קורא את התוצאות שלך
תוקף מבנה הוא מה שעומד בין ציון לבין הפרשנות שלו. כאשר כלי שעבר תיקוף יסודי מדווח שקיבלת ציון גבוה בתכונה מסוימת, שרשרת ההיגיון שמאחורי הקביעה הזו כוללת עשורים של עבודה שפורסמה וביססה שהתכונה מתנהגת ככמות קוהרנטית, שהפריטים האלה עוקבים אחריה, ושלציון יש משמעות דומה בקרב האנשים שנבחנים בו.
כאשר מבחן ללא תיקוף מבנה מדווח את אותו הדבר, הציון הוא מספר שנוצר על ידי אלגוריתם שאיש לא בדק. שניהם נראים זהים במסך התוצאות. ההבדל נמצא כולו בתיעוד, ולכן כדאי לחפש את התיעוד.
העמד למבחן
לקרוא על מדידה זה דבר אחד. לראות את הציון שלך מדווח עם המקור שלו, מדגם הנורמה שלו והמגבלות שלו זה דבר אחר. חינם לביצוע, ללא הרשמה נדרשת.
המשך לקרוא
- מה זה פסיכומטריקה?התחום שעובד האם מדידה פסיכולוגית טובה - והסיבה שניתן מבחנים השואלים שאלות דומות שונה עצום בחשיבות התוצאות שלהם.
- מהי מהימנות בבדיקה פסיכולוגית?מהימנות היא עקביות של מדידה, לא נכונות. מבחן יכול להיות בעל מהימנות גבוהה ועדיין למדוד את הדבר הלא נכון — וזו הסיבה שהיא השאלה הראשונה המוצגת ולא פעם אחרונה.
- מה זה תוקף בבדיקה פסיכולוגית?תוקף אינו תכונה שיש למבחן. זו טענה לגבי האם פרשנות מסוימת של ציון מסוים, למטרה מסוימת, ניתנת להגנה — וצריך לבנות אותה מחדש עבור כל שימוש חדש.
- תוקף מתכנס ותוקף מפלהשתי דרישות תמונת ראי: מידה חייבת להסכים עם מה שהיא צריכה להסכים איתו, וחייבת להישאר נפרדת מממה שהיא טוענת שאינה. רוב הכלים החלשים נכשלים בשנייה.
- מהו אלפא של קרונבך — ומה הוא לאהסטטיסטיקה המדווחת ביותר בבדיקה פסיכולוגית, והמעובדת בצורה שגויה ביותר. Alpha לא מספר לך שסולם הוא חד-ממדי, וערך גבוה הוא לעתים קרובות סימפטום ולא סגולה.
- שגיאה תקנית של מדידה: עד כמה הציון שלך יכול להיות כביכולכל ציון נושא שוליים של שגיאה, ולרוב מבחנים פסיכולוגיים הוא רחב יותר מאשר אנשים מניחים. זה המספר שאומר לך מתי הבדל אמיתי ומתי הוא רעש.
- נורמות ואחוזונים: מה הציון שלך מושווה אליוציון גולמי אינו ניתן לפרשנות בעצמו. הוא הופך למשמעותי רק מול קבוצת ייחוס - ואילו קבוצה שימשה הוא אחד מהעובדות הקונסקוונציאליות ביותר והפחות מפורסמות על כל מבחן.
- איך מבחן פסיכומטרי באמת בנוימהגדרת קונסטרוקט לנורמות פורסומות, הרצף לוקח שנים וזורק את רובו של מה שנכנס אליו. ידיעת השלבים הופכת ברור אילו מהם כמעט חידון באינטרנט דילג.
- מה זה אומר כשמבחן נקרא מאומת?המילה אינה מוסדרת ומשמשת בחופשיות על ידי מוצרים שלא עשו כל עבודה. הנה מה זה אומר כשזה אומר משהו, וארבע השאלות שמפרידות בין שני המקרים.
- למה רוב מבחני אישיות באינטרנט אינם אמיניםלא משום שהם לא כנים, אלא משום שהשלבים שגורמים למדידה להיות אמינה אינם נראים, יקרים וקל לדלג - ודילוג עליהם לא משנה שום דבר בנוגע לאופן שהתוצאה נראית.
- מה דיווח עצמי יכול ולא יכול למדודשאלונים מבקשים ממך להיות התצפיתן על עצמך, מה שעובד טוב יותר לחלק מהדברים מאחרים. ידיעה איפה השיטה חזקה ואיפה היא נכשלת משנה את הדרך שבה אתה קורא כל דוח.
- מה זה אומר כשמבחן מנבא משהוקורלציה של 0.30 היא ממצא חזק במחקר אישיות ובסיס חלש להחלטה לגבי אדם אחד. שתי הטענות נכונות, והפער ביניהן גורם לרוב השימוש לרעה בתוצאות מבחנים.
- סינון אינו אבחנהשאלון סינון בנוי כדי לתפוס כמה שיותר מקרים אפשריים, ומקבל שיעור גבוה של תוצאות חיוביות כוזבות כמחיר. לקרוא ציון סינון כאבחון הופך את מה שהוא נועד לעשות.