noesisnoesis
איך המדידה עובדת

מהו תוקף בנייה?

השאלה הקשה ביותר במדידה: האם הדבר שאתה מודד קיים כפי שהגדרת אותו, והאם הכלי שלך מגיע אליו ולא למשהו סמוך.

תוקף מבנה בוחן האם כלי מודד את המבנה התיאורטי שהוא מתיימר למדוד, ולא משהו שמתואם איתו, משהו צר ממנו, או שום דבר קוהרנטי בכלל. זוהי הצורה העמוקה ביותר של ראיות לתוקף, וזו שביסוסה דורש שנים ולא מחקר בודד.

הקושי הוא מבני. מבנה כגון חוסן או אינטליגנציה רגשית אינו אובייקט; הוא סדירות משוערת בהתנהגות. כדי להראות שסולם מודד אותו, עליך להגן בו בזמן על הטענה שהמבנה קיים כפי שתואר ועל הטענה שהפריטים המסוימים האלה מגיעים אליו. לא ניתן להפריד בין שתי הטענות, ולכן Cronbach ו-Meehl, שהציגו את הרעיון ב-1955, ניסחו אותו כבחינה של רשת תיאורטית שלמה ולא של כלי יחיד.

איך בונים את הטיעון

דפוסי מתאם צפויים. התיאוריה קובעת עם מה המבנה אמור להיות קשור ובאיזו עוצמה. חמלה עצמית אמורה להיות במתאם חיובי עם שביעות רצון מהחיים, במתאם שלילי עם דיכאון, ובמתאם מתון בלבד עם הערכה עצמית. אילו היה המתאם שלה עם הערכה עצמית 0.9, היא לא הייתה מבנה נפרד. כל אחת מהתחזיות הללו היא טענה הניתנת לבדיקה, וכישלון באחת מהן הוא אינפורמטיבי.

הבדלים צפויים בין קבוצות. אם התיאוריה אומרת שתכונה מתפתחת עם הגיל, או שהיא מוגברת באוכלוסייה קלינית, הכלי אמור להראות זאת. אי-מציאת הבדל שהתיאוריה מחייבת היא ראיה נגד הכלי, נגד התיאוריה, או נגד שניהם.

תגובה להתערבות. אם מבנה אמור להיות ניתן לאימון, הציונים אמורים להשתנות לאחר האימון ולא להשתנות בקבוצת ביקורת. קשה להבחין בין מבנים שאינם מגיבים לשום דבר לבין ארטיפקטים.

מבנה פנימי. מבנה הגורמים צריך להתאים למבנה התיאורטי, וחשוב מכך, במדגם חדש. ניתוח גורמים מגשש על נתוני הפיתוח ימצא כל מבנה שתוכנן מראש; ניתוח גורמים מאשש על נתונים חדשים הוא המקום שבו הטענה נבחנת באמת.

רעיון ריבוי התכונות וריבוי השיטות

התרומה של Campbell ו-Fiske משנת 1959 הייתה ההתעקשות שתוקף מבנה מחייב שני דברים בו בזמן: מדדים של אותה תכונה בשיטות שונות צריכים להסכים זה עם זה, ומדדים של תכונות שונות באותה שיטה לא צריכים להסכים.

החצי השני הזה הוא המקום שבו רוב הכלים מתקשים. אם האמפתיה שלך בדיווח עצמי נמצאת במתאם של 0.7 עם הנעימות שלך בדיווח עצמי ושל 0.2 עם אמפתיה שדורגה על ידי צופה, הדבר החזק ביותר שהשאלון שלך מודד אינו אמפתיה: זוהי הדרך הכללית שלך לתאר את עצמך בשאלונים. שונות השיטה היא אחת הבעיות העיקשות ביותר במחקר דיווח עצמי, והיא הסיבה שעבודת תיקוף רצינית מחפשת קריטריון שאינו שאלון בכל מקום שבו קיים כזה.

למה זה חשוב כשאתה קורא את התוצאות שלך

תוקף מבנה הוא מה שעומד בין ציון לבין הפרשנות שלו. כאשר כלי שעבר תיקוף יסודי מדווח שקיבלת ציון גבוה בתכונה מסוימת, שרשרת ההיגיון שמאחורי הקביעה הזו כוללת עשורים של עבודה שפורסמה וביססה שהתכונה מתנהגת ככמות קוהרנטית, שהפריטים האלה עוקבים אחריה, ושלציון יש משמעות דומה בקרב האנשים שנבחנים בו.

כאשר מבחן ללא תיקוף מבנה מדווח את אותו הדבר, הציון הוא מספר שנוצר על ידי אלגוריתם שאיש לא בדק. שניהם נראים זהים במסך התוצאות. ההבדל נמצא כולו בתיעוד, ולכן כדאי לחפש את התיעוד.

העמד למבחן

לקרוא על מדידה זה דבר אחד. לראות את הציון שלך מדווח עם המקור שלו, מדגם הנורמה שלו והמגבלות שלו זה דבר אחר. חינם לביצוע, ללא הרשמה נדרשת.

המשך לקרוא