noesisnoesis
איך המדידה עובדת

מה זה תוקף בבדיקה פסיכולוגית?

תוקף אינו תכונה שיש למבחן. זו טענה לגבי האם פרשנות מסוימת של ציון מסוים, למטרה מסוימת, ניתנת להגנה — וצריך לבנות אותה מחדש עבור כל שימוש חדש.

תוקף עוסק בשאלה אם מבחן מודד את מה שהוא מתיימר למדוד, ואם המסקנות שאנשים מסיקים מהציונים שלו מוצדקות. זו השאלה המרכזית בפסיכומטריקה, וזו שלרוב עונים עליה בטענה שיווקית ולא בראיות.

ההבנה המודרנית, המקובלת מאז עבודתו של Messick בשנות ה-80, היא שתוקף אינו תכונה קבועה של כלי. הוא תכונה של פרשנות הציונים עבור שימוש מסוים. אותו שאלון יכול להיות מתוקף היטב לתיאור התפיסה העצמית של אדם, ובלתי מתוקף לחלוטין לצורך ההחלטה אם להעסיק אותו. לומר "המבחן הזה תקף" בלי לומר תקף למה, אינו טענה; זו סיסמה.

סוגי הראיות

תוקף נבנה מראיות מצטברות מכמה סוגים. טקסטים ישנים יותר מציגים אותם כסוגים נפרדים של תוקף; התפיסה הנוכחית רואה בהם טיעונים שונים התומכים בטענה אחת.

ראיות תוכן בוחנות אם הפריטים מכסים את המבנה הנמדד כראוי. סולם דיכאון ששואל רק על שינה ותיאבון מכסה את התסמינים הגופניים ומחמיץ את התסמינים של מצב הרוח ואת התסמינים הקוגניטיביים. כיסוי התוכן נשפט בדרך כלל על ידי מומחי תוכן, וזו הסיבה שסולמות קצרים מאוד הם תמיד פשרה.

ראיות למבנה פנימי בוחנות אם הפריטים מתקבצים כפי שהתאוריה צופה. אם מודל טוען לארבעה היבטים נפרדים, ניתוח גורמים אמור לשחזר ארבעה גורמים, ובאופן מכריע, במדגם בלתי תלוי ולא רק במדגם שעליו נבנה הסולם. כלים רבים מאוד משחזרים את המבנה המיועד שלהם במדגם הפיתוח ונכשלים בכך בכל מדגם אחר.

קשרים למשתנים אחרים הם המקום שבו מתבצעת רוב העבודה. ראיות מתכנסות מראות שהסולם מתואם עם מה שהוא אמור להיות מתואם איתו. ראיות מבחינות מראות שהוא אינו מתואם במידה גבוהה מדי עם דברים שהוא אמור להיות נבדל מהם: דרישה שמוזנחת באופן כרוני, וזו שמטביעה מבנים רבים בעלי מיתוג חדש. ראיות קריטריון מראות שהציון קשור לתוצאה בעלת חשיבות, בין שהיא נמדדת באותו זמן ובין שהיא מנובאת מראש.

ראיות להשלכות בוחנות מה קורה כשהמבחן נמצא בשימוש. אם כלי מקפח באופן שיטתי קבוצה מסוימת מסיבות שאינן קשורות למבנה הנמדד, זו בעיית תוקף ולא רק בעיה אתית.

השאלה שחושפת את רוב הטענות

המבחן החד ביותר לטענת תוקף הוא תוקף מוסף: האם הכלי הזה מוסיף משהו מעבר למה שמדד זול יותר, ותיק יותר ומבוסס כבר אומר לך?

מספר מפתיע של מבנים ממותגים נכשלים כאן. הם מתואמים ב-0.7 ומעלה עם תחום קיים של Big Five, מנבאים את אותן תוצאות באותה עוצמה, ואינם מוסיפים דבר ברגע שהמדד הוותיק מבוקר סטטיסטית. המבנה חדש; המדידה אינה חדשה. זו הסיבה שפרקי הביקורת בתיעוד רציני של כלים מתמקדים לעתים קרובות כל כך ביתירות ולא בחוסר דיוק.

למה לשים לב

כשמישהו טוען שמבחן מתוקף, השאלות המועילות הן קונקרטיות. מתוקף מול איזה קריטריון? באיזו אוכלוסייה, ובאיזה גודל? האם מבנה הגורמים אושש במדגם בלתי תלוי? האם יש ראיות שפורסמו על ידי חוקרים ללא אינטרס מסחרי בתשובה? האם הוא מוסיף משהו מעבר לחלופה מבוססת?

כלי שיש לו תשובות כנות לשאלות האלה ראוי להתייחסות רצינית, כולל מגבלותיו. כלי שהתיקוף שלו מסתכם בעמוד המלצות ובטענה שמיליוני אנשים כבר עשו אותו ענה על שאלה אחרת לגמרי: פופולריות אינה ראיה, ומספר האנשים שעשו מבחן אינו אומר דבר על כך שלציונים שלו יש משמעות כלשהי.

העמד למבחן

לקרוא על מדידה זה דבר אחד. לראות את הציון שלך מדווח עם המקור שלו, מדגם הנורמה שלו והמגבלות שלו זה דבר אחר. חינם לביצוע, ללא הרשמה נדרשת.

המשך לקרוא