איך מבחן פסיכומטרי באמת בנוי
מהגדרת קונסטרוקט לנורמות פורסומות, הרצף לוקח שנים וזורק את רובו של מה שנכנס אליו. ידיעת השלבים הופכת ברור אילו מהם כמעט חידון באינטרנט דילג.
כלי פסיכומטרי שמגיע לפרסום עבר בדרך כלל חמש או שש שנים של עבודה, ורוב מה שנכתב עבורו הושלך. כדאי להכיר את הרצף, כי כל שלב בו מקביל לדרך שבה מבחן עלול להיות לקוי.
1. הגדרת הקונסטרוקט
לפני שנכתב פריט כלשהו, יש להגדיר את הקונסטרוקט בדיוק מספיק כדי לומר מה נמצא מחוצה לו. פירוש הדבר: הגדרה; קביעה של המבנה הממדי (ממד אחד או כמה, ואם כמה, כיצד הם קשורים זה לזה); ופירוט מפורש של הקונסטרוקטים השכנים שהוא אמור להיות נבדל מהם.
דילוג על שלב זה הוא המקור לרוב הכלים המיותרים. סולם שנבנה מתוך תחושה אינטואיטיבית של מושג מסתיים בדרך כלל במדידה של תכונה מוכרת תחת שם חדש.
2. יצירת מאגר פריטים
הפריטים מנוסחים בכמות גדולה בהרבה ממה שישרוד, בדרך כלל פי שלושה עד חמישה מהמספר הסופי. מקורם בתיאוריה, בכלים קיימים, בראיונות עם אנשים שחווים את החוויה המתוארת ובמומחי תוכן.
בשלב זה המאגר נבדק מבחינת כיסוי התוכן (האם הוא משתרע על פני הקונסטרוקט כולו או מתרכז בהיבט אחד?), רמת הקריאה, ניסוחים כפולים ופריטים ששואלים למעשה על משהו אחר.
3. פיילוט וקיצוץ
המאגר מועבר למדגם ראשון. הניתוח הוא ברובו הרסני.
פריטים שכמעט אין בהם שונות מוצאים: שאלה שכולם עונים עליה באותו אופן אינה מבחינה בין איש לרעהו. פריטים בעלי מתאם נמוך עם הציון הכולל מוצאים. פריטים בעלי טעינה צולבת על יותר מגורם אחד מוצאים. פריטים שמתפקדים באופן שונה בקבוצות דמוגרפיות שונות מסיבות שאינן קשורות לתכונה (תפקוד דיפרנציאלי של פריטים) מוצאים, ובדיקה זו היא מן הבדיקות שמדלגים עליהן לעתים הקרובות ביותר.
מה ששורד הוא בדרך כלל שליש ממה שנכתב.
4. אישוש המבנה במדגם חדש
זהו השלב שמבדיל בין כלים רציניים לכל השאר. ניתוח גורמים על מדגם הפיתוח ישחזר את המבנה שתוכנן מראש; הוא חייב לעשות זאת, שהרי הפריטים נבחרו כדי לייצר אותו. המבחן האמיתי הוא ניתוח גורמים מאשש במדגם בלתי תלוי.
סולמות מפורסמים רבים מאוד משחזרים את המבנה המיועד שלהם רק בנתונים ששימשו לבנייתם. כאשר מישהו אחר אוסף נתונים חדשים, הגורמים אינם מופיעים. כישלון זה נפוץ דיו כדי שהשאלה "האם המבנה אושש במדגם בלתי תלוי?" תהיה אחת השאלות היעילות ביותר שאפשר לשאול על כל כלי.
5. צבירת ראיות לתוקף
מתאמים עם מדדים מבוססים של אותו קונסטרוקט. מתאמים עם קונסטרוקטים שהוא אמור להיות נבדל מהם, ומוטב שאלה יהיו נמוכים יותר. קשרים עם תוצאים בעלי חשיבות. תוקף מוסף ביחס למה שכבר קיים. יציבות מבחן-מבחן חוזר לאורך מרווח זמן המתאים לקונסטרוקט.
שלב זה אינו מסתיים. הוא נמשך כל עוד הכלי בשימוש, ובשלב זה מתגלים לרוב ליקויים בכלים, שנים לאחר פרסומם.
6. בניית נורמות
מדגם ייחוס גדול ומייצג דיו עבור אוכלוסיית היעד, מרובד במקרים שבהם התכונה משתנה לפי גיל או מין, ומתועד מבחינת שנה ומדינה. ולאחר מכן חזרה על התהליך מעת לעת, משום שנורמות נסחפות.
7. תרגום, אם הכלי ישמש במקום אחר
תרגום אינו תרגיל לשוני. התאמה נאותה פירושה תרגום ישיר, תרגום חוזר בלתי תלוי, סקירת מומחים, ראיונות קוגניטיביים עם דוברי שפת היעד, ולאחר מכן מחקר פסיכומטרי חדש בשפה החדשה כדי לבדוק אם המבנה נשמר ואם הפריטים מתפקדים באופן שקול. כלי שתורגם ללא מחקר כזה הוא כלי שלא נבדק בשפה זו, יהיו אישוריו בשפת המקור אשר יהיו.
מה משתמע מכך לגבי השאלון המהיר
מבחן שנכתב במהלך אחר צהריים אחד השלים את השלב השני. ייתכן בהחלט שהוא יפיק תוצאה שנראית סבירה, אחוזון ופסקת תיאור. השלבים שעליהם דילג הם אלה שהיו קובעים אם למשהו מכל זה יש משמעות כלשהי.
העמד למבחן
לקרוא על מדידה זה דבר אחד. לראות את הציון שלך מדווח עם המקור שלו, מדגם הנורמה שלו והמגבלות שלו זה דבר אחר. חינם לביצוע, ללא הרשמה נדרשת.
המשך לקרוא
- מה זה פסיכומטריקה?התחום שעובד האם מדידה פסיכולוגית טובה - והסיבה שניתן מבחנים השואלים שאלות דומות שונה עצום בחשיבות התוצאות שלהם.
- מהי מהימנות בבדיקה פסיכולוגית?מהימנות היא עקביות של מדידה, לא נכונות. מבחן יכול להיות בעל מהימנות גבוהה ועדיין למדוד את הדבר הלא נכון — וזו הסיבה שהיא השאלה הראשונה המוצגת ולא פעם אחרונה.
- מה זה תוקף בבדיקה פסיכולוגית?תוקף אינו תכונה שיש למבחן. זו טענה לגבי האם פרשנות מסוימת של ציון מסוים, למטרה מסוימת, ניתנת להגנה — וצריך לבנות אותה מחדש עבור כל שימוש חדש.
- מהו תוקף בנייה?השאלה הקשה ביותר במדידה: האם הדבר שאתה מודד קיים כפי שהגדרת אותו, והאם הכלי שלך מגיע אליו ולא למשהו סמוך.
- תוקף מתכנס ותוקף מפלהשתי דרישות תמונת ראי: מידה חייבת להסכים עם מה שהיא צריכה להסכים איתו, וחייבת להישאר נפרדת מממה שהיא טוענת שאינה. רוב הכלים החלשים נכשלים בשנייה.
- מהו אלפא של קרונבך — ומה הוא לאהסטטיסטיקה המדווחת ביותר בבדיקה פסיכולוגית, והמעובדת בצורה שגויה ביותר. Alpha לא מספר לך שסולם הוא חד-ממדי, וערך גבוה הוא לעתים קרובות סימפטום ולא סגולה.
- שגיאה תקנית של מדידה: עד כמה הציון שלך יכול להיות כביכולכל ציון נושא שוליים של שגיאה, ולרוב מבחנים פסיכולוגיים הוא רחב יותר מאשר אנשים מניחים. זה המספר שאומר לך מתי הבדל אמיתי ומתי הוא רעש.
- נורמות ואחוזונים: מה הציון שלך מושווה אליוציון גולמי אינו ניתן לפרשנות בעצמו. הוא הופך למשמעותי רק מול קבוצת ייחוס - ואילו קבוצה שימשה הוא אחד מהעובדות הקונסקוונציאליות ביותר והפחות מפורסמות על כל מבחן.
- מה זה אומר כשמבחן נקרא מאומת?המילה אינה מוסדרת ומשמשת בחופשיות על ידי מוצרים שלא עשו כל עבודה. הנה מה זה אומר כשזה אומר משהו, וארבע השאלות שמפרידות בין שני המקרים.
- למה רוב מבחני אישיות באינטרנט אינם אמיניםלא משום שהם לא כנים, אלא משום שהשלבים שגורמים למדידה להיות אמינה אינם נראים, יקרים וקל לדלג - ודילוג עליהם לא משנה שום דבר בנוגע לאופן שהתוצאה נראית.
- מה דיווח עצמי יכול ולא יכול למדודשאלונים מבקשים ממך להיות התצפיתן על עצמך, מה שעובד טוב יותר לחלק מהדברים מאחרים. ידיעה איפה השיטה חזקה ואיפה היא נכשלת משנה את הדרך שבה אתה קורא כל דוח.
- מה זה אומר כשמבחן מנבא משהוקורלציה של 0.30 היא ממצא חזק במחקר אישיות ובסיס חלש להחלטה לגבי אדם אחד. שתי הטענות נכונות, והפער ביניהן גורם לרוב השימוש לרעה בתוצאות מבחנים.
- סינון אינו אבחנהשאלון סינון בנוי כדי לתפוס כמה שיותר מקרים אפשריים, ומקבל שיעור גבוה של תוצאות חיוביות כוזבות כמחיר. לקרוא ציון סינון כאבחון הופך את מה שהוא נועד לעשות.