noesisnoesis
איך המדידה עובדת

איך מבחן פסיכומטרי באמת בנוי

מהגדרת קונסטרוקט לנורמות פורסומות, הרצף לוקח שנים וזורק את רובו של מה שנכנס אליו. ידיעת השלבים הופכת ברור אילו מהם כמעט חידון באינטרנט דילג.

כלי פסיכומטרי שמגיע לפרסום עבר בדרך כלל חמש או שש שנים של עבודה, ורוב מה שנכתב עבורו הושלך. כדאי להכיר את הרצף, כי כל שלב בו מקביל לדרך שבה מבחן עלול להיות לקוי.

1. הגדרת הקונסטרוקט

לפני שנכתב פריט כלשהו, יש להגדיר את הקונסטרוקט בדיוק מספיק כדי לומר מה נמצא מחוצה לו. פירוש הדבר: הגדרה; קביעה של המבנה הממדי (ממד אחד או כמה, ואם כמה, כיצד הם קשורים זה לזה); ופירוט מפורש של הקונסטרוקטים השכנים שהוא אמור להיות נבדל מהם.

דילוג על שלב זה הוא המקור לרוב הכלים המיותרים. סולם שנבנה מתוך תחושה אינטואיטיבית של מושג מסתיים בדרך כלל במדידה של תכונה מוכרת תחת שם חדש.

2. יצירת מאגר פריטים

הפריטים מנוסחים בכמות גדולה בהרבה ממה שישרוד, בדרך כלל פי שלושה עד חמישה מהמספר הסופי. מקורם בתיאוריה, בכלים קיימים, בראיונות עם אנשים שחווים את החוויה המתוארת ובמומחי תוכן.

בשלב זה המאגר נבדק מבחינת כיסוי התוכן (האם הוא משתרע על פני הקונסטרוקט כולו או מתרכז בהיבט אחד?), רמת הקריאה, ניסוחים כפולים ופריטים ששואלים למעשה על משהו אחר.

3. פיילוט וקיצוץ

המאגר מועבר למדגם ראשון. הניתוח הוא ברובו הרסני.

פריטים שכמעט אין בהם שונות מוצאים: שאלה שכולם עונים עליה באותו אופן אינה מבחינה בין איש לרעהו. פריטים בעלי מתאם נמוך עם הציון הכולל מוצאים. פריטים בעלי טעינה צולבת על יותר מגורם אחד מוצאים. פריטים שמתפקדים באופן שונה בקבוצות דמוגרפיות שונות מסיבות שאינן קשורות לתכונה (תפקוד דיפרנציאלי של פריטים) מוצאים, ובדיקה זו היא מן הבדיקות שמדלגים עליהן לעתים הקרובות ביותר.

מה ששורד הוא בדרך כלל שליש ממה שנכתב.

4. אישוש המבנה במדגם חדש

זהו השלב שמבדיל בין כלים רציניים לכל השאר. ניתוח גורמים על מדגם הפיתוח ישחזר את המבנה שתוכנן מראש; הוא חייב לעשות זאת, שהרי הפריטים נבחרו כדי לייצר אותו. המבחן האמיתי הוא ניתוח גורמים מאשש במדגם בלתי תלוי.

סולמות מפורסמים רבים מאוד משחזרים את המבנה המיועד שלהם רק בנתונים ששימשו לבנייתם. כאשר מישהו אחר אוסף נתונים חדשים, הגורמים אינם מופיעים. כישלון זה נפוץ דיו כדי שהשאלה "האם המבנה אושש במדגם בלתי תלוי?" תהיה אחת השאלות היעילות ביותר שאפשר לשאול על כל כלי.

5. צבירת ראיות לתוקף

מתאמים עם מדדים מבוססים של אותו קונסטרוקט. מתאמים עם קונסטרוקטים שהוא אמור להיות נבדל מהם, ומוטב שאלה יהיו נמוכים יותר. קשרים עם תוצאים בעלי חשיבות. תוקף מוסף ביחס למה שכבר קיים. יציבות מבחן-מבחן חוזר לאורך מרווח זמן המתאים לקונסטרוקט.

שלב זה אינו מסתיים. הוא נמשך כל עוד הכלי בשימוש, ובשלב זה מתגלים לרוב ליקויים בכלים, שנים לאחר פרסומם.

6. בניית נורמות

מדגם ייחוס גדול ומייצג דיו עבור אוכלוסיית היעד, מרובד במקרים שבהם התכונה משתנה לפי גיל או מין, ומתועד מבחינת שנה ומדינה. ולאחר מכן חזרה על התהליך מעת לעת, משום שנורמות נסחפות.

7. תרגום, אם הכלי ישמש במקום אחר

תרגום אינו תרגיל לשוני. התאמה נאותה פירושה תרגום ישיר, תרגום חוזר בלתי תלוי, סקירת מומחים, ראיונות קוגניטיביים עם דוברי שפת היעד, ולאחר מכן מחקר פסיכומטרי חדש בשפה החדשה כדי לבדוק אם המבנה נשמר ואם הפריטים מתפקדים באופן שקול. כלי שתורגם ללא מחקר כזה הוא כלי שלא נבדק בשפה זו, יהיו אישוריו בשפת המקור אשר יהיו.

מה משתמע מכך לגבי השאלון המהיר

מבחן שנכתב במהלך אחר צהריים אחד השלים את השלב השני. ייתכן בהחלט שהוא יפיק תוצאה שנראית סבירה, אחוזון ופסקת תיאור. השלבים שעליהם דילג הם אלה שהיו קובעים אם למשהו מכל זה יש משמעות כלשהי.

העמד למבחן

לקרוא על מדידה זה דבר אחד. לראות את הציון שלך מדווח עם המקור שלו, מדגם הנורמה שלו והמגבלות שלו זה דבר אחר. חינם לביצוע, ללא הרשמה נדרשת.

המשך לקרוא