מה זה אומר כשמבחן נקרא מאומת?
המילה אינה מוסדרת ומשמשת בחופשיות על ידי מוצרים שלא עשו כל עבודה. הנה מה זה אומר כשזה אומר משהו, וארבע השאלות שמפרידות בין שני המקרים.
"מתוקף מדעית" אינו מונח מוגן. איש אינו מאשר אותו, שום גוף אינו מבקר אותו, והוא מופיע על מוצרים שכל בסיס הראיות שלהם הוא שהרבה אנשים כבר עשו אותם. כדאי לדעת מה פירושו כשמשתמשים בו כראוי.
בקצרה
לכלי מתוקף יש תיעוד מפורסם המראה מה הוא מודד, באיזו מידת דיוק, באילו אוכלוסיות, ולאילו שימושים ניתן להשתמש בציונים שלו באופן לגיטימי. תיקוף אינו תעודה. זהו גוף של ראיות, שנאסף בדרך כלל לאורך שנים, ובדרך כלל כולל ממצאים שמגבילים את השימוש בכלי ולא מחמיאים לו.
קיומן של מגבלות מתועדות הוא אחד הסימנים הטובים יותר. ספרות תיקוף אמיתית מלאה בהן: הסולם הזה מתפקד בצורה חלשה בקרב מתבגרים, ההיבט ההוא אינו משתחזר, נקודת החתך תלויה באוכלוסייה. מוצר שמדווח רק על חוזקות לא פרסם את התיקוף שלו; הוא פרסם את השיווק שלו.
ארבע שאלות שעושות את העבודה
מהו הפרסום המקורי? לכלי מתוקף יש מאמר מקורי בכתב עת שפיט, עם מחברים, שנה ובדרך כלל DOI. המאמר מדווח כיצד פותחו הפריטים ומה היו התכונות הפסיכומטריות הראשוניות. אם איש אינו יכול לנקוב בשם המאמר, אין תיקוף לדון בו.
האם המבנה אושש על ידי מישהו אחר? צוות הפיתוח ישחזר את המבנה שהוא עצמו תכנן. מה שחשוב הוא האם קבוצה בלתי תלויה, עם נתונים בלתי תלויים, מצאה את אותו הדבר. זו השאלה האינפורמטיבית ביותר שאפשר לשאול, וזו שנותרת לרוב ללא מענה.
על איזו אוכלוסייה נבנו הנורמות, ומתי? ציון הוא מיקום בהתפלגות ייחוס. כלי שמדווח על אחוזון בלי לציין לאיזו אוכלוסייה הוא מתייחס נתן לך מספר בלי מכנה.
מה הוא מוסיף? תוקף תוספתי מעבר למדד מבוסס. מבנים ממותגים רבים מאוד נכשלים כאן: הם מתואמים כה גבוה עם תכונה קיימת עד שאינם מסבירים שונות נוספת בשום דבר. זוהי תוצאה רגילה של בחינה מדעית, והיא בלתי נראית אלא אם מישהו עורך את המבחן.
היכן התרגום מסבך את העניין
כלי שתוקף באנגלית אינו מתוקף בכך בגרמנית. התאמה בין-תרבותית נאותה מחייבת תרגום ותרגום חוזר, סקירת מומחים, ראיונות קוגניטיביים, ולאחר מכן מחקר פסיכומטרי חדש בשפה החדשה, הבודק אם מבנה הגורמים נשמר ואם פריטים בודדים מתפקדים באופן שקול בין קבוצות.
כלים שמדלגים על כך נפוצים. שאלון שהתיקוף המקורי שלו ללא רבב עשוי להתנהג באופן שונה למדי בשפה שבה לפריט מרכזי יש קונוטציה שונה, ואין דרך לדעת זאת בלי המחקר. כשמבחן מוצע בעשר שפות, השאלה המועילה היא האם הוא תוקף בעשר שפות, או תוקף באחת ותורגם לתשע.
מה תיקוף אינו קונה
הוא אינו הופך ציון לוודאי. כלי מתוקף עדיין נושא טעות מדידה, עדיין מתאר סדירות ברמת האוכלוסייה ולא גורל אישי, ועדיין מודד רק את מה שהפריטים שלו מגיעים אליו.
מה שתיקוף כן קונה הוא מגבלות שאפשר לדעת אותן. אפשר לברר כמה טעות, באיזו אוכלוסייה, לאיזו מטרה. זו טענה צנועה יותר מ"המבחן הזה חושף מי אתה באמת", והיא היחידה שעומדת במבחן.
אם אתה רוצה לראות איך נראה התיעוד כשהוא קיים, כל מבחן בקטלוג של NOESIS מציין את הכלי שהוא מיישם, את מחבריו ושנתו, את שיטת הציון שלו ואת הראיות שמאחוריו, כולל היכן ראיות אלה שנויות במחלוקת.
העמד למבחן
לקרוא על מדידה זה דבר אחד. לראות את הציון שלך מדווח עם המקור שלו, מדגם הנורמה שלו והמגבלות שלו זה דבר אחר. חינם לביצוע, ללא הרשמה נדרשת.
המשך לקרוא
- מה זה פסיכומטריקה?התחום שעובד האם מדידה פסיכולוגית טובה - והסיבה שניתן מבחנים השואלים שאלות דומות שונה עצום בחשיבות התוצאות שלהם.
- מהי מהימנות בבדיקה פסיכולוגית?מהימנות היא עקביות של מדידה, לא נכונות. מבחן יכול להיות בעל מהימנות גבוהה ועדיין למדוד את הדבר הלא נכון — וזו הסיבה שהיא השאלה הראשונה המוצגת ולא פעם אחרונה.
- מה זה תוקף בבדיקה פסיכולוגית?תוקף אינו תכונה שיש למבחן. זו טענה לגבי האם פרשנות מסוימת של ציון מסוים, למטרה מסוימת, ניתנת להגנה — וצריך לבנות אותה מחדש עבור כל שימוש חדש.
- מהו תוקף בנייה?השאלה הקשה ביותר במדידה: האם הדבר שאתה מודד קיים כפי שהגדרת אותו, והאם הכלי שלך מגיע אליו ולא למשהו סמוך.
- תוקף מתכנס ותוקף מפלהשתי דרישות תמונת ראי: מידה חייבת להסכים עם מה שהיא צריכה להסכים איתו, וחייבת להישאר נפרדת מממה שהיא טוענת שאינה. רוב הכלים החלשים נכשלים בשנייה.
- מהו אלפא של קרונבך — ומה הוא לאהסטטיסטיקה המדווחת ביותר בבדיקה פסיכולוגית, והמעובדת בצורה שגויה ביותר. Alpha לא מספר לך שסולם הוא חד-ממדי, וערך גבוה הוא לעתים קרובות סימפטום ולא סגולה.
- שגיאה תקנית של מדידה: עד כמה הציון שלך יכול להיות כביכולכל ציון נושא שוליים של שגיאה, ולרוב מבחנים פסיכולוגיים הוא רחב יותר מאשר אנשים מניחים. זה המספר שאומר לך מתי הבדל אמיתי ומתי הוא רעש.
- נורמות ואחוזונים: מה הציון שלך מושווה אליוציון גולמי אינו ניתן לפרשנות בעצמו. הוא הופך למשמעותי רק מול קבוצת ייחוס - ואילו קבוצה שימשה הוא אחד מהעובדות הקונסקוונציאליות ביותר והפחות מפורסמות על כל מבחן.
- איך מבחן פסיכומטרי באמת בנוימהגדרת קונסטרוקט לנורמות פורסומות, הרצף לוקח שנים וזורק את רובו של מה שנכנס אליו. ידיעת השלבים הופכת ברור אילו מהם כמעט חידון באינטרנט דילג.
- למה רוב מבחני אישיות באינטרנט אינם אמיניםלא משום שהם לא כנים, אלא משום שהשלבים שגורמים למדידה להיות אמינה אינם נראים, יקרים וקל לדלג - ודילוג עליהם לא משנה שום דבר בנוגע לאופן שהתוצאה נראית.
- מה דיווח עצמי יכול ולא יכול למדודשאלונים מבקשים ממך להיות התצפיתן על עצמך, מה שעובד טוב יותר לחלק מהדברים מאחרים. ידיעה איפה השיטה חזקה ואיפה היא נכשלת משנה את הדרך שבה אתה קורא כל דוח.
- מה זה אומר כשמבחן מנבא משהוקורלציה של 0.30 היא ממצא חזק במחקר אישיות ובסיס חלש להחלטה לגבי אדם אחד. שתי הטענות נכונות, והפער ביניהן גורם לרוב השימוש לרעה בתוצאות מבחנים.
- סינון אינו אבחנהשאלון סינון בנוי כדי לתפוס כמה שיותר מקרים אפשריים, ומקבל שיעור גבוה של תוצאות חיוביות כוזבות כמחיר. לקרוא ציון סינון כאבחון הופך את מה שהוא נועד לעשות.