למה רוב מבחני אישיות באינטרנט אינם אמינים
לא משום שהם לא כנים, אלא משום שהשלבים שגורמים למדידה להיות אמינה אינם נראים, יקרים וקל לדלג - ודילוג עליהם לא משנה שום דבר בנוגע לאופן שהתוצאה נראית.
מבחן אישיות חינמי ברשת וכלי פסיכומטרי בעל תוקף מוכח מפיקים פלט שנראה זהה: ציון, אחוזון, פסקה שמתארת אותך. ההבדל כולו טמון בעבודה שאינך יכול לראות ממסך התוצאות.
כדאי לדייק בעניין הזה, כי המסגור הרווח, שלפיו מבחנים באינטרנט הם הונאה, שגוי ברובו ואינו מועיל במיוחד. רובם נוצרים בידי אנשים שאין להם כל כוונה להטעות. הם אינם מהימנים מסיבות מבניות.
על מה בדרך כלל מדלגים
ניתוח פריטים. בסולם שנבנה כראוי, רוב הפריטים שנוסחו נפסלים לאחר מחקר הגישוש: פריטים שאין בהם שונות בין אנשים, פריטים בעלי מתאם נמוך עם הציון הכולל, פריטים שנטענים על יותר מגורם אחד, פריטים שמתנהגים אחרת בקבוצות גיל או שפה שונות. מבחן שנכתב ופורסם ללא מחקר גישוש שמר על הכול, כולל הפריטים שאינם עובדים.
אישוש מבני בלתי תלוי. ניתוח גורמים על הנתונים שמהם בנית את הסולם ישחזר את המבנה שתכננת. אישוש המבנה במדגם חדש הוא מחקר נפרד, וזה השלב שבו חלק ניכר מהסולמות נכשלים.
נורמות. האחוזון צריך להגיע ממקום כלשהו. אם האתר אינו מציין את אוכלוסיית הייחוס שלו, המספר נגזר מהמבקרים הקודמים, קבוצה שבחרה את עצמה ושהרכבה אינו ידוע, או משום דבר מסוים.
נתוני מבחן-מבחן חוזר. כדי לקבוע שאנשים מקבלים אותו ציון בחודש הבא, צריך לאתר אותם שוב. כמעט אף אחד לא עושה זאת, ולכן היציבות שהמילה "תכונה" מרמזת עליה לא הוכחה.
התמריצים בתכנון פועלים בכיוון ההפוך
מבחן שנבנה למען מעורבות ממוטב לתוצאה שונה ממבחן שנבנה למען דיוק, והשניים מתפצלים בדרכים צפויות.
תוצאות מחמיאות מצליחות יותר. תוצאה שאומרת לך משהו לא רצוי משותפת פחות, ולכן התוצאות נסחפות לעבר תיאורים שכל אחד מזהה בעצמו. זהו אפקט ברנום, שהודגם בשנות ה-40 ושוחזר באופן עקבי מאז: אנשים מדרגים תיאורי אישיות כלליים כמדויקים מאוד לגביהם באופן ספציפי.
טיפוסים מצליחים יותר מממדים. "אתה ארכיטקט" ניתן לשיתוף יותר מאשר "אתה באחוזון ה-68 בפתיחות, עם רווח סמך רחב". טיפוסים גם מסתירים טעות מדידה, שכן מי שנמצא נקודה אחת מכל צד של גבול קטגוריה מקבל תוויות שונות לחלוטין.
קצר מצליח יותר ממספק. כל שאלה נוספת מאבדת משיבים, ולכן מבחנים מקוצרים לאורך שממקסם השלמה ולא לאורך שמכסה את המבנה הנמדד.
אף אחד מאלה אינו שקר. זהו מיטוב למדד שאינו דיוק.
איך לזהות בתוך כשלושים שניות
חפש כלי מקור בעל שם, עם מחברים ושנה. חפש הצהרה על האוכלוסייה שממנה נלקחו הנורמות. חפש הכרה כלשהי במגבלות או בטעות מדידה. בדוק אם התוצאה היא ציון רציף או קטגוריה. בדוק אם אותו עמוד גם מבטיח לזהות את הקריירה האידיאלית, בן הזוג או ייעוד החיים שלך מתוך עשרים שאלות.
מבחן שמציין את שם הכלי שלו, מפנה למקורו, מציין את הנורמות שלו ואומר מה הוא אינו יכול לומר לך, עשה את העבודה. מבחן שאינו עושה אף אחד מאלה עשוי עדיין להיות דרך נעימה לבלות חמש דקות, אבל המספר שהוא מפיק הוא קישוט.
כל כלי בקטלוג של NOESIS מציין איזה מבחן שפורסם הוא מיישם, מי כתב אותו, באיזו שנה, כיצד מחושב הציון, ומה התוצאות שלו אינן מבססות. החלק האחרון הוא זה שכדאי להשוות לפיו.
העמד למבחן
לקרוא על מדידה זה דבר אחד. לראות את הציון שלך מדווח עם המקור שלו, מדגם הנורמה שלו והמגבלות שלו זה דבר אחר. חינם לביצוע, ללא הרשמה נדרשת.
המשך לקרוא
- מה זה פסיכומטריקה?התחום שעובד האם מדידה פסיכולוגית טובה - והסיבה שניתן מבחנים השואלים שאלות דומות שונה עצום בחשיבות התוצאות שלהם.
- מהי מהימנות בבדיקה פסיכולוגית?מהימנות היא עקביות של מדידה, לא נכונות. מבחן יכול להיות בעל מהימנות גבוהה ועדיין למדוד את הדבר הלא נכון — וזו הסיבה שהיא השאלה הראשונה המוצגת ולא פעם אחרונה.
- מה זה תוקף בבדיקה פסיכולוגית?תוקף אינו תכונה שיש למבחן. זו טענה לגבי האם פרשנות מסוימת של ציון מסוים, למטרה מסוימת, ניתנת להגנה — וצריך לבנות אותה מחדש עבור כל שימוש חדש.
- מהו תוקף בנייה?השאלה הקשה ביותר במדידה: האם הדבר שאתה מודד קיים כפי שהגדרת אותו, והאם הכלי שלך מגיע אליו ולא למשהו סמוך.
- תוקף מתכנס ותוקף מפלהשתי דרישות תמונת ראי: מידה חייבת להסכים עם מה שהיא צריכה להסכים איתו, וחייבת להישאר נפרדת מממה שהיא טוענת שאינה. רוב הכלים החלשים נכשלים בשנייה.
- מהו אלפא של קרונבך — ומה הוא לאהסטטיסטיקה המדווחת ביותר בבדיקה פסיכולוגית, והמעובדת בצורה שגויה ביותר. Alpha לא מספר לך שסולם הוא חד-ממדי, וערך גבוה הוא לעתים קרובות סימפטום ולא סגולה.
- שגיאה תקנית של מדידה: עד כמה הציון שלך יכול להיות כביכולכל ציון נושא שוליים של שגיאה, ולרוב מבחנים פסיכולוגיים הוא רחב יותר מאשר אנשים מניחים. זה המספר שאומר לך מתי הבדל אמיתי ומתי הוא רעש.
- נורמות ואחוזונים: מה הציון שלך מושווה אליוציון גולמי אינו ניתן לפרשנות בעצמו. הוא הופך למשמעותי רק מול קבוצת ייחוס - ואילו קבוצה שימשה הוא אחד מהעובדות הקונסקוונציאליות ביותר והפחות מפורסמות על כל מבחן.
- איך מבחן פסיכומטרי באמת בנוימהגדרת קונסטרוקט לנורמות פורסומות, הרצף לוקח שנים וזורק את רובו של מה שנכנס אליו. ידיעת השלבים הופכת ברור אילו מהם כמעט חידון באינטרנט דילג.
- מה זה אומר כשמבחן נקרא מאומת?המילה אינה מוסדרת ומשמשת בחופשיות על ידי מוצרים שלא עשו כל עבודה. הנה מה זה אומר כשזה אומר משהו, וארבע השאלות שמפרידות בין שני המקרים.
- מה דיווח עצמי יכול ולא יכול למדודשאלונים מבקשים ממך להיות התצפיתן על עצמך, מה שעובד טוב יותר לחלק מהדברים מאחרים. ידיעה איפה השיטה חזקה ואיפה היא נכשלת משנה את הדרך שבה אתה קורא כל דוח.
- מה זה אומר כשמבחן מנבא משהוקורלציה של 0.30 היא ממצא חזק במחקר אישיות ובסיס חלש להחלטה לגבי אדם אחד. שתי הטענות נכונות, והפער ביניהן גורם לרוב השימוש לרעה בתוצאות מבחנים.
- סינון אינו אבחנהשאלון סינון בנוי כדי לתפוס כמה שיותר מקרים אפשריים, ומקבל שיעור גבוה של תוצאות חיוביות כוזבות כמחיר. לקרוא ציון סינון כאבחון הופך את מה שהוא נועד לעשות.