Γιατί τα περισσότερα διαδικτυακά τεστ προσωπικότητας δεν είναι αξιόπιστα
Όχι επειδή είναι ανέντιμοι, αλλά επειδή τα βήματα που καθιστούν μια μέτρηση αξιόπιστη είναι αόρατα, δαπανηρά και εύκολο να παραλειφθούν. Και η παράλειψή τους δεν αλλάζει καθόλου την εμφάνιση του αποτελέσματος.
Ένα δωρεάν διαδικτυακό τεστ προσωπικότητας και ένα επικυρωμένο ψυχομετρικό εργαλείο δίνουν αποτελέσματα που μοιάζουν πανομοιότυπα: μια βαθμολογία, ένα εκατοστημόριο, μια παράγραφο που σας περιγράφει. Η διαφορά βρίσκεται εξ ολοκλήρου στη δουλειά που δεν μπορείτε να δείτε στην οθόνη των αποτελεσμάτων.
Αξίζει να είμαστε ακριβείς εδώ, γιατί η συνηθισμένη άποψη ότι τα διαδικτυακά τεστ είναι απάτες είναι ως επί το πλείστον λανθασμένη και όχι ιδιαίτερα χρήσιμη. Τα περισσότερα δημιουργούνται από ανθρώπους που δεν έχουν πρόθεση να εξαπατήσουν. Είναι αναξιόπιστα για δομικούς λόγους.
Τι συνήθως παραλείπεται
Ανάλυση ερωτημάτων. Σε μια σωστά κατασκευασμένη κλίμακα, τα περισσότερα ερωτήματα που συντάχθηκαν αρχικά απορρίπτονται μετά την πιλοτική χορήγηση: ερωτήματα στα οποία οι απαντήσεις δεν παρουσιάζουν διακύμανση, ερωτήματα που συσχετίζονται ασθενώς με τη συνολική βαθμολογία, ερωτήματα που συνδέονται με περισσότερους από έναν παράγοντες, ερωτήματα που λειτουργούν διαφορετικά ανάλογα με την ηλικιακή ή γλωσσική ομάδα. Ένα τεστ που γράφτηκε και δημοσιεύτηκε χωρίς πιλοτική δοκιμή έχει κρατήσει τα πάντα, μαζί και τα ερωτήματα που δεν λειτουργούν.
Ανεξάρτητη επιβεβαίωση της δομής. Η παραγοντική ανάλυση των δεδομένων με τα οποία κατασκευάσατε την κλίμακα θα αναδείξει τη δομή που σχεδιάσατε. Η επιβεβαίωσή της σε νέο δείγμα απαιτεί ξεχωριστή μελέτη, και σε αυτό το βήμα αποτυγχάνει μεγάλο μέρος των κλιμάκων.
Νόρμες. Το εκατοστημόριο πρέπει να προκύπτει από κάπου. Αν ο ιστότοπος δεν δηλώνει τον πληθυσμό αναφοράς του, ο αριθμός προκύπτει είτε από προηγούμενους επισκέπτες, μια αυτοεπιλεγμένη ομάδα άγνωστης σύνθεσης, είτε χωρίς κάποια συγκεκριμένη βάση.
Δεδομένα επαναληπτικής χορήγησης. Για να διαπιστωθεί ότι οι άνθρωποι λαμβάνουν την ίδια βαθμολογία τον επόμενο μήνα, πρέπει να εντοπιστούν ξανά. Σχεδόν κανείς δεν το κάνει, πράγμα που σημαίνει ότι δεν έχει αποδειχθεί η σταθερότητα που υπονοεί η λέξη «γνώρισμα».
Τα κίνητρα του σχεδιασμού οδηγούν προς τη λάθος κατεύθυνση
Ένα τεστ σχεδιασμένο για να προσελκύει το ενδιαφέρον βελτιστοποιείται για διαφορετικό αποτέλεσμα από ένα τεστ σχεδιασμένο για ακρίβεια, και οι δύο στόχοι αποκλίνουν με προβλέψιμους τρόπους.
Τα κολακευτικά αποτελέσματα έχουν καλύτερη απήχηση. Ένα αποτέλεσμα που σας λέει κάτι δυσάρεστο κοινοποιείται λιγότερο, οπότε οι περιγραφές των αποτελεσμάτων τείνουν προς χαρακτηριστικά που όλοι αναγνωρίζουν στον εαυτό τους. Αυτό είναι το φαινόμενο Barnum, που καταδείχθηκε τη δεκαετία του 1940 και έκτοτε έχει αναπαραχθεί με συνέπεια: οι άνθρωποι αξιολογούν γενικές περιγραφές προσωπικότητας ως ιδιαίτερα ακριβείς ειδικά για τους ίδιους.
Οι τύποι έχουν καλύτερη απήχηση από τις διαστάσεις. Το «Είστε Αρχιτέκτονας» είναι ευκολότερο να κοινοποιηθεί από το «βρίσκεστε στο 68ο εκατοστημόριο στη δεκτικότητα, με ευρύ διάστημα εμπιστοσύνης». Οι τύποι κρύβουν επίσης το σφάλμα μέτρησης, καθώς κάποιος που βρίσκεται έναν βαθμό από τη μία ή την άλλη πλευρά του ορίου μιας κατηγορίας λαμβάνει εντελώς διαφορετική ετικέτα.
Το σύντομο έχει καλύτερη απήχηση από το επαρκές. Κάθε επιπλέον ερώτηση μειώνει τον αριθμό όσων ολοκληρώνουν το τεστ, οπότε τα τεστ περιορίζονται σε μήκος που μεγιστοποιεί την ολοκλήρωση, αντί να καλύπτει επαρκώς το κατασκεύασμα.
Τίποτα από αυτά δεν είναι ψέμα. Είναι βελτιστοποίηση για ένα κριτήριο διαφορετικό από την ακρίβεια.
Πώς να το καταλάβετε σε περίπου τριάντα δευτερόλεπτα
Αναζητήστε ένα κατονομασμένο εργαλείο προέλευσης, με συγγραφείς και έτος. Αναζητήστε δήλωση για τον πληθυσμό από τον οποίο προέρχονται οι νόρμες. Αναζητήστε οποιαδήποτε αναφορά σε περιορισμούς ή σε σφάλμα μέτρησης. Ελέγξτε αν το αποτέλεσμα είναι συνεχής βαθμολογία ή κατηγορία. Ελέγξτε αν η ίδια σελίδα υπόσχεται επίσης να προσδιορίσει την ιδανική σας σταδιοδρομία, τον ιδανικό σας σύντροφο ή τον σκοπό της ζωής σας με βάση είκοσι ερωτήσεις.
Ένα τεστ που κατονομάζει το εργαλείο του, παραπέμπει στην πηγή του, δηλώνει τις νόρμες του και εξηγεί τι δεν μπορεί να σας πει έχει κάνει την απαιτούμενη δουλειά. Ένα τεστ που δεν κάνει τίποτα από αυτά μπορεί και πάλι να είναι ένας ευχάριστος τρόπος να περάσετε πέντε λεπτά, αλλά ο αριθμός που παράγει είναι διακοσμητικός.
Κάθε εργαλείο στον κατάλογο της NOESIS δηλώνει ποιο δημοσιευμένο τεστ εφαρμόζει, ποιος το συνέταξε, ποιο έτος, πώς υπολογίζεται η βαθμολογία του και τι δεν τεκμηριώνουν τα αποτελέσματά του. Αυτό το τελευταίο είναι που αξίζει να συγκρίνετε.
Δοκιμάστε το
Άλλο είναι να διαβάζετε για τη μέτρηση και άλλο να βλέπετε τη δική σας βαθμολογία με την πηγή της, το δείγμα νόρμας και τα όριά της. Δωρεάν συμπλήρωση, χωρίς εγγραφή.
Συνεχίστε την ανάγνωση
- Τι είναι η ψυχομετρία;Ο κλάδος που εξετάζει αν μια ψυχολογική μέτρηση είναι αξιόπιστη και έγκυρη, και ο λόγος για τον οποίο δύο τεστ που θέτουν παρόμοιες ερωτήσεις μπορεί να διαφέρουν τεράστια ως προς την αξία των αποτελεσμάτων τους.
- Τι είναι η αξιοπιστία στα ψυχολογικά τεστ;Η αξιοπιστία αφορά τη συνέπεια της μέτρησης, όχι την ορθότητά της. Ένα τεστ μπορεί να έχει υψηλή αξιοπιστία και παρ' όλα αυτά να μετρά κάτι άλλο από αυτό που πρέπει. Γι' αυτό η αξιοπιστία είναι το πρώτο ερώτημα που τίθεται, αλλά ποτέ το τελευταίο.
- Τι είναι η εγκυρότητα στα ψυχολογικά τεστ;Η εγκυρότητα δεν είναι ιδιότητα που έχει ένα τεστ. Είναι ένα επιχείρημα για το κατά πόσον μπορεί να υποστηριχθεί μια συγκεκριμένη ερμηνεία μιας συγκεκριμένης βαθμολογίας, για έναν συγκεκριμένο σκοπό, και πρέπει να τεκμηριώνεται εκ νέου για κάθε νέα χρήση.
- Τι είναι η εγκυρότητα κατασκευάσματος;Το δυσκολότερο ερώτημα στη μέτρηση: αν αυτό που μετράτε υπάρχει όπως το έχετε ορίσει και αν το εργαλείο σας το μετρά πράγματι, αντί να μετρά κάτι συναφές.
- Συγκλίνουσα και διακρίνουσα εγκυρότηταΔύο συμμετρικές απαιτήσεις: μια μέτρηση πρέπει να συμφωνεί με όσα αναμένεται να συμφωνεί και να παραμένει διακριτή από όσα ισχυρίζεται ότι δεν είναι. Τα περισσότερα ανεπαρκή εργαλεία αποτυγχάνουν στη δεύτερη.
- Τι είναι ο συντελεστής άλφα του Cronbach και τι δεν είναιΤο στατιστικό μέτρο που αναφέρεται συχνότερα στα ψυχολογικά τεστ και παρερμηνεύεται περισσότερο. Το άλφα δεν δείχνει ότι μια κλίμακα μετρά μία μόνο διάσταση, ενώ μια υψηλή τιμή είναι συχνά σύμπτωμα παρά προτέρημα.
- Τυπικό σφάλμα μέτρησης: πόσο μπορεί να αποκλίνει η βαθμολογία σαςΚάθε βαθμολογία έχει ένα περιθώριο σφάλματος και, για τα περισσότερα ψυχολογικά τεστ, αυτό είναι μεγαλύτερο από όσο υποθέτουν οι περισσότεροι. Αυτός ο αριθμός σάς δείχνει πότε μια διαφορά είναι πραγματική και πότε οφείλεται σε τυχαία διακύμανση.
- Νόρμες και εκατοστημόρια: με τι συγκρίνεται η βαθμολογία σαςΜια ακατέργαστη βαθμολογία δεν μπορεί να ερμηνευτεί από μόνη της. Αποκτά νόημα μόνο σε σχέση με μια ομάδα αναφοράς, και το ποια ομάδα χρησιμοποιήθηκε είναι ένα από τα πιο καθοριστικά αλλά λιγότερο γνωστά στοιχεία για κάθε τεστ.
- Πώς κατασκευάζεται στην πράξη ένα ψυχομετρικό τεστΑπό τον ορισμό του κατασκευάσματος έως τη δημοσίευση των νορμών, η διαδικασία διαρκεί χρόνια και απορρίπτει το μεγαλύτερο μέρος όσων εξετάζονται στην πορεία. Αν γνωρίζετε τα βήματα, γίνεται σαφές ποια παρέλειψε ένα σύντομο διαδικτυακό κουίζ.
- Τι σημαίνει όταν ένα τεστ χαρακτηρίζεται έγκυρο;Ο όρος δεν υπόκειται σε ρύθμιση και χρησιμοποιείται ελεύθερα από προϊόντα που δεν έχουν κάνει τίποτα από όσα απαιτούνται. Δείτε τι σημαίνει όταν έχει ουσιαστικό περιεχόμενο και ποιες τέσσερις ερωτήσεις διακρίνουν τις δύο περιπτώσεις.
- Τι μπορεί και τι δεν μπορεί να μετρήσει η αυτοαναφοράΤα ερωτηματολόγια σάς ζητούν να παρατηρήσετε τον εαυτό σας, κάτι που λειτουργεί καλύτερα για ορισμένα πράγματα απ' ό,τι για άλλα. Αν γνωρίζετε πού υπερέχει αυτή η μέθοδος και πού αποτυγχάνει, διαβάζετε διαφορετικά κάθε αποτέλεσμα.
- Τι σημαίνει όταν ένα τεστ προβλέπει κάτιΜια συσχέτιση 0,30 είναι ισχυρό εύρημα στην έρευνα για την προσωπικότητα και ανεπαρκής βάση για μια απόφαση σχετικά με ένα άτομο. Και οι δύο διαπιστώσεις είναι αληθείς, και το χάσμα μεταξύ τους ευθύνεται για τις περισσότερες περιπτώσεις εσφαλμένης χρήσης των αποτελεσμάτων των τεστ.
- Ο προσυμπτωματικός έλεγχος δεν είναι διάγνωσηΈνα ερωτηματολόγιο διαλογής σχεδιάζεται ώστε να εντοπίζει όσο το δυνατόν περισσότερες πιθανές περιπτώσεις, αποδεχόμενο ένα υψηλό ποσοστό ψευδώς θετικών αποτελεσμάτων ως τίμημα. Η ερμηνεία μιας βαθμολογίας διαλογής ως διάγνωσης αντιστρέφει τον σκοπό για τον οποίο σχεδιάστηκε.