Τι είναι η εγκυρότητα στα ψυχολογικά τεστ;

Η εγκυρότητα εξετάζει αν ένα τεστ μετρά αυτό που ισχυρίζεται ότι μετρά και αν τα συμπεράσματα που αντλούνται από τις βαθμολογίες του είναι τεκμηριωμένα. Είναι το κεντρικό ερώτημα της ψυχομετρίας και εκείνο που συχνότερα απαντάται με έναν διαφημιστικό ισχυρισμό αντί με τεκμήρια.

Σύμφωνα με τη σύγχρονη αντίληψη, που έχει επικρατήσει από το έργο του Messick τη δεκαετία του 1980, η εγκυρότητα δεν είναι σταθερή ιδιότητα ενός εργαλείου. Είναι ιδιότητα της ερμηνείας των βαθμολογιών για μια συγκεκριμένη χρήση. Το ίδιο ερωτηματολόγιο μπορεί να έχει τεκμηριωμένη εγκυρότητα για την περιγραφή της αυτοαντίληψης ενός ατόμου και να μην έχει καμία τεκμηρίωση εγκυρότητας για τη λήψη απόφασης πρόσληψης. Το να λέει κανείς «αυτό το τεστ είναι έγκυρο» χωρίς να διευκρινίζει για ποιον σκοπό δεν αποτελεί ουσιαστικό ισχυρισμό. Είναι σύνθημα.

Τα είδη τεκμηρίων

Η εγκυρότητα θεμελιώνεται σε συσσωρευμένα τεκμήρια διαφόρων ειδών. Παλαιότερα κείμενα τα παρουσιάζουν ως ξεχωριστά είδη εγκυρότητας. Η σύγχρονη αντίληψη τα αντιμετωπίζει ως διαφορετικά επιχειρήματα που στηρίζουν μία ενιαία θέση.

Τα τεκμήρια περιεχομένου εξετάζουν αν τα ερωτήματα καλύπτουν επαρκώς το κατασκεύασμα. Μια κλίμακα κατάθλιψης που ρωτά μόνο για τον ύπνο και την όρεξη καλύπτει τα σωματικά συμπτώματα, αλλά παραλείπει τα συμπτώματα που αφορούν τη διάθεση και τη γνωστική λειτουργία. Η κάλυψη του περιεχομένου κρίνεται συνήθως από ειδικούς στο αντικείμενο. Γι' αυτό οι πολύ σύντομες κλίμακες αποτελούν πάντοτε συμβιβασμό.

Τα τεκμήρια εσωτερικής δομής εξετάζουν αν τα ερωτήματα ομαδοποιούνται όπως προβλέπει η θεωρία. Αν ένα μοντέλο υποστηρίζει ότι υπάρχουν τέσσερις διακριτές πτυχές, η παραγοντική ανάλυση θα πρέπει να αναδεικνύει τέσσερις παράγοντες. Και, κυρίως, αυτό θα πρέπει να συμβαίνει σε ανεξάρτητο δείγμα, όχι μόνο στο δείγμα στο οποίο αναπτύχθηκε η κλίμακα. Πάρα πολλά εργαλεία εμφανίζουν την επιδιωκόμενη δομή στο δείγμα ανάπτυξής τους, αλλά όχι σε άλλα δείγματα.

Οι σχέσεις με άλλες μεταβλητές είναι το πεδίο όπου γίνεται το μεγαλύτερο μέρος της δουλειάς. Τα τεκμήρια συγκλίνουσας εγκυρότητας δείχνουν ότι η κλίμακα συσχετίζεται με όσα αναμένεται να συσχετίζεται. Τα τεκμήρια διακριτής εγκυρότητας δείχνουν ότι δεν συσχετίζεται υπερβολικά με όσα θα έπρεπε να είναι διακριτά από αυτήν. Πρόκειται για μια απαίτηση που παραμελείται συστηματικά και που υπονομεύει πολλά κατασκευάσματα τα οποία παρουσιάζονται ως νέα. Τα τεκμήρια εγκυρότητας ως προς κάποιο κριτήριο δείχνουν ότι η βαθμολογία σχετίζεται με ένα σημαντικό αποτέλεσμα, είτε αυτό μετράται ταυτόχρονα είτε προβλέπεται εκ των προτέρων.

Τα τεκμήρια συνεπειών εξετάζουν τι συμβαίνει όταν χρησιμοποιείται το τεστ. Αν ένα εργαλείο θέτει συστηματικά μια ομάδα σε μειονεκτική θέση για λόγους άσχετους με το κατασκεύασμα, αυτό είναι πρόβλημα εγκυρότητας, όχι απλώς δεοντολογίας.

Το ερώτημα που αποκαλύπτει τις αδυναμίες των περισσότερων ισχυρισμών

Ο πιο αυστηρός έλεγχος ενός ισχυρισμού εγκυρότητας αφορά την πρόσθετη εγκυρότητα: προσφέρει αυτό το εργαλείο κάτι πέρα από όσα δείχνει ήδη ένα φθηνότερο, παλαιότερο και καθιερωμένο μέτρο;

Εντυπωσιακά πολλά κατασκευάσματα που προβάλλονται ως νέα αποτυγχάνουν σε αυτόν τον έλεγχο. Εμφανίζουν συσχέτιση 0,7 ή μεγαλύτερη με μία υπάρχουσα διάσταση του Big Five, προβλέπουν τα ίδια αποτελέσματα στον ίδιο βαθμό και δεν προσθέτουν τίποτα όταν η επίδραση του παλαιότερου μέτρου ελέγχεται στατιστικά. Το κατασκεύασμα είναι νέο, η μέτρηση όμως όχι. Γι' αυτό οι ενότητες κριτικής στη σοβαρή τεκμηρίωση εργαλείων εστιάζουν τόσο συχνά στον πλεονασμό και όχι στην ανακρίβεια.

Τι να αναζητήσετε

Όταν κάποιος ισχυρίζεται ότι η εγκυρότητα ενός τεστ έχει τεκμηριωθεί, οι χρήσιμες ερωτήσεις είναι συγκεκριμένες. Με βάση ποιο κριτήριο τεκμηριώθηκε; Σε ποιον πληθυσμό και με τι μέγεθος δείγματος; Επιβεβαιώθηκε η παραγοντική δομή σε ανεξάρτητο δείγμα; Υπάρχουν δημοσιευμένα τεκμήρια από ερευνητές χωρίς εμπορικό συμφέρον ως προς το αποτέλεσμα; Προσθέτει κάτι σε σχέση με μια καθιερωμένη εναλλακτική;

Ένα εργαλείο που δίνει ειλικρινείς απαντήσεις σε αυτές τις ερωτήσεις αξίζει να ληφθεί σοβαρά υπόψη, μαζί με τους περιορισμούς του. Ένα εργαλείο του οποίου η τεκμηρίωση εγκυρότητας περιορίζεται σε μια σελίδα με μαρτυρίες και στον ισχυρισμό ότι το έχουν συμπληρώσει εκατομμύρια άνθρωποι έχει απαντήσει σε εντελώς διαφορετικό ερώτημα. Η δημοφιλία δεν αποτελεί τεκμήριο και ο αριθμός των ανθρώπων που έχουν συμπληρώσει ένα τεστ δεν λέει τίποτα για το αν οι βαθμολογίες του έχουν νόημα.