Συγκλίνουσα και διακρίνουσα εγκυρότητα

Η συγκλίνουσα και η διακριτή εγκυρότητα αποτελούν τις δύο όψεις της ίδιας απαίτησης. Μια μέτρηση πρέπει να συσχετίζεται με όσα θεωρητικά αναμένεται να συσχετίζεται και να μη συσχετίζεται υπερβολικά ισχυρά με όσα υποτίθεται ότι διαφέρουν από αυτήν. Η εκπλήρωση της μίας απαίτησης χωρίς την άλλη δεν αποτελεί μερική επιτυχία. Συνήθως είναι ένδειξη ότι το κατασκεύασμα δεν είναι αυτό που ισχυρίζεται ότι είναι.

Συγκλίνουσα εγκυρότητα

Τα τεκμήρια συγκλίνουσας εγκυρότητας δείχνουν ότι μια μέτρηση συμφωνεί με άλλους δείκτες του ίδιου πράγματος. Μια νέα κλίμακα άγχους πρέπει να συσχετίζεται ουσιαστικά με καθιερωμένες κλίμακες άγχους, με αξιολογήσεις κλινικών και, ιδανικά, με κάτι που δεν είναι άλλο ερωτηματολόγιο, όπως φυσιολογικές μετρήσεις ή παρατηρούμενη συμπεριφορά αποφυγής.

Οι συσχετίσεις εδώ συνήθως αναμένεται να υπερβαίνουν το 0,50, συχνά το 0,70 όταν η μέτρηση σύγκρισης είναι ένα καλά εδραιωμένο εργαλείο για το ίδιο κατασκεύασμα. Κάτω από αυτά τα επίπεδα, είτε η νέα κλίμακα είτε η μέτρηση σύγκρισης μετρά κάτι άλλο.

Υπάρχει μια παγίδα. Μια συσχέτιση 0,95 με υπάρχουσα κλίμακα δεν είναι θρίαμβος. Σημαίνει ότι το νέο εργαλείο παρουσιάζει ξανά κάτι ήδη γνωστό, και το ειλικρινές ερώτημα είναι τι προσθέτει. Η συγκλίνουσα εγκυρότητα είναι ένα ελάχιστο όριο, όχι ένας στόχος προς μεγιστοποίηση.

Διακριτή εγκυρότητα

Τα τεκμήρια διακριτής εγκυρότητας δείχνουν ότι η μέτρηση παραμένει διακριτή από τα κατασκευάσματα από τα οποία ισχυρίζεται ότι διαφέρει. Εδώ εμφανίζονται οι πιο ενδιαφέρουσες αστοχίες.

Το ίδιο μοτίβο επανεμφανίζεται στη βιβλιογραφία. Η επιμονή συσχετίζεται περίπου κατά 0,84 με την ευσυνειδησία, τόσο ισχυρά ώστε μια μετα-ανάλυση διαπίστωσε ότι προσθέτει σχεδόν τίποτα στην πρόβλεψη της ακαδημαϊκής επίδοσης όταν ελέγχεται η ευσυνειδησία. Η συναισθηματική νοημοσύνη βάσει αυτοαναφοράς επικαλύπτεται σε μεγάλο βαθμό με τον συνδυασμό συναισθηματικής σταθερότητας, εξωστρέφειας και ευσυνειδησίας. Η κοινή διακύμανση των γνωρισμάτων της Σκοτεινής Τριάδας εξαφανίζεται σε μεγάλο βαθμό όταν λαμβάνεται υπόψη η Ειλικρίνεια-Ταπεινότητα του μοντέλου HEXACO. Σε κάθε περίπτωση, το κατασκεύασμα παρουσιάστηκε ως νέο πεδίο, αλλά αποδείχθηκε ότι ήταν μια περιοχή ήδη χαρτογραφημένη, απλώς με άλλο όνομα.

Στη διακριτή εγκυρότητα αναδεικνύονται επίσης οι επιδράσεις της μεθόδου. Αν κάθε κατασκεύασμα που μετριέται με αυτοαναφορά σε μια μελέτη συσχετίζεται κατά 0,4 με κάθε άλλο, ο κοινός παράγοντας είναι πιθανότατα ο τρόπος με τον οποίο απαντούν οι συμμετέχοντες και όχι κάποια κοινή ψυχολογική ιδιότητα.

Το τεστ που δίνει την απάντηση

Η καθοριστική διαδικασία είναι ο έλεγχος της πρόσθετης εγκυρότητας: εισάγετε πρώτα την καθιερωμένη μέτρηση σε ένα μοντέλο παλινδρόμησης, έπειτα τη νέα, και εξετάζετε αν η νέα εξηγεί επιπλέον διακύμανση στο αποτέλεσμα. Αν όχι, το κατασκεύασμα μπορεί να εξακολουθεί να έχει θεωρητικό ενδιαφέρον, αλλά το εργαλείο δεν μετρά κάτι που δεν ήταν ήδη γνωστό στον τομέα.

Πρόκειται για απαιτητικό κριτήριο, στο οποίο πολλές δημοσιευμένες κλίμακες δεν έχουν υποβληθεί ποτέ. Όταν υποβάλλονται, το αποτέλεσμα είναι συχνά η διαπίστωση πλεονασμού που περιγράφηκε παραπάνω. Αυτό δεν είναι σκάνδαλο. Είναι μια φυσιολογική διαδικασία επιστημονικής διαλογής. Σημαίνει όμως ότι η δημοφιλία ενός κατασκευάσματος δεν σας λέει αν θα περάσει αυτό το τεστ.

Τι σημαίνει αυτό για εσάς ως αναγνώστες

Όταν ένα τεστ παρουσιάζει πολλές βαθμολογίες, το χρήσιμο ερώτημα είναι αν αυτές είναι πράγματι διακριτές. Τέσσερις διαστάσεις που συσχετίζονται μεταξύ τους κατά 0,8 είναι μία διάσταση με τέσσερις ονομασίες. Ένα προφίλ που βασίζεται σε αυτές θα φαίνεται διαφοροποιημένο, ενώ θα περιέχει ελάχιστες ανεξάρτητες πληροφορίες.

Τα εργαλεία που δημοσιεύουν τις συσχετίσεις μεταξύ των κλιμάκων τους σας επιτρέπουν να το ελέγξετε μόνοι σας. Τα εργαλεία που παρουσιάζουν έναν τύπο τεσσάρων τεταρτημορίων χωρίς να δείχνουν ποτέ πώς σχετίζονται μεταξύ τους τα τεταρτημόρια καθιστούν αυτόν τον έλεγχο αδύνατο, πράγμα που συνήθως είναι και ο σκοπός.