Τι είναι η εγκυρότητα κατασκευάσματος;

Η εγκυρότητα κατασκευάσματος εξετάζει αν ένα εργαλείο μετρά το θεωρητικό κατασκεύασμα που ισχυρίζεται ότι μετρά, αντί για κάτι που συσχετίζεται με αυτό, κάτι στενότερο από αυτό ή κάτι που δεν έχει καμία συνοχή. Είναι η βαθύτερη μορφή τεκμηρίων εγκυρότητας και απαιτεί χρόνια, όχι μία μόνο μελέτη, για να τεκμηριωθεί.

Η δυσκολία είναι δομική. Ένα κατασκεύασμα όπως η ανθεκτικότητα ή η συναισθηματική νοημοσύνη δεν είναι αντικείμενο, αλλά μια προτεινόμενη κανονικότητα στη συμπεριφορά. Για να δείξετε ότι μια κλίμακα το μετρά, πρέπει να υποστηρίξετε ταυτόχρονα ότι το κατασκεύασμα υπάρχει όπως περιγράφεται και ότι τα συγκεκριμένα ερωτήματα το αποτυπώνουν. Οι δύο ισχυρισμοί δεν μπορούν να διαχωριστούν. Γι' αυτό οι Cronbach και Meehl, που εισήγαγαν την ιδέα το 1955, την παρουσίασαν ως έλεγχο ενός ολόκληρου θεωρητικού δικτύου και όχι ενός μόνο εργαλείου.

Πώς συγκροτείται η τεκμηρίωση

Προβλεπόμενα μοτίβα συσχετίσεων. Η θεωρία ορίζει με ποια πράγματα αναμένεται να σχετίζεται το κατασκεύασμα και πόσο ισχυρά. Η αυτοσυμπόνια αναμένεται να συσχετίζεται θετικά με την ικανοποίηση από τη ζωή, αρνητικά με την κατάθλιψη και μόνο μέτρια με την αυτοεκτίμηση. Αν η συσχέτισή της με την αυτοεκτίμηση ήταν 0,9, δεν θα αποτελούσε διακριτό κατασκεύασμα. Κάθε μία από αυτές τις προβλέψεις είναι ένας ελέγξιμος ισχυρισμός και η μη επιβεβαίωση έστω και μίας παρέχει χρήσιμες πληροφορίες.

Αναμενόμενες διαφορές μεταξύ ομάδων. Αν η θεωρία υποστηρίζει ότι ένα γνώρισμα αναπτύσσεται με την ηλικία ή εμφανίζεται σε υψηλότερο βαθμό σε έναν κλινικό πληθυσμό, το εργαλείο θα πρέπει να το δείχνει. Η αδυναμία εντοπισμού μιας διαφοράς που προβλέπει η θεωρία αποτελεί τεκμήριο κατά του εργαλείου, της θεωρίας ή και των δύο.

Απόκριση σε παρέμβαση. Αν ένα κατασκεύασμα θεωρείται ότι μπορεί να καλλιεργηθεί, οι βαθμολογίες θα πρέπει να αλλάζουν μετά την εκπαίδευση και να μην αλλάζουν σε μια ομάδα ελέγχου. Τα κατασκευάσματα που δεν ανταποκρίνονται ποτέ σε τίποτα είναι δύσκολο να διακριθούν από τεχνουργήματα.

Εσωτερική δομή. Η παραγοντική δομή θα πρέπει να συμφωνεί με τη θεωρητικά προβλεπόμενη δομή και, το σημαντικότερο, να επιβεβαιώνεται σε νέο δείγμα. Η διερευνητική παραγοντική ανάλυση στα δεδομένα ανάπτυξης θα εντοπίσει τη δομή που ενσωματώθηκε κατά τον σχεδιασμό. Η επιβεβαιωτική ανάλυση σε νέα δεδομένα είναι εκεί όπου ο ισχυρισμός ελέγχεται πραγματικά.

Η ιδέα των πολλαπλών γνωρισμάτων και πολλαπλών μεθόδων

Η συμβολή των Campbell και Fiske το 1959 ήταν ότι επέμειναν πως η εγκυρότητα κατασκευάσματος απαιτεί δύο πράγματα ταυτόχρονα: οι μετρήσεις του ίδιου γνωρίσματος με διαφορετικές μεθόδους πρέπει να συμφωνούν, ενώ οι μετρήσεις διαφορετικών γνωρισμάτων με την ίδια μέθοδο δεν πρέπει να συμφωνούν.

Σε αυτό το δεύτερο σκέλος δυσκολεύονται τα περισσότερα εργαλεία. Αν η ενσυναίσθησή σας βάσει αυτοαναφοράς συσχετίζεται κατά 0,7 με την προσηνότητά σας βάσει αυτοαναφοράς και κατά 0,2 με την ενσυναίσθησή σας όπως αξιολογείται από παρατηρητές, αυτό που μετρά κυρίως το ερωτηματολόγιό σας δεν είναι η ενσυναίσθηση, αλλά ο γενικός τρόπος με τον οποίο περιγράφετε τον εαυτό σας στα ερωτηματολόγια. Η διακύμανση που οφείλεται στη μέθοδο είναι ένα από τα πιο επίμονα προβλήματα στην έρευνα με αυτοαναφορές. Γι' αυτό η συστηματική εργασία επικύρωσης αναζητά ένα κριτήριο που δεν βασίζεται σε ερωτηματολόγιο, όπου υπάρχει τέτοιο κριτήριο.

Γιατί έχει σημασία όταν διαβάζετε τα αποτελέσματά σας

Η εγκυρότητα κατασκευάσματος είναι αυτό που συνδέει μια βαθμολογία με την ερμηνεία της. Όταν ένα καλά επικυρωμένο εργαλείο αναφέρει ότι έχετε υψηλή βαθμολογία σε ένα γνώρισμα, η συλλογιστική πίσω από αυτή τη δήλωση βασίζεται σε δεκαετίες δημοσιευμένης έρευνας που τεκμηριώνει ότι το γνώρισμα λειτουργεί ως συνεκτική μετρήσιμη ιδιότητα, ότι αυτά τα ερωτήματα την αποτυπώνουν και ότι η βαθμολογία έχει παρόμοια σημασία για τους ανθρώπους που συμπληρώνουν το εργαλείο.

Όταν ένα τεστ χωρίς τεκμηρίωση της εγκυρότητας κατασκευάσματος αναφέρει το ίδιο, η βαθμολογία είναι ένας αριθμός που παράγεται από έναν αλγόριθμο τον οποίο κανείς δεν έχει ελέγξει. Και οι δύο περιπτώσεις φαίνονται ίδιες στην οθόνη αποτελεσμάτων. Η διαφορά βρίσκεται αποκλειστικά στην τεκμηρίωση, γι' αυτό αξίζει να την αναζητήσετε.