Τι σημαίνει όταν ένα τεστ χαρακτηρίζεται έγκυρο;

Ο όρος «επιστημονικά επικυρωμένο» δεν είναι κατοχυρωμένος. Κανείς δεν τον πιστοποιεί, κανένας φορέας δεν τον ελέγχει και εμφανίζεται σε προϊόντα των οποίων η μόνη τεκμηρίωση είναι ότι τα έχουν χρησιμοποιήσει πολλοί άνθρωποι. Αξίζει να γνωρίζετε τι σημαίνει όταν χρησιμοποιείται σωστά.

Με λίγα λόγια

Ένα επικυρωμένο εργαλείο διαθέτει δημοσιευμένα τεκμήρια που δείχνουν τι μετρά, με ποια ακρίβεια, σε ποιους πληθυσμούς και για ποιους σκοπούς μπορούν θεμιτά να χρησιμοποιηθούν οι βαθμολογίες του. Η επικύρωση δεν είναι πιστοποιητικό. Είναι ένα σύνολο τεκμηρίων, που συνήθως συγκεντρώνονται σε βάθος ετών και συχνά περιλαμβάνουν ευρήματα που περιορίζουν τη χρήση του εργαλείου αντί να το παρουσιάζουν ευνοϊκά.

Η ύπαρξη τεκμηριωμένων περιορισμών είναι μία από τις πιο αξιόπιστες ενδείξεις. Η γνήσια βιβλιογραφία επικύρωσης είναι γεμάτη από αυτούς: αυτή η κλίμακα έχει χαμηλή απόδοση στους εφήβους, εκείνη η πτυχή δεν αναπαράγεται, το όριο αποκοπής εξαρτάται από τον πληθυσμό. Ένα προϊόν που αναφέρει μόνο δυνατά σημεία δεν έχει δημοσιεύσει την επικύρωσή του. Έχει δημοσιεύσει το διαφημιστικό του υλικό.

Τέσσερα ερωτήματα που έχουν σημασία

Ποια είναι η αρχική δημοσίευση; Ένα επικυρωμένο εργαλείο έχει μια αρχική δημοσίευση σε επιστημονικό περιοδικό με αξιολόγηση από ομοτίμους, με συγγραφείς, έτος και συνήθως DOI. Η δημοσίευση αυτή αναφέρει πώς αναπτύχθηκαν τα ερωτήματα και ποιες ήταν οι αρχικές ψυχομετρικές ιδιότητες. Αν κανείς δεν μπορεί να κατονομάσει τη δημοσίευση, δεν υπάρχει επικύρωση για να συζητηθεί.

Επιβεβαιώθηκε η δομή από άλλους; Η ομάδα ανάπτυξης θα ανακτήσει τη δομή που σχεδίασε. Αυτό που έχει σημασία είναι αν μια ανεξάρτητη ομάδα, με ανεξάρτητα δεδομένα, βρήκε το ίδιο αποτέλεσμα. Είναι το πιο διαφωτιστικό ερώτημα που μπορείτε να θέσετε και εκείνο που μένει συχνότερα αναπάντητο.

Σε ποιον πληθυσμό βασίστηκαν οι νόρμες και πότε; Μια βαθμολογία δείχνει μια θέση σε μια κατανομή αναφοράς. Ένα εργαλείο που αναφέρει εκατοστημόριο χωρίς να δηλώνει σε ποιον πληθυσμό αναφέρεται σάς έχει δώσει έναν αριθμό χωρίς βάση σύγκρισης.

Τι προσθέτει; Πρόσθετη εγκυρότητα σε σχέση με μια καθιερωμένη μέτρηση. Πάρα πολλά επώνυμα κατασκευάσματα αποτυγχάνουν εδώ, καθώς συσχετίζονται τόσο έντονα με ένα υπάρχον γνώρισμα ώστε να μην εξηγούν καμία επιπλέον διακύμανση σε τίποτα. Αυτό είναι ένα φυσιολογικό αποτέλεσμα της επιστημονικής εξέτασης και παραμένει αόρατο αν δεν γίνει ο σχετικός έλεγχος.

Πώς περιπλέκει τα πράγματα η μετάφραση

Ένα εργαλείο επικυρωμένο στα αγγλικά δεν είναι, γι' αυτόν τον λόγο, επικυρωμένο και στα γερμανικά. Η σωστή διαπολιτισμική προσαρμογή απαιτεί μετάφραση και αντίστροφη μετάφραση, αξιολόγηση από ειδικούς, γνωστικές συνεντεύξεις και κατόπιν μια νέα ψυχομετρική μελέτη στη νέα γλώσσα, η οποία ελέγχει αν διατηρείται η παραγοντική δομή και αν τα επιμέρους ερωτήματα λειτουργούν ισοδύναμα μεταξύ ομάδων.

Τα εργαλεία που παραλείπουν αυτή τη διαδικασία είναι συνηθισμένα. Ένα ερωτηματολόγιο με άψογη αρχική επικύρωση μπορεί να λειτουργεί πολύ διαφορετικά σε μια γλώσσα όπου ένα βασικό ερώτημα έχει διαφορετική συνδήλωση, και δεν υπάρχει τρόπος να το γνωρίζουμε χωρίς τη μελέτη. Όταν ένα τεστ προσφέρεται σε δέκα γλώσσες, το χρήσιμο ερώτημα είναι αν επικυρώθηκε σε δέκα γλώσσες ή αν επικυρώθηκε σε μία και μεταφράστηκε σε άλλες εννέα.

Τι δεν εξασφαλίζει η επικύρωση

Δεν καθιστά μια βαθμολογία βέβαιη. Ένα επικυρωμένο εργαλείο εξακολουθεί να έχει σφάλμα μέτρησης, να περιγράφει μια κανονικότητα σε επίπεδο πληθυσμού και όχι το πεπρωμένο ενός ατόμου, και να μετρά μόνο όσα καλύπτουν τα ερωτήματά του.

Αυτό που προσφέρει η επικύρωση είναι γνωστά όρια. Μπορείτε να διαπιστώσετε πόσο είναι το σφάλμα, σε ποιον πληθυσμό και για ποιον σκοπό. Αυτός είναι ένας πιο περιορισμένος ισχυρισμός από το «αυτό το τεστ αποκαλύπτει ποιοι πραγματικά είστε», και είναι ο μόνος που αντέχει στον έλεγχο.

Αν θέλετε να δείτε πώς είναι η τεκμηρίωση όταν υπάρχει, κάθε τεστ στον κατάλογο του NOESIS κατονομάζει το εργαλείο στο οποίο βασίζεται, τους συγγραφείς και το έτος του, τη μέθοδο βαθμολόγησης και τα τεκμήρια που το στηρίζουν, συμπεριλαμβανομένων των σημείων όπου τα τεκμήρια αυτά αμφισβητούνται.