Πώς κατασκευάζεται στην πράξη ένα ψυχομετρικό τεστ

Ένα ψυχομετρικό εργαλείο που φτάνει στη δημοσίευση έχει συνήθως περάσει από πέντε ή έξι χρόνια δουλειάς, ενώ το μεγαλύτερο μέρος όσων γράφτηκαν για αυτό έχει απορριφθεί. Αξίζει να γνωρίζετε αυτή τη διαδικασία, επειδή κάθε στάδιό της αντιστοιχεί σε έναν τρόπο με τον οποίο ένα τεστ μπορεί να είναι ανεπαρκές.

1. Ορισμός του κατασκευάσματος

Πριν γραφτεί οποιοδήποτε ερώτημα, το κατασκεύασμα πρέπει να προσδιοριστεί με αρκετή ακρίβεια ώστε να είναι σαφές τι δεν περιλαμβάνει. Αυτό σημαίνει έναν ορισμό, μια περιγραφή της δομής των διαστάσεών του: μία διάσταση ή περισσότερες και, αν είναι περισσότερες, πώς σχετίζονται μεταξύ τους. Χρειάζεται επίσης να προσδιοριστεί ρητά από ποια συγγενικά κατασκευάσματα επιδιώκεται να διακρίνεται.

Η παράλειψη αυτού του σταδίου είναι η πηγή των περισσότερων πλεοναζόντων εργαλείων. Μια κλίμακα που βασίζεται σε μια διαισθητική αντίληψη μιας έννοιας συνήθως καταλήγει να μετρά ένα ήδη γνωστό γνώρισμα με νέο όνομα.

2. Δημιουργία μιας αρχικής δεξαμενής ερωτημάτων

Συντάσσονται πολύ περισσότερα ερωτήματα από όσα θα διατηρηθούν, συνήθως τρεις έως πέντε φορές περισσότερα από τον τελικό αριθμό. Προέρχονται από τη θεωρία, από υπάρχοντα εργαλεία, από συνεντεύξεις με ανθρώπους που έχουν βιώσει αυτό που περιγράφεται και από ειδικούς στο αντικείμενο.

Σε αυτό το στάδιο, η δεξαμενή εξετάζεται ως προς την κάλυψη του περιεχομένου (καλύπτει ολόκληρο το κατασκεύασμα ή συγκεντρώνεται σε μία πτυχή;), το επίπεδο αναγνωσιμότητας, τις διατυπώσεις που θέτουν δύο ερωτήματα μαζί και τα ερωτήματα που στην πραγματικότητα αφορούν κάτι άλλο.

3. Πιλοτική χορήγηση και αποκλεισμός ερωτημάτων

Η δεξαμενή χορηγείται σε ένα πρώτο δείγμα. Η ανάλυση οδηγεί κυρίως σε αποκλεισμούς.

Αποκλείονται τα ερωτήματα με σχεδόν μηδενική διακύμανση: ένα ερώτημα στο οποίο όλοι απαντούν με τον ίδιο τρόπο δεν διακρίνει κανέναν. Αποκλείονται όσα συσχετίζονται ασθενώς με τη συνολική βαθμολογία. Αποκλείονται όσα εμφανίζουν σημαντικές φορτίσεις σε περισσότερους από έναν παράγοντες. Αποκλείονται επίσης όσα λειτουργούν διαφορετικά μεταξύ δημογραφικών ομάδων για λόγους άσχετους με το γνώρισμα: αυτό ονομάζεται διαφορική λειτουργία ερωτήματος και ο σχετικός έλεγχος είναι ένας από αυτούς που παραλείπονται συχνότερα.

Συνήθως διατηρείται το ένα τρίτο όσων γράφτηκαν.

4. Επιβεβαίωση της δομής σε νέο δείγμα

Αυτό είναι το βήμα που ξεχωρίζει τα αξιόπιστα εργαλεία από τα υπόλοιπα. Η παραγοντική ανάλυση στο δείγμα ανάπτυξης θα αναδείξει τη δομή για την οποία σχεδιάστηκε το εργαλείο: αναμενόμενα, αφού τα ερωτήματα επιλέχθηκαν ώστε να την παράγουν. Η πραγματική δοκιμασία είναι η επιβεβαιωτική παραγοντική ανάλυση σε ανεξάρτητο δείγμα.

Πάρα πολλές δημοσιευμένες κλίμακες αναδεικνύουν την προβλεπόμενη δομή τους μόνο στα δεδομένα που χρησιμοποιήθηκαν για την ανάπτυξή τους. Όταν κάποιος άλλος συλλέγει νέα δεδομένα, οι παράγοντες δεν εμφανίζονται. Αυτή η αποτυχία είναι αρκετά συχνή ώστε το «επιβεβαιώθηκε η δομή σε ανεξάρτητο δείγμα;» να είναι μία από τις πιο χρήσιμες ερωτήσεις που μπορείτε να θέσετε για οποιοδήποτε εργαλείο.

5. Συγκέντρωση τεκμηρίων εγκυρότητας

Συσχετίσεις με καθιερωμένες μετρήσεις του ίδιου κατασκευάσματος. Συσχετίσεις με κατασκευάσματα από τα οποία θα πρέπει να διακρίνεται, οι οποίες καλό είναι να είναι χαμηλότερες. Σχέσεις με αποτελέσματα που έχουν σημασία. Πρόσθετη εγκυρότητα σε σχέση με όσα υπάρχουν ήδη. Σταθερότητα κατά την επαναχορήγηση του τεστ έπειτα από χρονικό διάστημα κατάλληλο για το κατασκεύασμα.

Αυτό το στάδιο δεν τελειώνει. Συνεχίζεται για όσο διάστημα χρησιμοποιείται το εργαλείο και είναι το στάδιο στο οποίο διαπιστώνονται συχνότερα οι αδυναμίες των εργαλείων, ακόμη και χρόνια μετά τη δημοσίευσή τους.

6. Δημιουργία νορμών

Χρειάζεται ένα δείγμα αναφοράς αρκετά μεγάλο και αντιπροσωπευτικό για τον πληθυσμό στον οποίο προορίζεται να χρησιμοποιηθεί το εργαλείο, με διαστρωμάτωση όπου το γνώρισμα ποικίλλει ανάλογα με την ηλικία ή το φύλο και με τεκμηρίωση του έτους και της χώρας. Η διαδικασία επαναλαμβάνεται περιοδικά, επειδή οι νόρμες μεταβάλλονται.

7. Μετάφραση, αν πρόκειται να χρησιμοποιηθεί αλλού

Η μετάφραση δεν είναι απλώς γλωσσική άσκηση. Η σωστή προσαρμογή περιλαμβάνει μετάφραση στη γλώσσα-στόχο, ανεξάρτητη αντίστροφη μετάφραση, έλεγχο από ειδικούς, γνωστικές συνεντεύξεις με ομιλητές της γλώσσας-στόχου και, στη συνέχεια, νέα ψυχομετρική μελέτη στη νέα γλώσσα, ώστε να εξεταστεί αν διατηρείται η δομή και αν τα ερωτήματα λειτουργούν ισοδύναμα. Ένα εργαλείο που μεταφράστηκε χωρίς αυτή τη μελέτη είναι ένα εργαλείο που δεν έχει ελεγχθεί στη συγκεκριμένη γλώσσα, όσα τεκμήρια κι αν διαθέτει στην αρχική.

Τι σημαίνει αυτό για το γρήγορο κουίζ

Ένα τεστ που γράφτηκε σε ένα απόγευμα έχει ολοκληρώσει το δεύτερο βήμα. Μπορεί κάλλιστα να δώσει ένα αποτέλεσμα που φαίνεται εύλογο, ένα εκατοστημόριο και μια παράγραφο περιγραφής. Τα βήματα που παραλείφθηκαν είναι εκείνα που θα έδειχναν αν όλα αυτά σημαίνουν πράγματι κάτι.