Τυπικό σφάλμα μέτρησης: πόσο μπορεί να αποκλίνει η βαθμολογία σας

Το τυπικό σφάλμα μέτρησης μετατρέπει έναν αφηρημένο συντελεστή αξιοπιστίας σε κάτι χειροπιαστό: ένα εύρος πάνω και κάτω από μια βαθμολογία. Απαντά στο ερώτημα που οι περισσότερες οθόνες αποτελεσμάτων αφήνουν αναπάντητο: πόσο θα μπορούσε να διαφέρει αυτός ο αριθμός αν είχα κάνει το τεστ ένα άλλο απόγευμα;

Ο τύπος είναι απλός. Πολλαπλασιάζετε την τυπική απόκλιση της κλίμακας με την τετραγωνική ρίζα του ένα μείον την αξιοπιστία της. Για μια κλίμακα με τυπική απόκλιση 10 και αξιοπιστία 0,85, το τυπικό σφάλμα είναι περίπου 3,9 μονάδες.

Τι καλύπτει πραγματικά αυτό το εύρος

Περίπου στις δύο από τις τρεις περιπτώσεις, η πραγματική θέση ενός ατόμου βρίσκεται εντός ενός τυπικού σφάλματος από την παρατηρούμενη βαθμολογία του. Για να έχετε βεβαιότητα περίπου 95 τοις εκατό, χρειάζεστε περίπου δύο τυπικά σφάλματα προς κάθε κατεύθυνση.

Στο παραπάνω παράδειγμα, ένα άτομο συγκεντρώνει βαθμολογία 62. Το διάστημα 95 τοις εκατό εκτείνεται περίπου από το 54 έως το 70. Πρόκειται για ένα εύρος δεκαέξι μονάδων σε μια κλίμακα όπου η τυπική απόσταση ανάμεσα στη μέση βαθμολογία και σε μια σαφώς υψηλότερη από τη μέση μπορεί να είναι δέκα μονάδες.

Αυτό δεν είναι ελάττωμα του συγκεκριμένου τεστ. Η αξιοπιστία 0,85 είναι ικανοποιητική. Αυτή είναι η συνήθης ακρίβεια των ψυχολογικών μετρήσεων και ο λόγος που οι προσεκτικά συνταγμένες αναφορές παρουσιάζουν εύρη αντί για μεμονωμένες τιμές.

Οι συνέπειες που συχνά παραβλέπονται

Οι μικρές διαφορές μεταξύ κλιμάκων συνήθως δεν έχουν σημασία. Αν η βαθμολογία σας στην εξωστρέφεια είναι 58 και στη δεκτικότητα 54, η ειλικρινής ερμηνεία είναι ότι δεν μπορούν να διακριθούν μεταξύ τους. Οι ερμηνείες προφίλ που χτίζουν μια αφήγηση πάνω σε διαφορές τεσσάρων μονάδων ερμηνεύουν τον θόρυβο ως πληροφορία.

Οι μικρές μεταβολές με την πάροδο του χρόνου συνήθως δεν έχουν σημασία ούτε αυτές. Αν επαναλάβετε ένα τεστ και η βαθμολογία σας μεταβληθεί κατά πέντε μονάδες, η μεταβολή αυτή βρίσκεται εντός του περιθωρίου σφάλματος για τα περισσότερα εργαλεία. Η πραγματική αλλαγή ενός γνωρίσματος συμβαίνει σε βάθος ετών και εμφανίζεται ως μεταβολή που ξεπερνά σαφώς το εύρος σφάλματος, όχι ως διαφορά λίγων μονάδων από μήνα σε μήνα.

Οι κατατάξεις μεγεθύνουν το πρόβλημα. Μια διαφορά λίγων μονάδων στην ακατέργαστη βαθμολογία μπορεί να μετακινήσει κάποιον κατά δέκα εκατοστημοριακές θέσεις στο πυκνό κέντρο μιας κατανομής, επειδή εκεί βρίσκονται οι περισσότεροι άνθρωποι. Οι εκατοστημοριακές θέσεις φαίνονται ακριβείς, αλλά είναι ο λιγότερο σταθερός τρόπος έκφρασης μιας βαθμολογίας.

Η ακρίβεια δεν είναι ίδια σε όλη την κλίμακα. Η κλασική θεωρία των τεστ θεωρεί ότι το σφάλμα έχει την ίδια τιμή για κάθε βαθμολογία, κάτι που αποτελεί απλούστευση. Η θεωρία απόκρισης ερωτήματος μοντελοποιεί το σφάλμα χωριστά σε κάθε επίπεδο του γνωρίσματος και αυτό είναι σχεδόν πάντα μεγαλύτερο στα άκρα, ακριβώς εκεί όπου γίνονται οι ερμηνείες με τις σημαντικότερες συνέπειες. Μια πολύ υψηλή ή πολύ χαμηλή βαθμολογία είναι συνήθως λιγότερο ακριβής από μια μέτρια, όχι περισσότερο.

Γιατί η ειλικρινής παρουσίαση φαίνεται λιγότερο εντυπωσιακή

Ένα εργαλείο που παρουσιάζει διαστήματα εμπιστοσύνης φαίνεται πιο αόριστο από ένα που παρουσιάζει έναν μόνο αριθμό με ένα δεκαδικό ψηφίο. Το πιο αόριστο λέει την αλήθεια. Εκείνο που φαίνεται ακριβές έχει το ίδιο υποκείμενο σφάλμα και έχει επιλέξει να μην το δείξει.

Αξίζει να το θυμάστε όταν συγκρίνετε ένα επιστημονικά τεκμηριωμένο τεστ με ένα εμπορικό προϊόν που σας κατατάσσει σε μια κατηγορία. Το όριο της κατηγορίας βρίσκεται σε μια συγκεκριμένη βαθμολογία και ένα άτομο μία μονάδα κάτω από αυτό και ένα άτομο μία μονάδα πάνω από αυτό είναι, στατιστικά, το ίδιο άτομο. Η ετικέτα του τύπου αποκρύπτει εντελώς αυτό το γεγονός, κάτι που αποτελεί ένα από τα σοβαρότερα επιχειρήματα κατά των εργαλείων που βασίζονται σε τύπους και εξηγεί γιατί οι συνεχείς βαθμολογίες με δηλωμένο σφάλμα αποτελούν τον κανόνα στην έρευνα.