Cos'è la validità di costrutto?
La domanda più difficile nella misurazione: se ciò che si sta misurando esiste così come lo si è definito, e se lo strumento lo raggiunge anziché qualcosa di adiacente.
La validità di costrutto si chiede se uno strumento misura il costrutto teorico che dichiara di misurare, piuttosto che qualcosa correlato ad esso, qualcosa di più ristretto, o nulla di coerente. È la forma più profonda di evidenza di validità e quella che richiede anni, non un singolo studio, per essere stabilita.
La difficoltà è strutturale. Un costrutto come la resilienza o l'intelligenza emotiva non è un oggetto; è una regolarità proposta nel comportamento. Per dimostrare che una scala lo misura, occorre difendere simultaneamente l'affermazione che il costrutto esiste come descritto e che questi particolari item lo raggiungono. Le due affermazioni non possono essere separate, ed è per questo che Cronbach e Meehl, che introdussero l'idea nel 1955, la inquadrarono come la messa alla prova di un'intera rete teorica, piuttosto che di un singolo strumento.
Come si costruisce il caso
Pattern di correlazione previsti. La teoria indica con quali elementi il costrutto dovrebbe correlarsi e con quale intensità. L'autocompassione dovrebbe correlarsi positivamente con la soddisfazione di vita, negativamente con la depressione, e solo moderatamente con l'autostima — se correlasse 0,9 con l'autostima, non sarebbe un costrutto distinto. Ognuna di queste previsioni è un'affermazione verificabile, e il mancato rispetto di una di esse è informativo.
Differenze di gruppo attese. Se la teoria afferma che un tratto si sviluppa con l'età, o è elevato in una popolazione clinica, lo strumento dovrebbe mostrarlo. Non rilevare una differenza che la teoria richiede è un'evidenza contro lo strumento, la teoria, o entrambi.
Risposta all'intervento. Se un costrutto dovrebbe essere allenabile, i punteggi dovrebbero cambiare dopo l'allenamento e non cambiare in un gruppo di controllo. I costrutti che non rispondono mai a nulla sono difficili da distinguere dagli artefatti.
Struttura interna. La struttura fattoriale dovrebbe corrispondere alla struttura teorizzata — e, cosa importante, su un campione nuovo. L'analisi fattoriale esplorativa sui dati di sviluppo troverà qualunque struttura vi sia stata progettata; l'analisi confermativa su nuovi dati è il momento in cui l'affermazione viene effettivamente messa alla prova.
L'idea multitrait-multimethod
Il contributo di Campbell e Fiske del 1959 consistette nell'insistere che la validità di costrutto richiede due cose contemporaneamente: le misure dello stesso tratto ottenute con metodi diversi devono concordare, e le misure di tratti diversi ottenute con lo stesso metodo non devono farlo.
È questa seconda parte che mette in difficoltà la maggior parte degli strumenti. Se l'empatia autoriferita correla 0,7 con l'amicalità autoriferita e 0,2 con l'empatia valutata da un osservatore, ciò che il questionario misura più fortemente non è l'empatia — ma il modo generale in cui ci si descrive nei questionari. La varianza di metodo è uno dei problemi più persistenti nella ricerca basata sull'autovalutazione, ed è la ragione per cui un lavoro di validazione serio cerca un criterio non basato su questionari ogni volta che ne esiste uno.
Perché questo è importante nella lettura dei propri risultati
La validità di costrutto è ciò che si interpone tra un punteggio e la sua interpretazione. Quando uno strumento ben validato indica un punteggio elevato su un tratto, la catena di ragionamento dietro tale affermazione comprende decenni di lavoro pubblicato che dimostrano che il tratto si comporta come una quantità coerente, che questi item lo rilevano, e che il punteggio ha un significato simile tra le persone che lo ottengono.
Quando un test privo di validazione di costrutto riporta la stessa cosa, il punteggio è un numero generato da un algoritmo che nessuno ha verificato. Entrambi appaiono identici nella schermata dei risultati. La differenza risiede interamente nella documentazione, ed è per questo che vale la pena cercarla.
Mettilo alla prova
Leggere di misura è una cosa. Vedere il proprio punteggio con la fonte, il campione normativo e i limiti dichiarati è un'altra. Gratis, senza registrazione.
Continua a leggere
- Cos'è la psicometria?La disciplina che stabilisce se una misurazione psicologica è valida — e il motivo per cui due test che pongono domande simili possono differire enormemente nel valore dei loro risultati.
- Cos'è l'attendibilità nei test psicologici?L'attendibilità è la coerenza della misurazione, non la sua correttezza. Un test può essere altamente attendibile e misurare comunque la cosa sbagliata — ecco perché è la prima domanda da porsi, ma mai l'ultima.
- Cos'è la validità nei test psicologici?La validità non è una proprietà che un test possiede. È un argomento riguardo al fatto che una particolare interpretazione di un particolare punteggio, per uno scopo particolare, sia difendibile — e deve essere ricostruita per ogni nuovo utilizzo.
- Validità convergente e discriminanteDue requisiti speculari: una misura deve concordare con ciò con cui dovrebbe concordare, e deve restare distinta da ciò da cui afferma di differire. La maggior parte degli strumenti deboli fallisce il secondo.
- Cos'è l'alpha di Cronbach — e cosa non èLa statistica più riportata nei test psicologici, e la più fraintesa. L'alpha non indica che una scala è unidimensionale, e un valore elevato è spesso un sintomo anziché un pregio.
- Errore standard di misurazione: di quanto potrebbe sbagliarsi il tuo punteggioOgni punteggio porta con sé un margine di errore, e per la maggior parte dei test psicologici è più ampio di quanto le persone suppongano. Questo è il numero che ti dice quando una differenza è reale e quando è solo rumore.
- Norme e percentili: con cosa viene confrontato il tuo punteggioUn punteggio grezzo è di per sé ininterpretabile. Diventa significativo solo in relazione a un gruppo di riferimento — e quale gruppo sia stato utilizzato è uno dei fatti più rilevanti e meno pubblicizzati di qualsiasi test.
- Come viene costruito davvero un test psicometricoDalla definizione del costrutto alle norme pubblicate, il processo richiede anni e scarta la maggior parte di ciò che vi viene immesso. Conoscere le fasi rende evidente quali siano quelle che un rapido quiz online ha saltato.
- Cosa significa quando un test viene definito validato?Il termine non è regolamentato e viene usato liberamente da prodotti che non hanno fatto nessuno dei lavori necessari. Ecco cosa significa quando ha un senso concreto, e le quattro domande che separano i due casi.
- Perché la maggior parte dei test di personalità su internet non sono affidabiliNon perché siano disonesti, ma perché i passaggi che rendono una misurazione attendibile sono invisibili, costosi e facili da saltare — e saltarli non cambia nulla all'aspetto del risultato.
- Cosa può e non può misurare l'autovalutazioneI questionari ti chiedono di osservare te stesso, il che funziona meglio per alcune cose che per altre. Sapere dove il metodo è solido e dove invece fallisce cambia il modo in cui interpreti qualsiasi risultato.
- Cosa significa quando un test prevede qualcosaUna correlazione di 0,30 è un risultato solido nella ricerca sulla personalità e una base debole per una decisione su una singola persona. Entrambe le affermazioni sono vere, e il divario tra di esse è la causa principale dell'uso improprio dei risultati dei test.
- Lo screening non è una diagnosiUn questionario di screening è concepito per intercettare il maggior numero possibile di casi, accettando un alto tasso di falsi positivi come prezzo da pagare. Interpretare un punteggio di screening come una diagnosi inverte lo scopo per cui è stato progettato.