Cosa significa quando un test viene definito validato?
Il termine non è regolamentato e viene usato liberamente da prodotti che non hanno fatto nessuno dei lavori necessari. Ecco cosa significa quando ha un senso concreto, e le quattro domande che separano i due casi.
"Scientificamente validato" non è un termine protetto. Nessuno lo certifica, nessun ente lo verifica, e compare su prodotti la cui unica base di evidenza è che molte persone li hanno utilizzati. Vale la pena sapere cosa significa quando viene usato correttamente.
La versione breve
Uno strumento validato dispone di una documentazione pubblicata che mostra cosa misura, con quale precisione, in quali popolazioni, e per quali utilizzi i suoi punteggi possono essere legittimamente impiegati. La validazione non è un certificato. È un insieme di evidenze, solitamente raccolto nel corso degli anni, che include spesso risultati che limitano l'uso dello strumento anziché esaltarlo.
La presenza di limitazioni documentate è uno dei segnali più affidabili. La letteratura di validazione genuina ne è piena: questa scala funziona male negli adolescenti, quella sfaccettatura non si replica, il punto di cut-off dipende dalla popolazione. Un prodotto che riporta solo punti di forza non ha pubblicato la propria validazione; ha pubblicato il proprio materiale di marketing.
Quattro domande che fanno la differenza
Qual è la pubblicazione di riferimento? Uno strumento validato ha un articolo originale in una rivista peer-reviewed, con autori, anno e di solito un DOI. Quell'articolo riporta come sono stati sviluppati gli item e quali erano le proprietà psicometriche iniziali. Se nessuno riesce a indicare l'articolo, non c'è alcuna validazione di cui discutere.
La struttura è stata confermata da qualcun altro? Il team di sviluppo recupererà la struttura che ha progettato. Ciò che conta è se un gruppo indipendente, con dati indipendenti, ha trovato la stessa cosa. Questa è la domanda più informativa che si possa porre, e quella che più spesso rimane senza risposta.
Su quale popolazione sono state costruite le norme, e quando? Un punteggio è una posizione in una distribuzione di riferimento. Uno strumento che riporta un percentile senza indicare a quale popolazione si riferisce ti ha fornito un numero privo di denominatore.
Cosa aggiunge? La validità incrementale rispetto a una misura consolidata. Molti costrutti con marchio registrato falliscono qui, correlando così fortemente con un tratto già esistente da non spiegare alcuna varianza aggiuntiva in nessun fenomeno. Questo è un esito normale dello scrutinio scientifico, ed è invisibile a meno che qualcuno non esegua il test.
Dove la traduzione complica le cose
Uno strumento validato in inglese non è per questo validato in tedesco. Un'adeguata adattazione transculturale richiede traduzione diretta e di ritorno, revisione da parte di esperti, interviste cognitive, e poi uno studio psicometrico ex novo nella nuova lingua per verificare se la struttura fattoriale regge e se i singoli item funzionano in modo equivalente tra i gruppi.
Gli strumenti che saltano questo passaggio sono comuni. Un questionario la cui validazione originale è impeccabile può comportarsi in modo molto diverso in una lingua in cui un item chiave porta una connotazione diversa, e non c'è modo di saperlo senza lo studio. Quando un test è offerto in dieci lingue, la domanda utile è se sia stato validato in dieci lingue o validato in una e tradotto nelle altre nove.
Cosa non garantisce la validazione
Non rende un punteggio certo. Uno strumento validato comporta ancora errori di misurazione, descrive ancora una regolarità a livello di popolazione piuttosto che un destino individuale, e misura solo ciò che i suoi item riescono a cogliere.
Ciò che la validazione garantisce sono limiti conoscibili. È possibile scoprire quanto errore, in quale popolazione, per quale scopo. Si tratta di un'affermazione più modesta di "questo test rivela chi sei davvero", ed è l'unica che regge.
Se vuoi vedere come appare la documentazione quando esiste, ogni test nel catalogo NOESIS indica lo strumento che implementa, i suoi autori e l'anno, il metodo di punteggio e le evidenze a supporto — incluso dove tali evidenze sono contestate.
Mettilo alla prova
Leggere di misura è una cosa. Vedere il proprio punteggio con la fonte, il campione normativo e i limiti dichiarati è un'altra. Gratis, senza registrazione.
Continua a leggere
- Cos'è la psicometria?La disciplina che stabilisce se una misurazione psicologica è valida — e il motivo per cui due test che pongono domande simili possono differire enormemente nel valore dei loro risultati.
- Cos'è l'attendibilità nei test psicologici?L'attendibilità è la coerenza della misurazione, non la sua correttezza. Un test può essere altamente attendibile e misurare comunque la cosa sbagliata — ecco perché è la prima domanda da porsi, ma mai l'ultima.
- Cos'è la validità nei test psicologici?La validità non è una proprietà che un test possiede. È un argomento riguardo al fatto che una particolare interpretazione di un particolare punteggio, per uno scopo particolare, sia difendibile — e deve essere ricostruita per ogni nuovo utilizzo.
- Cos'è la validità di costrutto?La domanda più difficile nella misurazione: se ciò che si sta misurando esiste così come lo si è definito, e se lo strumento lo raggiunge anziché qualcosa di adiacente.
- Validità convergente e discriminanteDue requisiti speculari: una misura deve concordare con ciò con cui dovrebbe concordare, e deve restare distinta da ciò da cui afferma di differire. La maggior parte degli strumenti deboli fallisce il secondo.
- Cos'è l'alpha di Cronbach — e cosa non èLa statistica più riportata nei test psicologici, e la più fraintesa. L'alpha non indica che una scala è unidimensionale, e un valore elevato è spesso un sintomo anziché un pregio.
- Errore standard di misurazione: di quanto potrebbe sbagliarsi il tuo punteggioOgni punteggio porta con sé un margine di errore, e per la maggior parte dei test psicologici è più ampio di quanto le persone suppongano. Questo è il numero che ti dice quando una differenza è reale e quando è solo rumore.
- Norme e percentili: con cosa viene confrontato il tuo punteggioUn punteggio grezzo è di per sé ininterpretabile. Diventa significativo solo in relazione a un gruppo di riferimento — e quale gruppo sia stato utilizzato è uno dei fatti più rilevanti e meno pubblicizzati di qualsiasi test.
- Come viene costruito davvero un test psicometricoDalla definizione del costrutto alle norme pubblicate, il processo richiede anni e scarta la maggior parte di ciò che vi viene immesso. Conoscere le fasi rende evidente quali siano quelle che un rapido quiz online ha saltato.
- Perché la maggior parte dei test di personalità su internet non sono affidabiliNon perché siano disonesti, ma perché i passaggi che rendono una misurazione attendibile sono invisibili, costosi e facili da saltare — e saltarli non cambia nulla all'aspetto del risultato.
- Cosa può e non può misurare l'autovalutazioneI questionari ti chiedono di osservare te stesso, il che funziona meglio per alcune cose che per altre. Sapere dove il metodo è solido e dove invece fallisce cambia il modo in cui interpreti qualsiasi risultato.
- Cosa significa quando un test prevede qualcosaUna correlazione di 0,30 è un risultato solido nella ricerca sulla personalità e una base debole per una decisione su una singola persona. Entrambe le affermazioni sono vere, e il divario tra di esse è la causa principale dell'uso improprio dei risultati dei test.
- Lo screening non è una diagnosiUn questionario di screening è concepito per intercettare il maggior numero possibile di casi, accettando un alto tasso di falsi positivi come prezzo da pagare. Interpretare un punteggio di screening come una diagnosi inverte lo scopo per cui è stato progettato.