Validità convergente e discriminante
Due requisiti speculari: una misura deve concordare con ciò con cui dovrebbe concordare, e deve restare distinta da ciò da cui afferma di differire. La maggior parte degli strumenti deboli fallisce il secondo.
La validità convergente e quella discriminante sono le due metà di un unico requisito. Una misura deve correlare con ciò con cui teoricamente dovrebbe, e non deve correlare eccessivamente con ciò da cui si suppone sia distinta. Soddisfarne una senza l'altra non è un successo parziale; è di solito un segnale che il costrutto non è ciò che dichiara di essere.
Validità convergente
L'evidenza convergente mostra che una misura si allinea con altri indicatori della stessa cosa. Una nuova scala per l'ansia dovrebbe correlare in modo sostanziale con scale di ansia consolidate, con le valutazioni dei clinici e — idealmente — con qualcosa che non sia un altro questionario, come misure fisiologiche o comportamenti di evitamento osservati.
Le correlazioni in questo caso sono generalmente attese superiori a 0,50, spesso superiori a 0,70 quando lo strumento di confronto è uno strumento ben consolidato per lo stesso costrutto. Al di sotto di questa soglia, o la nuova scala o quella di confronto sta misurando qualcos'altro.
Esiste una trappola. Una correlazione di 0,95 con una scala esistente non è un trionfo — significa che il nuovo strumento è un rimpacchettamento, e la domanda onesta diventa cosa aggiunge. La validità convergente è un pavimento, non un obiettivo da massimizzare.
Validità discriminante
L'evidenza discriminante mostra che la misura rimane separata dai costrutti da cui afferma di differire. È qui che vivono i fallimenti più interessanti.
Lo schema si ripete in tutta la letteratura. La grinta correla circa 0,84 con la coscienziosità, un valore così elevato che la meta-analisi ha rilevato che non aggiunge quasi nulla alla predizione accademica una volta controllata la coscienziosità. L'intelligenza emotiva auto-riferita si sovrappone ampiamente alla stabilità emotiva, all'estroversione e alla coscienziosità combinate. La varianza condivisa nella Dark Triad scompare in gran parte una volta che si tiene conto dell'Onestà-Umiltà del modello HEXACO. In ciascun caso il costrutto era presentato come territorio nuovo e si è rivelato essere una regione rinominata di una mappa già esistente.
La validità discriminante è anche il punto in cui emergono gli effetti del metodo. Se ogni costrutto auto-riferito in uno studio correla 0,4 con tutti gli altri, il fattore comune è probabilmente lo stile di risposta del rispondente piuttosto che qualsiasi psicologia condivisa.
Il test che risolve la questione
La procedura decisiva è la validità incrementale: si inserisce prima la misura consolidata in una regressione, poi quella nuova, e si verifica se quest'ultima spiega ulteriore varianza nell'esito. Se non lo fa, il costrutto può ancora essere teoricamente interessante, ma lo strumento non sta misurando nulla che il campo non possedesse già.
Si tratta di uno standard esigente e moltissime scale pubblicate non sono mai state sottoposte ad esso. Quando lo sono, il risultato è frequentemente quello della ridondanza sopra descritta. Non si tratta di uno scandalo — è una normale potatura scientifica — ma significa che la popolarità di un costrutto non è informativa riguardo al fatto che superi il test.
Cosa cambia per un lettore
Quando un test riporta più punteggi, la domanda utile è se quei punteggi siano effettivamente distinti. Quattro dimensioni che correlano 0,8 tra loro sono un'unica dimensione con quattro etichette, e un profilo costruito su di esse apparirà differenziato pur contenendo quasi nessuna informazione indipendente.
Gli strumenti che riportano le correlazioni tra scale permettono di verificarlo autonomamente. Gli strumenti che presentano una tipologia a quattro quadranti senza mai mostrare come i quadranti si relazionino hanno reso la verifica impossibile, il che di solito è proprio lo scopo.
Mettilo alla prova
Leggere di misura è una cosa. Vedere il proprio punteggio con la fonte, il campione normativo e i limiti dichiarati è un'altra. Gratis, senza registrazione.
Continua a leggere
- Cos'è la psicometria?La disciplina che stabilisce se una misurazione psicologica è valida — e il motivo per cui due test che pongono domande simili possono differire enormemente nel valore dei loro risultati.
- Cos'è l'attendibilità nei test psicologici?L'attendibilità è la coerenza della misurazione, non la sua correttezza. Un test può essere altamente attendibile e misurare comunque la cosa sbagliata — ecco perché è la prima domanda da porsi, ma mai l'ultima.
- Cos'è la validità nei test psicologici?La validità non è una proprietà che un test possiede. È un argomento riguardo al fatto che una particolare interpretazione di un particolare punteggio, per uno scopo particolare, sia difendibile — e deve essere ricostruita per ogni nuovo utilizzo.
- Cos'è la validità di costrutto?La domanda più difficile nella misurazione: se ciò che si sta misurando esiste così come lo si è definito, e se lo strumento lo raggiunge anziché qualcosa di adiacente.
- Cos'è l'alpha di Cronbach — e cosa non èLa statistica più riportata nei test psicologici, e la più fraintesa. L'alpha non indica che una scala è unidimensionale, e un valore elevato è spesso un sintomo anziché un pregio.
- Errore standard di misurazione: di quanto potrebbe sbagliarsi il tuo punteggioOgni punteggio porta con sé un margine di errore, e per la maggior parte dei test psicologici è più ampio di quanto le persone suppongano. Questo è il numero che ti dice quando una differenza è reale e quando è solo rumore.
- Norme e percentili: con cosa viene confrontato il tuo punteggioUn punteggio grezzo è di per sé ininterpretabile. Diventa significativo solo in relazione a un gruppo di riferimento — e quale gruppo sia stato utilizzato è uno dei fatti più rilevanti e meno pubblicizzati di qualsiasi test.
- Come viene costruito davvero un test psicometricoDalla definizione del costrutto alle norme pubblicate, il processo richiede anni e scarta la maggior parte di ciò che vi viene immesso. Conoscere le fasi rende evidente quali siano quelle che un rapido quiz online ha saltato.
- Cosa significa quando un test viene definito validato?Il termine non è regolamentato e viene usato liberamente da prodotti che non hanno fatto nessuno dei lavori necessari. Ecco cosa significa quando ha un senso concreto, e le quattro domande che separano i due casi.
- Perché la maggior parte dei test di personalità su internet non sono affidabiliNon perché siano disonesti, ma perché i passaggi che rendono una misurazione attendibile sono invisibili, costosi e facili da saltare — e saltarli non cambia nulla all'aspetto del risultato.
- Cosa può e non può misurare l'autovalutazioneI questionari ti chiedono di osservare te stesso, il che funziona meglio per alcune cose che per altre. Sapere dove il metodo è solido e dove invece fallisce cambia il modo in cui interpreti qualsiasi risultato.
- Cosa significa quando un test prevede qualcosaUna correlazione di 0,30 è un risultato solido nella ricerca sulla personalità e una base debole per una decisione su una singola persona. Entrambe le affermazioni sono vere, e il divario tra di esse è la causa principale dell'uso improprio dei risultati dei test.
- Lo screening non è una diagnosiUn questionario di screening è concepito per intercettare il maggior numero possibile di casi, accettando un alto tasso di falsi positivi come prezzo da pagare. Interpretare un punteggio di screening come una diagnosi inverte lo scopo per cui è stato progettato.