Cosa significa quando un test prevede qualcosa
Una correlazione di 0,30 è un risultato solido nella ricerca sulla personalità e una base debole per una decisione su una singola persona. Entrambe le affermazioni sono vere, e il divario tra di esse è la causa principale dell'uso improprio dei risultati dei test.
La ricerca sulla personalità riporta che la coscienziosità predice le prestazioni lavorative. Leggendo questa frase, la maggior parte delle persone immagina qualcosa di molto più robusto di quanto i dati mostrino. Il divario tra l'affermazione statistica e il significato quotidiano del termine "predire" è il punto in cui inizia la maggior parte degli usi impropri dei test psicologici.
I numeri in gioco
Le dimensioni dell'effetto nella ricerca sulla personalità sono generalmente riportate come correlazioni. I valori meta-analitici per le relazioni ben consolidate tendono a collocarsi tra 0,20 e 0,35. La relazione tra coscienziosità e prestazioni lavorative si attesta intorno a 0,20–0,25. Quella tra soddisfazione lavorativa e prestazioni è circa 0,30. La capacità mentale generale, il singolo predittore più potente nel campo, raggiunge circa 0,50 per i lavori complessi.
Elevando una correlazione al quadrato si ottiene la proporzione di varianza spiegata. Una correlazione di 0,25 spiega circa il sei percento delle differenze tra le persone. Il restante novantaquattro percento dipende da altro: capacità, opportunità, formazione, gestione, salute, fortuna.
Perché 0,25 è comunque un risultato reale
A scala di popolazione, piccole correlazioni producono effetti aggregati sostanziali. Se si selezionano mille persone, un predittore a 0,25 migliora il risultato medio in modo misurabile e ripetuto. Le compagnie assicurative e gli epidemiologi costruiscono intere pratiche su effetti di questa entità.
Il problema è che il beneficio aggregato e la previsione individuale sono grandezze diverse. Una correlazione di 0,25 significa che tra le persone con punteggi alti, più individui otterranno buone prestazioni rispetto a quelle con punteggi bassi — ma anche che moltissimi con punteggi alti si comporteranno male e moltissimi con punteggi bassi eccelleranno. Entrambe le affermazioni derivano dallo stesso numero.
Il caso individuale
Questo è il passaggio che viene saltato. Una correlazione descrive la relazione tra due distribuzioni. Non autorizza alcuna affermazione su una persona specifica.
Se la coscienziosità correla 0,25 con le prestazioni, conoscere il punteggio di coscienziosità di qualcuno restringe solo leggermente il range plausibile delle sue prestazioni. L'intervallo di previsione per un singolo individuo rimane abbastanza ampio da includere quasi l'intero spettro dei possibili esiti. Sapere di trovarsi all'80° percentile nella coscienziosità dice molto poco su come ci si comporterà in un lavoro specifico.
È per questo che utilizzare i punteggi di personalità come filtro primario di selezione è poco giustificato, anche quando la ricerca sottostante è solida. La ricerca supporta l'affermazione che il tratto è rilevante. Non supporta l'affermazione che un punteggio riveli cosa farà un candidato.
Due ulteriori avvertenze
Predire e causare sono cose diverse. Quasi tutta questa letteratura è di natura correlazionale. Il fatto che la coscienziosità predica esiti di salute è compatibile sia con l'ipotesi che essa causi comportamenti salutari migliori, sia con quella di un terzo fattore che causa entrambe le cose, sia con la causalità inversa. I disegni longitudinali restringono le possibilità, ma raramente le eliminano.
I criteri basati sull'autovalutazione gonfiano i numeri. Quando sia il predittore sia l'esito vengono auto-riportati dalla stessa persona nello stesso momento, la varianza da metodo comune fa aumentare la correlazione. Gli studi che utilizzano esiti oggettivi o valutazioni di terzi riportano di solito effetti più piccoli, e sono quelli a cui dare più peso.
A cosa serve davvero un punteggio
Interpretato come descrizione piuttosto che come profezia, il punteggio di un test è genuinamente utile. Indica dove ci si colloca rispetto a una popolazione di riferimento su un tratto che ha conseguenze documentate, e offre un vocabolario per un pattern che forse si è già notato senza riuscire a nominarlo.
Questo ha un valore. Ma è qualcosa di diverso da una previsione, e la distinzione è quella che un resoconto onesto dovrebbe esplicitare, piuttosto che lasciare che sia il lettore a dedurla.
Mettilo alla prova
Leggere di misura è una cosa. Vedere il proprio punteggio con la fonte, il campione normativo e i limiti dichiarati è un'altra. Gratis, senza registrazione.
Continua a leggere
- Cos'è la psicometria?La disciplina che stabilisce se una misurazione psicologica è valida — e il motivo per cui due test che pongono domande simili possono differire enormemente nel valore dei loro risultati.
- Cos'è l'attendibilità nei test psicologici?L'attendibilità è la coerenza della misurazione, non la sua correttezza. Un test può essere altamente attendibile e misurare comunque la cosa sbagliata — ecco perché è la prima domanda da porsi, ma mai l'ultima.
- Cos'è la validità nei test psicologici?La validità non è una proprietà che un test possiede. È un argomento riguardo al fatto che una particolare interpretazione di un particolare punteggio, per uno scopo particolare, sia difendibile — e deve essere ricostruita per ogni nuovo utilizzo.
- Cos'è la validità di costrutto?La domanda più difficile nella misurazione: se ciò che si sta misurando esiste così come lo si è definito, e se lo strumento lo raggiunge anziché qualcosa di adiacente.
- Validità convergente e discriminanteDue requisiti speculari: una misura deve concordare con ciò con cui dovrebbe concordare, e deve restare distinta da ciò da cui afferma di differire. La maggior parte degli strumenti deboli fallisce il secondo.
- Cos'è l'alpha di Cronbach — e cosa non èLa statistica più riportata nei test psicologici, e la più fraintesa. L'alpha non indica che una scala è unidimensionale, e un valore elevato è spesso un sintomo anziché un pregio.
- Errore standard di misurazione: di quanto potrebbe sbagliarsi il tuo punteggioOgni punteggio porta con sé un margine di errore, e per la maggior parte dei test psicologici è più ampio di quanto le persone suppongano. Questo è il numero che ti dice quando una differenza è reale e quando è solo rumore.
- Norme e percentili: con cosa viene confrontato il tuo punteggioUn punteggio grezzo è di per sé ininterpretabile. Diventa significativo solo in relazione a un gruppo di riferimento — e quale gruppo sia stato utilizzato è uno dei fatti più rilevanti e meno pubblicizzati di qualsiasi test.
- Come viene costruito davvero un test psicometricoDalla definizione del costrutto alle norme pubblicate, il processo richiede anni e scarta la maggior parte di ciò che vi viene immesso. Conoscere le fasi rende evidente quali siano quelle che un rapido quiz online ha saltato.
- Cosa significa quando un test viene definito validato?Il termine non è regolamentato e viene usato liberamente da prodotti che non hanno fatto nessuno dei lavori necessari. Ecco cosa significa quando ha un senso concreto, e le quattro domande che separano i due casi.
- Perché la maggior parte dei test di personalità su internet non sono affidabiliNon perché siano disonesti, ma perché i passaggi che rendono una misurazione attendibile sono invisibili, costosi e facili da saltare — e saltarli non cambia nulla all'aspetto del risultato.
- Cosa può e non può misurare l'autovalutazioneI questionari ti chiedono di osservare te stesso, il che funziona meglio per alcune cose che per altre. Sapere dove il metodo è solido e dove invece fallisce cambia il modo in cui interpreti qualsiasi risultato.
- Lo screening non è una diagnosiUn questionario di screening è concepito per intercettare il maggior numero possibile di casi, accettando un alto tasso di falsi positivi come prezzo da pagare. Interpretare un punteggio di screening come una diagnosi inverte lo scopo per cui è stato progettato.