Come viene costruito davvero un test psicometrico
Dalla definizione del costrutto alle norme pubblicate, il processo richiede anni e scarta la maggior parte di ciò che vi viene immesso. Conoscere le fasi rende evidente quali siano quelle che un rapido quiz online ha saltato.
Uno strumento psicometrico che arriva alla pubblicazione ha di solito attraversato cinque o sei anni di lavoro e ha scartato la maggior parte di ciò che era stato scritto per esso. Vale la pena conoscere la sequenza, perché ogni sua fase corrisponde a un modo in cui un test può risultare inadeguato.
1. Definire il costrutto
Prima che venga scritto qualsiasi item, il costrutto deve essere specificato con sufficiente precisione da stabilire cosa ne rimane al di fuori. Ciò richiede una definizione, una descrizione della struttura dimensionale — una dimensione o più, e se più, come si relazionano tra loro — e un resoconto esplicito dei costrutti adiacenti da cui si intende distinguerlo.
Saltare questa fase è all'origine della maggior parte degli strumenti ridondanti. Una scala costruita a partire da un'intuizione concettuale finisce di solito per misurare un tratto già noto sotto un nuovo nome.
2. Generare un pool di item
Gli item vengono redatti in numero molto superiore a quello che sopravviverà — tipicamente da tre a cinque volte il conteggio finale. Derivano dalla teoria, da strumenti esistenti, da interviste con persone che hanno vissuto l'esperienza descritta e da esperti del settore.
In questa fase il pool viene esaminato per la copertura del contenuto (abbraccia l'intero costrutto o si concentra su una sola sfaccettatura?), per il livello di lettura, per formulazioni a doppio senso e per item che in realtà chiedono qualcos'altro.
3. Pilotare e ridurre
Il pool viene sottoposto a un primo campione. L'analisi è per lo più distruttiva.
Vengono eliminati gli item con quasi nessuna varianza — una domanda a cui tutti rispondono allo stesso modo non distingue nessuno. Vengono eliminati gli item che correlano poco con il punteggio totale. Vengono eliminati gli item che saturano su più di un fattore. Vengono eliminati gli item che si comportano diversamente tra gruppi demografici per ragioni non correlate al tratto — il funzionamento differenziale dell'item — e questa verifica è una delle più comunemente saltate.
Ciò che sopravvive è tipicamente un terzo di quanto era stato scritto.
4. Confermare la struttura su un campione indipendente
Questo è il passaggio che separa gli strumenti seri dagli altri. L'analisi fattoriale sul campione di sviluppo recupererà la struttura che era stata progettata — è inevitabile, poiché gli item sono stati selezionati per produrla. Il vero test è l'analisi fattoriale confermativa su un campione indipendente.
Moltissime scale pubblicate recuperano la struttura prevista solo nei dati utilizzati per costruirle. Quando qualcun altro raccoglie nuovi dati, i fattori non emergono. Questo fallimento è abbastanza comune da rendere «la struttura è stata confermata su un campione indipendente?» una delle domande più efficaci da porre su qualsiasi strumento.
5. Accumulare prove di validità
Correlazioni con misure consolidate dello stesso costrutto. Correlazioni con costrutti da cui dovrebbe essere distinto, che è preferibile siano più basse. Relazioni con esiti rilevanti. Validità incrementale rispetto a ciò che già esiste. Stabilità test-retest su un intervallo appropriato al costrutto.
Questa fase non termina. Continua per tutto il tempo in cui lo strumento è in uso, ed è qui che gli strumenti si rivelano più spesso inadeguati anni dopo la pubblicazione.
6. Costruire le norme
Un campione di riferimento sufficientemente ampio e rappresentativo per la popolazione target, stratificato laddove il tratto varia per età o sesso, documentato per anno e paese. Poi ripetuto periodicamente, perché le norme cambiano nel tempo.
7. Tradurre, se verrà utilizzato altrove
La traduzione non è un esercizio linguistico. Un'adattamento appropriato prevede la traduzione diretta, la ritraduzione indipendente, la revisione da parte di esperti, interviste cognitive con parlanti della lingua target e poi uno studio psicometrico ex novo nella nuova lingua per verificare se la struttura regge e se gli item funzionano in modo equivalente. Uno strumento tradotto senza tale studio è uno strumento non validato in quella lingua, indipendentemente dalle sue credenziali nell'originale.
Cosa implica tutto ciò riguardo al quiz rapido
Un test scritto in un pomeriggio ha completato la fase due. Può benissimo produrre un risultato dall'aspetto plausibile, un percentile e un paragrafo descrittivo. Le fasi che ha saltato sono quelle che avrebbero stabilito se tutto ciò significhi qualcosa.
Mettilo alla prova
Leggere di misura è una cosa. Vedere il proprio punteggio con la fonte, il campione normativo e i limiti dichiarati è un'altra. Gratis, senza registrazione.
Continua a leggere
- Cos'è la psicometria?La disciplina che stabilisce se una misurazione psicologica è valida — e il motivo per cui due test che pongono domande simili possono differire enormemente nel valore dei loro risultati.
- Cos'è l'attendibilità nei test psicologici?L'attendibilità è la coerenza della misurazione, non la sua correttezza. Un test può essere altamente attendibile e misurare comunque la cosa sbagliata — ecco perché è la prima domanda da porsi, ma mai l'ultima.
- Cos'è la validità nei test psicologici?La validità non è una proprietà che un test possiede. È un argomento riguardo al fatto che una particolare interpretazione di un particolare punteggio, per uno scopo particolare, sia difendibile — e deve essere ricostruita per ogni nuovo utilizzo.
- Cos'è la validità di costrutto?La domanda più difficile nella misurazione: se ciò che si sta misurando esiste così come lo si è definito, e se lo strumento lo raggiunge anziché qualcosa di adiacente.
- Validità convergente e discriminanteDue requisiti speculari: una misura deve concordare con ciò con cui dovrebbe concordare, e deve restare distinta da ciò da cui afferma di differire. La maggior parte degli strumenti deboli fallisce il secondo.
- Cos'è l'alpha di Cronbach — e cosa non èLa statistica più riportata nei test psicologici, e la più fraintesa. L'alpha non indica che una scala è unidimensionale, e un valore elevato è spesso un sintomo anziché un pregio.
- Errore standard di misurazione: di quanto potrebbe sbagliarsi il tuo punteggioOgni punteggio porta con sé un margine di errore, e per la maggior parte dei test psicologici è più ampio di quanto le persone suppongano. Questo è il numero che ti dice quando una differenza è reale e quando è solo rumore.
- Norme e percentili: con cosa viene confrontato il tuo punteggioUn punteggio grezzo è di per sé ininterpretabile. Diventa significativo solo in relazione a un gruppo di riferimento — e quale gruppo sia stato utilizzato è uno dei fatti più rilevanti e meno pubblicizzati di qualsiasi test.
- Cosa significa quando un test viene definito validato?Il termine non è regolamentato e viene usato liberamente da prodotti che non hanno fatto nessuno dei lavori necessari. Ecco cosa significa quando ha un senso concreto, e le quattro domande che separano i due casi.
- Perché la maggior parte dei test di personalità su internet non sono affidabiliNon perché siano disonesti, ma perché i passaggi che rendono una misurazione attendibile sono invisibili, costosi e facili da saltare — e saltarli non cambia nulla all'aspetto del risultato.
- Cosa può e non può misurare l'autovalutazioneI questionari ti chiedono di osservare te stesso, il che funziona meglio per alcune cose che per altre. Sapere dove il metodo è solido e dove invece fallisce cambia il modo in cui interpreti qualsiasi risultato.
- Cosa significa quando un test prevede qualcosaUna correlazione di 0,30 è un risultato solido nella ricerca sulla personalità e una base debole per una decisione su una singola persona. Entrambe le affermazioni sono vere, e il divario tra di esse è la causa principale dell'uso improprio dei risultati dei test.
- Lo screening non è una diagnosiUn questionario di screening è concepito per intercettare il maggior numero possibile di casi, accettando un alto tasso di falsi positivi come prezzo da pagare. Interpretare un punteggio di screening come una diagnosi inverte lo scopo per cui è stato progettato.