Como um teste psicométrico é realmente construído
Da definição do constructo às normas publicadas, o processo leva anos e descarta a maior parte do que foi investido nele. Conhecer as etapas torna óbvio quais delas um questionário online rápido ignorou.
Um instrumento psicométrico que chega à publicação geralmente passou por cinco ou seis anos de trabalho e descartou a maior parte do que foi escrito para ele. Vale a pena conhecer essa sequência, pois cada etapa corresponde a uma forma pela qual um teste pode ser inadequado.
1. Definir o constructo
Antes de qualquer item ser redigido, o constructo precisa ser especificado com precisão suficiente para delimitar o que está fora dele. Isso implica uma definição, uma declaração da estrutura dimensional — uma dimensão ou várias, e se forem várias, como se relacionam — e uma descrição explícita de quais constructos vizinhos ele deve ser distinto.
Ignorar essa etapa é a origem da maioria dos instrumentos redundantes. Uma escala construída a partir de uma noção intuitiva de um conceito geralmente acaba medindo um traço já estabelecido com um novo nome.
2. Gerar um banco de itens
Os itens são elaborados em quantidade muito superior à que irá sobreviver — tipicamente três a cinco vezes o número final. Eles provêm da teoria, de instrumentos existentes, de entrevistas com pessoas que vivenciaram a experiência descrita e de especialistas no assunto.
Nessa etapa, o banco é revisado quanto à cobertura do conteúdo (abrange todo o constructo ou se concentra em uma faceta?), ao nível de leitura, a formulações com duplo sentido e a itens que estão, na verdade, perguntando sobre outra coisa.
3. Piloto e corte
O banco é aplicado a uma primeira amostra. A análise é predominantemente destrutiva.
Itens com quase nenhuma variância são eliminados — uma questão que todos respondem da mesma forma não distingue ninguém. Itens que se correlacionam mal com o escore total são eliminados. Itens que apresentam carga cruzada em mais de um fator são eliminados. Itens que se comportam de forma diferente entre grupos demográficos por razões não relacionadas ao traço — funcionamento diferencial do item — são eliminados, e essa verificação é uma das mais frequentemente ignoradas.
O que sobrevive é tipicamente um terço do que foi escrito.
4. Confirmar a estrutura em uma nova amostra
Essa é a etapa que separa os instrumentos sérios dos demais. A análise fatorial na amostra de desenvolvimento recuperará a estrutura que foi projetada — isso é inevitável, pois os itens foram selecionados para produzi-la. O teste real é a análise fatorial confirmatória em uma amostra independente.
Muitas escalas publicadas recuperam sua estrutura pretendida apenas nos dados usados para construí-las. Quando outra pessoa coleta novos dados, os fatores não aparecem. Esse fracasso é suficientemente comum para que "a estrutura foi confirmada em uma amostra independente?" seja uma das perguntas mais eficientes a se fazer sobre qualquer instrumento.
5. Acumular evidências de validade
Correlações com medidas estabelecidas do mesmo constructo. Correlações com constructos dos quais deve ser distinto, que precisam ser mais baixas. Relações com desfechos relevantes. Validade incremental em relação ao que já existe. Estabilidade teste-reteste ao longo de um intervalo adequado ao constructo.
Essa etapa não termina. Ela continua enquanto o instrumento estiver em uso, e é onde os instrumentos são mais frequentemente considerados deficientes anos após a publicação.
6. Construir normas
Uma amostra de referência suficientemente grande e representativa para a população-alvo, estratificada quando o traço varia por idade ou sexo, documentada quanto ao ano e ao país. E então repetida periodicamente, pois as normas sofrem deriva.
7. Traduzir, se for utilizado em outros contextos
A tradução não é um exercício linguístico. A adaptação adequada implica tradução direta, retrotradução independente, revisão por especialistas, entrevistas cognitivas com falantes do idioma-alvo e, em seguida, um novo estudo psicométrico no novo idioma para verificar se a estrutura se mantém e se os itens funcionam de forma equivalente. Um instrumento traduzido sem esse estudo é um instrumento não testado naquele idioma, independentemente de suas credenciais no original.
O que isso implica sobre o questionário rápido
Um teste elaborado em uma tarde completou a etapa dois. Pode muito bem produzir um resultado de aparência plausível — um percentil e um parágrafo descritivo. As etapas que ignorou são justamente as que teriam estabelecido se alguma coisa disso significa alguma coisa.
Ponha à prova
Ler sobre medida é uma coisa. Ver o seu próprio escore com a fonte, a amostra normativa e os limites declarados é outra. Gratuito, sem cadastro.
Continue lendo
- O que é psicometria?A disciplina que determina se uma medida psicológica tem valor real — e a razão pela qual dois testes com perguntas semelhantes podem diferir enormemente no que valem os seus resultados.
- O que é fidedignidade em testes psicológicos?Fidedignidade é a consistência da medição, não sua correção. Um teste pode ser altamente fidedigno e ainda assim medir a coisa errada — razão pela qual é a primeira pergunta a ser feita e nunca a última.
- O que é validade nos testes psicológicos?A validade não é uma propriedade que um teste possui. É um argumento sobre se uma interpretação específica de uma pontuação específica, para um propósito específico, é defensável — e precisa ser reconstruída a cada novo uso.
- O que é validade de construto?A pergunta mais difícil na mensuração: se aquilo que você está medindo existe da forma como você o definiu, e se o seu instrumento o alcança em vez de algo adjacente.
- Validade convergente e discriminanteDois requisitos em espelho: uma medida deve concordar com o que deveria concordar, e deve permanecer distinta daquilo que afirma não ser. A maioria dos instrumentos fracos falha no segundo.
- O que é o alfa de Cronbach — e o que ele não éA estatística mais relatada nos testes psicológicos, e a mais mal interpretada. O alfa não indica que uma escala é unidimensional, e um valor elevado costuma ser sintoma, não virtude.
- Erro padrão de medição: o quanto sua pontuação pode estar erradaToda pontuação carrega uma margem de erro e, na maioria dos testes psicológicos, ela é maior do que as pessoas supõem. Este é o número que indica quando uma diferença é real e quando é apenas ruído.
- Normas e percentis: com o que a sua pontuação é comparadaUma pontuação bruta é ininterpretável por si só. Torna-se significativa apenas em relação a um grupo de referência — e qual grupo foi utilizado é um dos factos mais consequentes e menos divulgados sobre qualquer teste.
- O que significa quando um teste é chamado de validado?A palavra não é regulamentada e é usada livremente por produtos que não fizeram nenhum trabalho. Veja o que significa quando tem algum significado, e as quatro perguntas que separam os dois casos.
- Por que a maioria dos testes de personalidade na internet não são confiáveisNão porque sejam desonestos, mas porque as etapas que tornam uma medição confiável são invisíveis, custosas e fáceis de ignorar — e ignorá-las não muda nada na aparência do resultado.
- O que o autorrelato pode e não pode medirOs questionários pedem que você seja o observador de si mesmo, o que funciona melhor para algumas coisas do que para outras. Saber onde o método é forte e onde falha muda a forma como você interpreta qualquer resultado.
- O que significa quando um teste prevê algoUma correlação de 0,30 é um achado robusto na pesquisa de personalidade e uma base fraca para uma decisão sobre uma pessoa específica. Ambas as afirmações são verdadeiras, e a lacuna entre elas é a causa do mau uso dos resultados de testes.
- Triagem não é diagnósticoUm questionário de triagem é construído para identificar o maior número possível de casos, aceitando uma alta taxa de falsos positivos como contrapartida. Interpretar uma pontuação de triagem como diagnóstico inverte aquilo para o qual foi concebido.