Por que a maioria dos testes de personalidade na internet não são confiáveis
Não porque sejam desonestos, mas porque as etapas que tornam uma medição confiável são invisíveis, custosas e fáceis de ignorar — e ignorá-las não muda nada na aparência do resultado.
Um teste de personalidade gratuito online e um instrumento psicométrico validado produzem resultados que parecem idênticos: uma pontuação, um percentil, um parágrafo descrevendo você. A diferença está inteiramente no trabalho que você não consegue ver na tela de resultados.
Vale a pena ser preciso sobre isso, porque o enquadramento habitual — de que os testes da internet são fraudes — está em grande parte errado e não é muito útil. A maioria é feita por pessoas sem intenção de enganar. Eles são não confiáveis por razões estruturais.
O que normalmente é ignorado
Análise de itens. Em uma escala construída adequadamente, a maioria dos itens redigidos é descartada após o teste piloto: itens em que ninguém varia, itens que se correlacionam mal com o total, itens que carregam em mais de um fator, itens que se comportam de forma diferente entre grupos de idade ou idioma. Um teste escrito e publicado sem piloto manteve tudo, incluindo os itens que não funcionam.
Confirmação estrutural independente. A análise fatorial nos dados a partir dos quais você construiu a escala recuperará a estrutura que você projetou. Confirmá-la em uma amostra nova é um estudo separado, e é a etapa em que uma grande parcela das escalas falha.
Normas. O percentil precisa vir de algum lugar. Se o site não especifica sua população de referência, o número é derivado de visitantes anteriores — um grupo autosselecionado de composição desconhecida — ou de nada em particular.
Dados de teste-reteste. Verificar que as pessoas obtêm a mesma pontuação no mês seguinte exige encontrá-las novamente. Quase ninguém faz isso, o que significa que a estabilidade que a palavra "traço" implica não foi demonstrada.
Os incentivos de design apontam na direção errada
Um teste construído para engajamento é otimizado para um resultado diferente de um teste construído para precisão, e os dois se afastam de maneiras previsíveis.
Resultados lisonjeiros têm melhor desempenho. Um resultado que lhe diz algo desagradável é menos compartilhado, então os resultados tendem a derivar para descrições que todos reconhecem em si mesmos. Este é o efeito Barnum, demonstrado na década de 1940 e reproduzido de forma consistente desde então: as pessoas avaliam descrições genéricas de personalidade como altamente precisas sobre si mesmas especificamente.
Tipos têm melhor desempenho do que dimensões. "Você é um Arquiteto" é mais compartilhável do que "você está no 68º percentil em abertura com um amplo intervalo de confiança". Os tipos também ocultam o erro de medição, já que alguém com um ponto para cada lado do limite de uma categoria recebe rótulos completamente diferentes.
Testes curtos têm melhor desempenho do que os adequados. Cada pergunta adicional faz com que respondentes abandonem o teste, então os testes são reduzidos a um tamanho que maximiza a conclusão em vez de cobrir o construto.
Nada disso são mentiras. São otimizações para uma métrica diferente de precisão.
Como identificar em cerca de trinta segundos
Procure um instrumento de origem nomeado com autores e ano. Procure uma declaração de qual população as normas são provenientes. Procure qualquer reconhecimento de limitações ou erro de medição. Verifique se o resultado é uma pontuação contínua ou uma categoria. Verifique se a mesma página também promete identificar sua carreira ideal, parceiro ou propósito de vida a partir de vinte perguntas.
Um teste que nomeia seu instrumento, cita sua fonte, declara suas normas e diz o que não pode informar fez o trabalho necessário. Um que não faz nada disso ainda pode ser uma forma agradável de passar cinco minutos — mas o número que produz é apenas decoração.
Cada instrumento no catálogo NOESIS declara qual teste publicado implementa, quem o escreveu, em que ano, como é pontuado e o que seus resultados não estabelecem. Essa última parte é a que vale comparar.
Ponha à prova
Ler sobre medida é uma coisa. Ver o seu próprio escore com a fonte, a amostra normativa e os limites declarados é outra. Gratuito, sem cadastro.
Continue lendo
- O que é psicometria?A disciplina que determina se uma medida psicológica tem valor real — e a razão pela qual dois testes com perguntas semelhantes podem diferir enormemente no que valem os seus resultados.
- O que é fidedignidade em testes psicológicos?Fidedignidade é a consistência da medição, não sua correção. Um teste pode ser altamente fidedigno e ainda assim medir a coisa errada — razão pela qual é a primeira pergunta a ser feita e nunca a última.
- O que é validade nos testes psicológicos?A validade não é uma propriedade que um teste possui. É um argumento sobre se uma interpretação específica de uma pontuação específica, para um propósito específico, é defensável — e precisa ser reconstruída a cada novo uso.
- O que é validade de construto?A pergunta mais difícil na mensuração: se aquilo que você está medindo existe da forma como você o definiu, e se o seu instrumento o alcança em vez de algo adjacente.
- Validade convergente e discriminanteDois requisitos em espelho: uma medida deve concordar com o que deveria concordar, e deve permanecer distinta daquilo que afirma não ser. A maioria dos instrumentos fracos falha no segundo.
- O que é o alfa de Cronbach — e o que ele não éA estatística mais relatada nos testes psicológicos, e a mais mal interpretada. O alfa não indica que uma escala é unidimensional, e um valor elevado costuma ser sintoma, não virtude.
- Erro padrão de medição: o quanto sua pontuação pode estar erradaToda pontuação carrega uma margem de erro e, na maioria dos testes psicológicos, ela é maior do que as pessoas supõem. Este é o número que indica quando uma diferença é real e quando é apenas ruído.
- Normas e percentis: com o que a sua pontuação é comparadaUma pontuação bruta é ininterpretável por si só. Torna-se significativa apenas em relação a um grupo de referência — e qual grupo foi utilizado é um dos factos mais consequentes e menos divulgados sobre qualquer teste.
- Como um teste psicométrico é realmente construídoDa definição do constructo às normas publicadas, o processo leva anos e descarta a maior parte do que foi investido nele. Conhecer as etapas torna óbvio quais delas um questionário online rápido ignorou.
- O que significa quando um teste é chamado de validado?A palavra não é regulamentada e é usada livremente por produtos que não fizeram nenhum trabalho. Veja o que significa quando tem algum significado, e as quatro perguntas que separam os dois casos.
- O que o autorrelato pode e não pode medirOs questionários pedem que você seja o observador de si mesmo, o que funciona melhor para algumas coisas do que para outras. Saber onde o método é forte e onde falha muda a forma como você interpreta qualquer resultado.
- O que significa quando um teste prevê algoUma correlação de 0,30 é um achado robusto na pesquisa de personalidade e uma base fraca para uma decisão sobre uma pessoa específica. Ambas as afirmações são verdadeiras, e a lacuna entre elas é a causa do mau uso dos resultados de testes.
- Triagem não é diagnósticoUm questionário de triagem é construído para identificar o maior número possível de casos, aceitando uma alta taxa de falsos positivos como contrapartida. Interpretar uma pontuação de triagem como diagnóstico inverte aquilo para o qual foi concebido.