O que significa quando um teste prevê algo
Uma correlação de 0,30 é um achado robusto na pesquisa de personalidade e uma base fraca para uma decisão sobre uma pessoa específica. Ambas as afirmações são verdadeiras, e a lacuna entre elas é a causa do mau uso dos resultados de testes.
A pesquisa de personalidade relata que a conscienciosidade prevê o desempenho profissional. Ao ler essa frase, a maioria das pessoas imagina algo muito mais forte do que o que os dados mostram. A lacuna entre a afirmação estatística e o significado cotidiano de "prevê" é onde começa a maior parte do mau uso dos testes psicológicos.
Os números envolvidos
Os tamanhos de efeito na pesquisa de personalidade geralmente são relatados como correlações. Os valores meta-analíticos para relações bem estabelecidas tendem a situar-se entre 0,20 e 0,35. A conscienciosidade e o desempenho profissional ficam em torno de 0,20 a 0,25. A satisfação no trabalho e o desempenho profissional ficam em torno de 0,30. A capacidade mental geral, o preditor individual mais forte na área, chega a aproximadamente 0,50 para trabalhos complexos.
Elevando uma correlação ao quadrado, obtém-se a proporção da variância explicada. Uma correlação de 0,25 responde por cerca de seis por cento das diferenças entre as pessoas. Noventa e quatro por cento é outra coisa: habilidade, oportunidade, treinamento, gestão, saúde, sorte.
Por que 0,25 é, ainda assim, um achado real
Em escala populacional, pequenas correlações produzem efeitos agregados substanciais. Se você está selecionando mil pessoas, um preditor de 0,25 melhora seu resultado médio de forma mensurável e repetida. Seguradoras e epidemiologistas constroem práticas inteiras sobre efeitos desse tamanho.
O problema é que o benefício agregado e a previsão individual são quantidades distintas. Uma correlação de 0,25 significa que, entre as pessoas com pontuação alta, mais delas terão bom desempenho do que entre as pessoas com pontuação baixa — mas também que muitas pessoas com pontuação alta terão desempenho ruim e muitas com pontuação baixa se sairão muito bem. Ambas as afirmações derivam do mesmo número.
O caso individual
Esse é o passo que costuma ser ignorado. Uma correlação descreve a relação entre duas distribuições. Ela não autoriza uma afirmação sobre uma pessoa específica.
Se a conscienciosidade tem correlação de 0,25 com o desempenho, saber a pontuação de conscienciosidade de alguém reduz apenas ligeiramente o intervalo plausível de seu desempenho. O intervalo de previsão para um único indivíduo permanece amplo o suficiente para incluir quase toda a faixa de resultados possíveis. Saber que você está no percentil 80 em conscienciosidade diz muito pouco sobre como você se sairá em um trabalho específico.
É por isso que usar pontuações de personalidade como filtro primário de seleção é pouco fundamentado, mesmo quando a pesquisa subjacente é sólida. A pesquisa sustenta a afirmação de que o traço importa. Ela não sustenta a afirmação de que uma pontuação diz o que um candidato fará.
Duas advertências adicionais
Prever e causar são coisas diferentes. Quase toda essa literatura é correlacional. O fato de a conscienciosidade prever resultados de saúde é compatível com a hipótese de que ela causa melhores comportamentos de saúde, com um terceiro fator causando ambos, e com causalidade reversa. Delineamentos longitudinais reduzem as possibilidades; raramente as eliminam.
Critérios de autorrelato inflam os números. Quando tanto o preditor quanto o resultado são autorrelatados pela mesma pessoa na mesma tarde, a variância de método comum eleva a correlação. Estudos que utilizam resultados objetivos ou avaliações de informantes geralmente relatam efeitos menores, e são esses que devem receber maior peso.
Para que uma pontuação é realmente útil
Lida como descrição em vez de profecia, uma pontuação de teste é genuinamente útil. Ela indica onde você está em relação a uma população de referência em um traço que tem consequências documentadas, e oferece vocabulário para um padrão que você pode ter observado sem conseguir nomear.
Isso tem valor. Mas é algo diferente de uma previsão, e essa distinção é algo que um relatório honesto deve explicitar para você, em vez de deixar que você a deduza.
Ponha à prova
Ler sobre medida é uma coisa. Ver o seu próprio escore com a fonte, a amostra normativa e os limites declarados é outra. Gratuito, sem cadastro.
Continue lendo
- O que é psicometria?A disciplina que determina se uma medida psicológica tem valor real — e a razão pela qual dois testes com perguntas semelhantes podem diferir enormemente no que valem os seus resultados.
- O que é fidedignidade em testes psicológicos?Fidedignidade é a consistência da medição, não sua correção. Um teste pode ser altamente fidedigno e ainda assim medir a coisa errada — razão pela qual é a primeira pergunta a ser feita e nunca a última.
- O que é validade nos testes psicológicos?A validade não é uma propriedade que um teste possui. É um argumento sobre se uma interpretação específica de uma pontuação específica, para um propósito específico, é defensável — e precisa ser reconstruída a cada novo uso.
- O que é validade de construto?A pergunta mais difícil na mensuração: se aquilo que você está medindo existe da forma como você o definiu, e se o seu instrumento o alcança em vez de algo adjacente.
- Validade convergente e discriminanteDois requisitos em espelho: uma medida deve concordar com o que deveria concordar, e deve permanecer distinta daquilo que afirma não ser. A maioria dos instrumentos fracos falha no segundo.
- O que é o alfa de Cronbach — e o que ele não éA estatística mais relatada nos testes psicológicos, e a mais mal interpretada. O alfa não indica que uma escala é unidimensional, e um valor elevado costuma ser sintoma, não virtude.
- Erro padrão de medição: o quanto sua pontuação pode estar erradaToda pontuação carrega uma margem de erro e, na maioria dos testes psicológicos, ela é maior do que as pessoas supõem. Este é o número que indica quando uma diferença é real e quando é apenas ruído.
- Normas e percentis: com o que a sua pontuação é comparadaUma pontuação bruta é ininterpretável por si só. Torna-se significativa apenas em relação a um grupo de referência — e qual grupo foi utilizado é um dos factos mais consequentes e menos divulgados sobre qualquer teste.
- Como um teste psicométrico é realmente construídoDa definição do constructo às normas publicadas, o processo leva anos e descarta a maior parte do que foi investido nele. Conhecer as etapas torna óbvio quais delas um questionário online rápido ignorou.
- O que significa quando um teste é chamado de validado?A palavra não é regulamentada e é usada livremente por produtos que não fizeram nenhum trabalho. Veja o que significa quando tem algum significado, e as quatro perguntas que separam os dois casos.
- Por que a maioria dos testes de personalidade na internet não são confiáveisNão porque sejam desonestos, mas porque as etapas que tornam uma medição confiável são invisíveis, custosas e fáceis de ignorar — e ignorá-las não muda nada na aparência do resultado.
- O que o autorrelato pode e não pode medirOs questionários pedem que você seja o observador de si mesmo, o que funciona melhor para algumas coisas do que para outras. Saber onde o método é forte e onde falha muda a forma como você interpreta qualquer resultado.
- Triagem não é diagnósticoUm questionário de triagem é construído para identificar o maior número possível de casos, aceitando uma alta taxa de falsos positivos como contrapartida. Interpretar uma pontuação de triagem como diagnóstico inverte aquilo para o qual foi concebido.