O que é validade nos testes psicológicos?

A validade questiona se um teste mede o que afirma medir e se as conclusões que as pessoas tiram de suas pontuações são justificadas. É a questão central na psicometria e a que mais frequentemente é respondida com argumentos de marketing em vez de evidências.

A compreensão moderna, vigente desde os trabalhos de Messick na década de 1980, é que a validade não é um atributo fixo de um instrumento. É uma propriedade de uma interpretação das pontuações para um uso específico. O mesmo questionário pode ser bem validado para descrever a autopercepção de uma pessoa e completamente não validado para decidir se deve contratá-la. Dizer "este teste é válido" sem especificar válido para quê não é uma afirmação; é um slogan.

Os tipos de evidência

A validade é construída a partir de evidências acumuladas de vários tipos. Textos mais antigos apresentam esses tipos como espécies distintas de validade; a visão atual os trata como argumentos diferentes que sustentam um único caso.

Evidência de conteúdo questiona se os itens cobrem o construto de forma adequada. Uma escala de depressão que pergunta apenas sobre sono e apetite cobre os sintomas somáticos e ignora os de humor e cognitivos. A abrangência de conteúdo geralmente é avaliada por especialistas na área, e é por isso que escalas muito curtas são sempre um compromisso.

Evidência de estrutura interna questiona se os itens se agrupam da maneira prevista pela teoria. Se um modelo postula quatro facetas distintas, a análise fatorial deve recuperar quatro fatores — e, crucialmente, em uma amostra independente, não apenas naquela em que a escala foi desenvolvida. Muitos instrumentos recuperam sua estrutura pretendida na amostra de desenvolvimento e falham em qualquer outra.

Relações com outras variáveis é onde a maior parte do trabalho acontece. A evidência convergente mostra que a escala se correlaciona com o que deveria se correlacionar. A evidência discriminante mostra que ela não se correlaciona de forma excessivamente elevada com coisas das quais deveria ser distinta — um requisito cronicamente negligenciado e que compromete muitos construtos recentemente criados. A evidência de critério mostra que a pontuação se relaciona com um resultado relevante, medido ao mesmo tempo ou previsto antecipadamente.

Evidência consequencial questiona o que ocorre quando o teste é utilizado. Se um instrumento sistematicamente prejudica um grupo por razões não relacionadas ao construto, isso é um problema de validade, não apenas ético.

A questão que expõe a maioria das alegações

O teste mais rigoroso de uma alegação de validade é a validade incremental: este instrumento acrescenta algo além do que uma medida mais simples, mais antiga e já estabelecida já indica?

Um número surpreendente de construtos com marca registrada falha nesse quesito. Eles se correlacionam em 0,7 ou mais com um domínio já existente dos Cinco Grandes, preveem os mesmos resultados com a mesma magnitude e não acrescentam nada quando a medida mais antiga é controlada estatisticamente. O construto é novo; a mensuração não é. É por isso que as seções de críticas em documentações sérias de instrumentos frequentemente giram em torno da redundância, e não da imprecisão.

O que observar

Quando alguém afirma que um teste é validado, as perguntas úteis são concretas. Validado em relação a qual critério? Em qual população, de qual tamanho? A estrutura fatorial foi confirmada em uma amostra independente? Há evidências publicadas por pesquisadores sem interesse comercial na resposta? Acrescenta algo em relação a uma alternativa já estabelecida?

Um instrumento com respostas honestas a essas perguntas merece ser levado a sério, incluindo suas limitações. Um instrumento cuja validação consiste em uma página de depoimentos e na afirmação de que milhões de pessoas já o fizeram respondeu a uma questão completamente diferente — popularidade não é evidência, e o número de pessoas que fizeram um teste não diz nada sobre se suas pontuações significam alguma coisa.