O que significa quando um teste é chamado de validado?
A palavra não é regulamentada e é usada livremente por produtos que não fizeram nenhum trabalho. Veja o que significa quando tem algum significado, e as quatro perguntas que separam os dois casos.
"Cientificamente validado" não é um termo protegido. Ninguém o certifica, nenhum órgão o audita, e ele aparece em produtos cuja base de evidências inteira é que muitas pessoas os utilizaram. Vale a pena saber o que significa quando é usado corretamente.
A versão resumida
Um instrumento validado possui um registro publicado mostrando o que mede, com que precisão, em quais populações e para quais finalidades suas pontuações podem ser legitimamente utilizadas. A validação não é um certificado. É um conjunto de evidências, geralmente reunido ao longo de anos, geralmente incluindo descobertas que restringem o uso do instrumento em vez de lisonjeá-lo.
A presença de limitações documentadas é um dos melhores sinais. A literatura de validação genuína está repleta delas: esta escala tem desempenho ruim em adolescentes, aquela faceta não se replica, o ponto de corte depende da população. Um produto que relata apenas pontos fortes não publicou sua validação; publicou seu marketing.
Quatro perguntas que fazem o trabalho
Qual é a publicação de origem? Um instrumento validado possui um artigo original em uma revista científica revisada por pares, com autores, ano e geralmente um DOI. Esse artigo relata como os itens foram desenvolvidos e quais foram as propriedades psicométricas iniciais. Se ninguém consegue nomear o artigo, não há validação a discutir.
A estrutura foi confirmada por outra pessoa? A equipe de desenvolvimento irá recuperar a estrutura que ela mesma projetou. O que importa é se um grupo independente, com dados independentes, encontrou a mesma coisa. Esta é a pergunta mais informativa que você pode fazer, e a que mais frequentemente fica sem resposta.
Em qual população as normas foram construídas e quando? Uma pontuação é uma posição em uma distribuição de referência. Um instrumento que reporta um percentil sem indicar a qual população ele se refere forneceu um número sem denominador.
O que ele acrescenta? Validade incremental em relação a uma medida estabelecida. Muitos construtos com marca própria falham aqui, correlacionando-se tão fortemente com um traço já existente que não explicam nenhuma variância adicional em coisa alguma. Este é um resultado normal do escrutínio científico, e permanece invisível a menos que alguém realize o teste.
Onde a tradução complica as coisas
Um instrumento validado em inglês não está, por isso, validado em alemão. Uma adaptação transcultural adequada exige tradução direta e reversa, revisão por especialistas, entrevistas cognitivas e, em seguida, um novo estudo psicométrico no novo idioma, testando se a estrutura fatorial se mantém e se os itens individuais funcionam de forma equivalente entre os grupos.
Instrumentos que pulam essa etapa são comuns. Um questionário cuja validação original é impecável pode se comportar de forma bastante diferente em um idioma onde um item-chave carrega uma conotação diferente, e não há como saber sem o estudo. Quando um teste é oferecido em dez idiomas, a pergunta útil é se ele foi validado em dez idiomas ou validado em um e traduzido para nove.
O que a validação não garante
Ela não torna uma pontuação certa. Um instrumento validado ainda carrega erro de medição, ainda descreve uma regularidade no nível populacional em vez de um destino individual, e ainda mede apenas o que seus itens alcançam.
O que a validação garante são limites conhecíveis. Você pode descobrir quanto erro, em qual população, para qual finalidade. Essa é uma afirmação menor do que "este teste revela quem você realmente é", e é a única que se sustenta.
Se quiser ver como é a documentação quando ela existe, cada teste no catálogo NOESIS indica o instrumento que implementa, seus autores e ano, seu método de pontuação e as evidências que o embasam — incluindo onde essas evidências são contestadas.
Ponha à prova
Ler sobre medida é uma coisa. Ver o seu próprio escore com a fonte, a amostra normativa e os limites declarados é outra. Gratuito, sem cadastro.
Continue lendo
- O que é psicometria?A disciplina que determina se uma medida psicológica tem valor real — e a razão pela qual dois testes com perguntas semelhantes podem diferir enormemente no que valem os seus resultados.
- O que é fidedignidade em testes psicológicos?Fidedignidade é a consistência da medição, não sua correção. Um teste pode ser altamente fidedigno e ainda assim medir a coisa errada — razão pela qual é a primeira pergunta a ser feita e nunca a última.
- O que é validade nos testes psicológicos?A validade não é uma propriedade que um teste possui. É um argumento sobre se uma interpretação específica de uma pontuação específica, para um propósito específico, é defensável — e precisa ser reconstruída a cada novo uso.
- O que é validade de construto?A pergunta mais difícil na mensuração: se aquilo que você está medindo existe da forma como você o definiu, e se o seu instrumento o alcança em vez de algo adjacente.
- Validade convergente e discriminanteDois requisitos em espelho: uma medida deve concordar com o que deveria concordar, e deve permanecer distinta daquilo que afirma não ser. A maioria dos instrumentos fracos falha no segundo.
- O que é o alfa de Cronbach — e o que ele não éA estatística mais relatada nos testes psicológicos, e a mais mal interpretada. O alfa não indica que uma escala é unidimensional, e um valor elevado costuma ser sintoma, não virtude.
- Erro padrão de medição: o quanto sua pontuação pode estar erradaToda pontuação carrega uma margem de erro e, na maioria dos testes psicológicos, ela é maior do que as pessoas supõem. Este é o número que indica quando uma diferença é real e quando é apenas ruído.
- Normas e percentis: com o que a sua pontuação é comparadaUma pontuação bruta é ininterpretável por si só. Torna-se significativa apenas em relação a um grupo de referência — e qual grupo foi utilizado é um dos factos mais consequentes e menos divulgados sobre qualquer teste.
- Como um teste psicométrico é realmente construídoDa definição do constructo às normas publicadas, o processo leva anos e descarta a maior parte do que foi investido nele. Conhecer as etapas torna óbvio quais delas um questionário online rápido ignorou.
- Por que a maioria dos testes de personalidade na internet não são confiáveisNão porque sejam desonestos, mas porque as etapas que tornam uma medição confiável são invisíveis, custosas e fáceis de ignorar — e ignorá-las não muda nada na aparência do resultado.
- O que o autorrelato pode e não pode medirOs questionários pedem que você seja o observador de si mesmo, o que funciona melhor para algumas coisas do que para outras. Saber onde o método é forte e onde falha muda a forma como você interpreta qualquer resultado.
- O que significa quando um teste prevê algoUma correlação de 0,30 é um achado robusto na pesquisa de personalidade e uma base fraca para uma decisão sobre uma pessoa específica. Ambas as afirmações são verdadeiras, e a lacuna entre elas é a causa do mau uso dos resultados de testes.
- Triagem não é diagnósticoUm questionário de triagem é construído para identificar o maior número possível de casos, aceitando uma alta taxa de falsos positivos como contrapartida. Interpretar uma pontuação de triagem como diagnóstico inverte aquilo para o qual foi concebido.