Por qué la mayoría de los tests de personalidad en internet no son fiables
No porque sean deshonestos, sino porque los pasos que hacen que una medición sea confiable son invisibles, costosos y fáciles de omitir, y omitirlos no cambia en nada el aspecto del resultado.
Un test de personalidad gratuito en línea y un instrumento psicométrico validado producen resultados que parecen idénticos: una puntuación, un percentil, un párrafo que te describe. La diferencia está enteramente en el trabajo que no puedes ver desde la pantalla de resultados.
Vale la pena ser precisos al respecto, porque el enfoque habitual —que los tests de internet son fraudes— es en su mayoría incorrecto y no resulta muy útil. La mayoría los crean personas sin ninguna intención de engañar. Son poco fiables por razones estructurales.
Lo que habitualmente se omite
El análisis de ítems. En una escala bien construida, la mayoría de los ítems redactados se descartan tras la prueba piloto: ítems en los que nadie varía, ítems que correlacionan mal con el total, ítems que saturan en más de un factor, ítems que se comportan de manera diferente según el grupo de edad o el idioma. Un test escrito y publicado sin una prueba piloto ha conservado todo, incluidos los ítems que no funcionan.
La confirmación estructural independiente. El análisis factorial sobre los datos con los que se construyó la escala recuperará la estructura que se diseñó. Confirmarlo en una muestra nueva es un estudio aparte, y es el paso en el que falla una gran proporción de las escalas.
Los baremos. El percentil tiene que provenir de algún lugar. Si el sitio no indica su población de referencia, el número se deriva bien de visitantes anteriores —un grupo autoseleccionado de composición desconocida— o de nada en particular.
Los datos de test-retest. Demostrar que las personas obtienen la misma puntuación el mes siguiente requiere volver a localizarlas. Casi nadie lo hace, lo que significa que la estabilidad que implica la palabra «rasgo» no ha sido demostrada.
Los incentivos de diseño apuntan en la dirección equivocada
Un test construido para generar engagement está optimizado para un resultado diferente al de un test construido para la precisión, y ambos divergen de maneras predecibles.
Los resultados halagadores funcionan mejor. Un resultado que te dice algo desagradable se comparte menos, por lo que los resultados derivan hacia descripciones que todo el mundo reconoce en sí mismo. Este es el efecto Barnum, demostrado en la década de 1940 y reproducido de manera consistente desde entonces: las personas califican las descripciones de personalidad genéricas como muy precisas sobre ellas mismas en particular.
Los tipos funcionan mejor que las dimensiones. «Eres un Arquitecto» es más fácil de compartir que «estás en el percentil 68 en apertura a la experiencia con un amplio intervalo de confianza». Los tipos también ocultan el error de medición, ya que alguien que se encuentre un punto a cada lado del límite de una categoría recibe etiquetas completamente diferentes.
Lo breve funciona mejor que lo adecuado. Cada pregunta adicional hace que los participantes abandonen, por lo que los tests se recortan a una extensión que maximiza las respuestas completas en lugar de una que cubra el constructo.
Nada de esto son mentiras. Es optimización para una métrica distinta a la precisión.
Cómo detectarlo en unos treinta segundos
Busca un instrumento fuente con nombre, con autores y con año. Busca una declaración sobre de qué población proceden los baremos. Busca cualquier reconocimiento de limitaciones o de error de medición. Fíjate en si el resultado es una puntuación continua o una categoría. Comprueba si la misma página también promete identificar tu carrera ideal, tu pareja o tu propósito de vida a partir de veinte preguntas.
Un test que nombra su instrumento, cita su fuente, indica sus baremos y declara lo que no puede decirte ha hecho el trabajo. Uno que no hace nada de eso puede seguir siendo una forma agradable de pasar cinco minutos, pero el número que produce es pura decoración.
Cada instrumento del catálogo de NOESIS indica qué test publicado implementa, quién lo escribió, en qué año, cómo se puntúa y qué no establecen sus resultados. Esta última parte es la que vale la pena comparar.
Ponlo a prueba
Leer sobre medición es una cosa. Ver tu propia puntuación con su fuente, su muestra normativa y sus límites es otra. Gratis, sin registro.
Sigue leyendo
- ¿Qué es la psicometría?La disciplina que determina si una medición psicológica es válida y confiable, y la razón por la que dos pruebas que formulan preguntas similares pueden diferir enormemente en el valor de sus resultados.
- ¿Qué es la fiabilidad en las pruebas psicológicas?La fiabilidad es la consistencia de la medición, no su exactitud. Una prueba puede ser muy fiable y aun así medir algo equivocado, razón por la cual es la primera pregunta que se formula y nunca la última.
- ¿Qué es la validez en las pruebas psicológicas?La validez no es una propiedad que posea un test. Es un argumento sobre si una interpretación particular de una puntuación particular, para un propósito particular, es defendible — y debe reconstruirse para cada nuevo uso.
- ¿Qué es la validez de constructo?La pregunta más difícil en la medición: si aquello que estás midiendo existe tal como lo has definido, y si tu instrumento lo alcanza a él en lugar de algo adyacente.
- Validez convergente y discriminanteDos requisitos que son imagen especular el uno del otro: una medida debe coincidir con aquello con lo que debería coincidir, y debe mantenerse distinta de aquello de lo que afirma diferenciarse. La mayoría de los instrumentos débiles fallan en el segundo.
- Qué es el alfa de Cronbach y qué no esEl estadístico más reportado en la evaluación psicológica y el más malinterpretado. El alfa no indica que una escala sea unidimensional, y un valor alto suele ser un síntoma más que una virtud.
- Error estándar de medición: cuánto puede desviarse tu puntuaciónToda puntuación lleva un margen de error, y en la mayoría de los tests psicológicos es más amplio de lo que la gente supone. Este es el número que te indica cuándo una diferencia es real y cuándo es ruido.
- Normas y percentiles: con qué se compara tu puntuaciónUna puntuación bruta es ininterpretable por sí sola. Solo adquiere significado frente a un grupo de referencia, y qué grupo se utilizó es uno de los hechos más determinantes y menos divulgados de cualquier test.
- Cómo se construye realmente una prueba psicométricaDesde la definición del constructo hasta las normas publicadas, el proceso lleva años y descarta la mayor parte de lo que se invierte en él. Conocer las etapas hace evidente cuáles omitió un cuestionario rápido en línea.
- ¿Qué significa que un test sea llamado validado?La palabra no está regulada y es utilizada libremente por productos que no han hecho ninguno de los trabajos requeridos. Esto es lo que significa cuando realmente significa algo, y las cuatro preguntas que separan ambos casos.
- Lo que la autoinforme puede y no puede medirLos cuestionarios te piden que seas el observador de ti mismo, lo cual funciona mejor para algunas cosas que para otras. Saber dónde el método es sólido y dónde falla cambia la forma en que interpretas cualquier resultado.
- Qué significa cuando una prueba predice algoUna correlación de 0,30 es un hallazgo sólido en la investigación de la personalidad y una base débil para tomar una decisión sobre una persona concreta. Ambas afirmaciones son verdaderas, y la brecha entre ellas explica la mayoría de los usos incorrectos de los resultados de las pruebas.
- El cribado no es diagnósticoUn cuestionario de cribado está diseñado para detectar el mayor número posible de casos, aceptando una alta tasa de falsos positivos como precio. Interpretar una puntuación de cribado como un diagnóstico invierte aquello para lo que fue concebido.