Las denominadas “alucinaciones” (hallucinations) son información inventada por la IA. Son afirmaciones plausibles pero falsas generadas por modelos de lenguaje de gran tamaño (LLM).
Sin embargo, si llevas varios años utilizando modelos de lenguaje frontera, habrás observado que cada vez se inventan menos cosas. Al inicio de ChatGPT y otros modelos era muy habitual encontrarse con alucinaciones. Esta realidad está evolucionando muy rápidamente. Los últimos modelos (como GPT-5.5, Gemini 3.5, Claude Sonnet 5, etc.) se inventan mucha menos información que antes y ya se atreven a responder con un “No lo sé” o un “No dispongo de la información sobre”.
No soy de los que suelen hacer predicciones sobre el futuro y menos aún de los que suelen acertarlas 😉, pero me atrevo a afirmar que los datos inventados por los modelos se irán reduciendo cada vez más. Otra cuestión distinta es que hagan afirmaciones o interpretaciones discutibles. Lo cual será inevitable, en tanto en cuanto han sido entrenados con contenido que también es interpretable o discutible en algunos temas.
En septiembre de 2025 investigadores de OpenAI publicaron un paper titulado “Why Language Models Hallucinate”. Investigación sobre la cual en la web de OpenAI se publicó un resumen accesible para todos los públicos y traducido al español.
En el artículo de OpenAI se explican con mucha claridad dos cuestiones fundamentales:
- Por qué los modelos de lenguaje se inventan información
- Cómo se inventan información
Tras estudiarlo con detenimiento, he concluido que: si los incentivos para inventarse información disminuyen, técnicamente es factible reducir drásticamente las alucinaciones de la IA.
Mi predicción de que la IA dejará muy pronto de inventarse información se deriva de la opinión de que los incentivos para que se inventen información realmente se reducirán con rapidez porque es una demanda insistente de las personas usuarias. Y las empresas desarrolladoras de los modelos de lenguaje buscan satisfacer a los usuarios para ganar más dinero.
El título de este post lleva el término “casi”. Al final explico el motivo por el que creo que la información “inventada” no desaparecerá del todo.
Por qué los modelos de lenguaje se inventan información
OpenAI atribuye la culpa a los sistemas de evaluación. Es decir, a las métricas que se utilizan principalmente para elaborar los rankings de los mejores modelos. Lo cual me resuena a la ley de Campbell o a la de Goodhart.
Los procedimientos estándar de entrenamiento y evaluación premian más la elaboración de una conjetura que el reconocimiento de que algo se desconoce.
Me gusta uno de los ejemplos que aportan en el artículo de OpenAI. Los benchmarks de IA actuales son como un examen tipo test en el que se obtiene 1 punto por acierto y 0 por dejar en blanco la respuesta o decir “no lo sé”. Al no haber penalización por contestar incorrectamente, el alumno prefiere contestar a todas las preguntas, aunque no conozca la respuesta.
En OpenAI abogan por modificar el sistema de evaluación de los benchmarks existentes que dominan los rankings para que dejen de penalizar la abstención cuando hay incertidumbre.
Otro ejemplo que aporta el artículo de OpenAI es ilustrativo del juego de probabilidades que pervierte los actuales sistemas de evaluación. Supongamos que se le pregunta a un modelo de lenguaje por la fecha de cumpleaños de alguien, pero no lo sabe. Si, al azar, dice “10 de septiembre”, tiene una probabilidad entre 365 de acertar. Responder “no lo sé” le garantiza cero puntos. Tras miles de preguntas de prueba, el modelo que se inventa información acaba obteniendo mejores resultados en las tablas de clasificación que un modelo más prudente que admite que no conoce la respuesta. Lo que motiva a los desarrolladores a crear modelos que realicen conjeturas en lugar de no dar una respuesta.
Cómo se inventan información
Sabemos que los modelos de lenguaje son preentrenados (pretraining) con enormes cantidades de texto. El modelo ha aprendido de millones de ejemplos de texto fluido a predecir la siguiente palabra. El modelo no memoriza frases: aprende una distribución de probabilidad sobre el lenguaje. Su trabajo es que el texto que genera se parezca estadísticamente al texto que vio.
El paper de OpenAI explica el mecanismo de invención de la información que desarrollan los modelos de lenguaje mediante un enfoque puramente estadístico. Explican cómo la información inventada surge del proceso estadístico de predicción de la siguiente palabra. La naturaleza de la información inventada es probabilística.
Podemos visualizar los textos de preentrenamiento del modelo como una gigantesca biblioteca. En esa biblioteca hay dos tipos de información muy distintos.
Por un lado, información con un patrón claro. “París es la capital de Francia” aparece miles de veces, en miles de textos, siempre igual. El modelo ve tanta repetición que la señal estadística es clarísima: ante “la capital de Francia es...”, la continuación correcta domina abrumadoramente. Aquí el modelo casi nunca falla.
Por otro lado, tenemos información arbitraria. El cumpleaños de una investigadora poco conocida, digamos “Marta Ibáñez nació el 14 de marzo de 1971”, aparece exactamente una vez en toda la biblioteca. Y aquí está el problema: no hay ningún patrón que aprender. Nada en el nombre “Marta Ibáñez” permite deducir que nació en marzo y no en octubre. Es un dato tan arbitrario como el resultado de tirar un dado.
Si forzamos al modelo a contestar (para salir bien parado en los benchmarks), marzo, octubre o diciembre tendrán la misma probabilidad de aparecer en la respuesta.
En menos de un año los ejemplos del paper han quedado obsoletos
En el paper de OpenAI explican cómo en mayo de 2025 realizaron algunos miniexperimentos con modelos frontera de aquel momento.
El primer miniexperimento consistió en preguntar por la fecha de cumpleaños de Adam Tauman Kalai (uno de los autores del artículo). Lo probaron solo con un modelo. Fue DeepSeek-V3, accedido a través de la app de DeepSeek el 11 de mayo de 2025. En tres intentos separados dio tres fechas incorrectas ("03-07", "15-06" y "01-01"), pese a que el prompt pedía responder solo si se conocía la respuesta.
El segundo experimento consistió en preguntar por el título de la tesis doctoral de Kalai. Aquí usaron tres modelos populares, accedidos gratuitamente el 9 de mayo de 2025: ChatGPT (GPT-4o) vía chatgpt.com, DeepSeek (R1) vía su app, y Llama-4-Scout-17B-16E-Instruct vía Hugging Face. Para la prueba se les bloqueó el acceso a la web. Ninguno generó el título ni el año correctos: cada uno inventó un título, una universidad y un año distintos.
El paper incluye un tercer miniexperimento de alucinación intrínseca: preguntar cuántas D hay en “DEEPSEEK”. DeepSeek-V3 respondió “2” o “3” en diez intentos independientes, y Meta AI (meta.ai) y Claude 3.7 Sonnet (claude.ai) rindieron de forma similar, con respuestas de hasta “6” y “7”. El experimento se realizó en mayo de 2025.
Primer miniexperimento en julio de 2026
He replicado el primer miniexperimento del paper el 11 de julio de 2026, accediendo a ChatGPT con el navegador en modo incógnito y sin iniciar sesión. La respuesta es perfecta: “No lo sé”.
Le he preguntado a Claude y a DeepSeek, y ambos han respondido que no lo saben.
Segundo miniexperimento en julio de 2026
Para el segundo experimento he tenido que añadir al prompt original del paper la instrucción adicional “No busques en Internet” porque las interfaces actuales de los modelos frontera disponen habitualmente de acceso a Internet y buscaban la respuesta en la web y respondían correctamente la pregunta.
Tanto ChatGPT como Claude y DeepSeek han respondido que no lo saben.
Tercer miniexperimento en julio de 2026
Este es el único de los tres miniexperimentos que continúa en vigor. Preguntando a ChatGPT, Claude y DeepSeek en chats de incógnito, la mayor parte de las veces han respondido “2”. En algunas ocasiones también dan con la respuesta correcta.
Este experimento es muy interesante porque me sirve para mantener el “casi” en el título de este post. Entiendo que siempre habrá casos en los que la IA responda de manera incorrecta. Ya no tanto porque invente datos o información, sino porque el modelo estadístico no está preparado para resolver todo tipo de problemas.
Ahora bien, los procesos de “razonamiento” que incorporan los modelos más avanzados descomponen los problemas en partes y hacen revisiones y validaciones de sus respuestas iniciales, lo cual evita, en gran parte, que las respuestas inicialmente incorrectas lleguen a los usuarios. Por ejemplo, Claude Sonnet 5 falla a veces en este miniexperimento, pero Claude Fable 5 no.
OpenAI refuta la afirmación de que es inevitable que los modelos se inventen información
Hemos visto cómo, en cuestión de meses, los modelos frontera han modificado su comportamiento incrementando sustancialmente las veces que responden “no lo sé”.
En el artículo de la web de OpenAI aportan unos datos muy interesantes a este respecto.
La tasa de abstención mide las veces que el modelo no ofrece una respuesta concreta; la tasa de precisión, las que acierta con una respuesta correcta; y la tasa de error, las que responde de forma incorrecta.
El modelo de OpenAI o4-mini se lanzó en abril del 2025. gpt-5-thinking-mini es de agosto del 2025. El enorme cambio de comportamiento del modelo más reciente es que su tasa de abstención se ha disparado, mientras que la tasa de precisión se ha mantenido estable. Y son datos de hace un año.
Conclusión: los modelos no están mejorando su tasa de precisión; lo que hacen es decir “no lo sé” mucho más que antes, y añado que buscan en la web las respuestas que desconocen.
OpenAI afirma en el artículo que no es cierto que sea inevitable que los modelos se inventen información. Los expertos conocen los mecanismos estadísticos a través de los cuales los modelos inventan información y se les recompensa por ello en las evaluaciones. No es algo totalmente inevitable ni misterioso. Afirman que, si se replantean las métricas de evaluación principales, el comportamiento de los modelos cambiará. Ya lo estamos viendo: los datos lo confirman y la tendencia irá a más.