Alucinación
Una alucinación ocurre cuando un modelo afirma con seguridad algo falso o inventado: fabrica hechos, fuentes o detalles que nunca estuvieron en su entrada ni eran ciertos de esa forma.
Los modelos de lenguaje generan la continuación más probable, no la verdad verificada, por lo que pueden producir texto fluido y seguro que simplemente es incorrecto: una cita inventada, una API inexistente, un hecho plausible pero falso. Para los agentes esto es peligroso porque un argumento de herramienta o una afirmación alucinada puede propagarse por toda una ejecución. Las principales defensas son fundamentar las respuestas en fuentes recuperadas (RAG), pedir al modelo que cite, verificar las salidas de las herramientas y diseñar las tareas para que el modelo pueda decir «no lo sé».
Puntos clave
- El modelo produce texto fluido y seguro que es factualmente incorrecto o inventado.
- Ocurre porque los modelos predicen texto probable, no verdad verificada.
- En un agente, un valor alucinado puede propagarse por toda la ejecución.
- Se mitiga con fundamentación/RAG, citas, verificación de la salida y margen para decir «no lo sé».
Apréndelo construyendo
Way of the Agent enseña ingeniería de agentes de IA nivel a nivel — conceptos como este y luego práctica, XP y las AI Chronicles.
Empieza gratis →