L'hallucination
Une hallucination survient lorsqu'un modèle énonce avec assurance quelque chose de faux ou de fabriqué — inventant des faits, des sources ou des détails qui n'étaient ni dans son entrée ni vrais sous cette forme.
Les modèles de langage génèrent la continuation la plus probable, non une vérité vérifiée, ils peuvent donc produire un texte fluide et assuré qui est tout simplement faux : une citation inventée, une API inexistante, un fait plausible mais faux. Pour les agents, c'est dangereux car un argument d'outil ou une affirmation halluciné peut se propager à travers toute une exécution. Les principales défenses sont d'ancrer les réponses dans des sources récupérées (RAG), de demander au modèle de citer, de vérifier les sorties d'outils et de concevoir les tâches pour que le modèle puisse dire « je ne sais pas ».
Points clés
- Le modèle produit un texte fluide et assuré qui est factuellement faux ou fabriqué.
- Cela arrive parce que les modèles prédisent un texte probable, non une vérité vérifiée.
- Dans un agent, une valeur hallucinée peut se propager à travers toute l'exécution.
- Atténuez avec l'ancrage/RAG, les citations, la vérification des sorties et la possibilité de dire « je ne sais pas ».
Apprends en construisant
Way of the Agent enseigne l'ingénierie des agents IA niveau par niveau — des concepts comme celui-ci, puis de la pratique, de l'XP et les AI Chronicles.
Commencer gratuitement →