Галлюцинация
Галлюцинация — это когда модель уверенно утверждает нечто ложное или выдуманное: изобретает факты, источники или детали, которых не было в её вводе и которые не были истинными в такой форме.
Языковые модели генерируют наиболее вероятное продолжение, а не проверенную истину, поэтому они могут выдавать гладкий, уверенный текст, который попросту неверен: выдуманную ссылку, несуществующий API, правдоподобный, но ложный факт. Для агентов это опасно, потому что галлюцинированный аргумент инструмента или утверждение может распространиться через весь прогон. Основные защиты — заземлять ответы на извлечённых источниках (RAG), просить модель приводить ссылки, проверять вывод инструментов и проектировать задачи так, чтобы модель могла сказать «я не знаю».
Ключевые тезисы
- Модель выдаёт гладкий, уверенный текст, который фактически неверен или выдуман.
- Это происходит потому, что модели предсказывают вероятный текст, а не проверенную истину.
- В агенте галлюцинированное значение может распространиться через весь прогон.
- Смягчать заземлением/RAG, ссылками на источники, проверкой вывода и возможностью сказать «я не знаю».
Освой на практике
Way of the Agent обучает инженерии ИИ-агентов уровень за уровнем — сначала такие концепты, потом практика, XP и Хроники ИИ.
Начать бесплатно →