Alucinação
Uma alucinação é quando um modelo afirma algo falso ou inventado com confiança — criando fatos, fontes ou detalhes que nunca estiveram na sua entrada nem eram verdadeiros daquela forma.
Os modelos de linguagem geram a continuação mais provável, não a verdade verificada, de modo que podem produzir um texto fluente e confiante que está simplesmente errado: uma citação inventada, uma API inexistente, um fato plausível porém falso. Para agentes isso é perigoso, porque um argumento de ferramenta ou uma afirmação alucinada pode se propagar por toda uma execução. As principais defesas são fundamentar as respostas em fontes recuperadas (RAG), pedir que o modelo cite, verificar as saídas de ferramentas e projetar tarefas de modo que o modelo possa dizer "não sei".
Pontos-chave
- O modelo produz um texto fluente e confiante que é factualmente errado ou inventado.
- Acontece porque os modelos preveem texto provável, não a verdade verificada.
- Em um agente, um valor alucinado pode se propagar por toda a execução.
- Mitigue com fundamentação/RAG, citações, verificação de saída e espaço para dizer "não sei".
Aprenda construindo
O Way of the Agent ensina engenharia de agentes de IA nível a nível — conceitos como este e depois prática, XP e as AI Chronicles.
Começar grátis →