Halluzination
Eine Halluzination liegt vor, wenn ein Modell etwas Falsches oder Erfundenes selbstbewusst behauptet — es erfindet Fakten, Quellen oder Details, die nie in seiner Eingabe standen oder in dieser Form wahr waren.
Sprachmodelle erzeugen die wahrscheinlichste Fortsetzung, nicht die verifizierte Wahrheit, und können daher flüssigen, selbstbewussten Text produzieren, der schlicht falsch ist: eine erfundene Quellenangabe, eine nicht existierende API, ein plausibler, aber falscher Fakt. Für Agenten ist das gefährlich, weil ein halluziniertes Tool-Argument oder eine halluzinierte Behauptung sich durch einen ganzen Durchlauf fortpflanzen kann. Die wichtigsten Abwehrmaßnahmen sind, Antworten in abgerufenen Quellen zu verankern (RAG), das Modell um Quellenangaben zu bitten, Tool-Ausgaben zu verifizieren und Aufgaben so zu gestalten, dass das Modell „ich weiß es nicht“ sagen kann.
Kernpunkte
- Das Modell produziert flüssigen, selbstbewussten Text, der faktisch falsch oder erfunden ist.
- Es passiert, weil Modelle wahrscheinlichen Text vorhersagen, nicht verifizierte Wahrheit.
- In einem Agenten kann sich ein halluzinierter Wert durch den gesamten Durchlauf fortpflanzen.
- Entschärfe es mit Verankerung/RAG, Quellenangaben, Ausgabenverifikation und dem Spielraum, „ich weiß es nicht“ zu sagen.
Lern es durch Bauen
Way of the Agent bringt dir AI-Agent-Engineering Level für Level bei — Konzepte wie dieses, dann Praxis, XP und die AI Chronicles.
Kostenlos starten →