Was ist eine KI-Halluzination?

Von einer KI-Halluzination spricht man, wenn ein großes Sprachmodell Informationen erzeugt, die sachlich falsch, in sich widersprüchlich oder vollständig erfunden sind, und sie dabei mit derselben Sicherheit und Sprachgewandtheit vorträgt wie korrekte Informationen. Das Modell weiß nicht, dass es falsch liegt. Es lügt nicht. Es tut genau das, wofür es trainiert wurde, nämlich plausible Tokens vorherzusagen, und erzeugt dabei eine Ausgabe, die von der Wirklichkeit abweicht.

Der Begriff „Halluzination“ ist aus der Psychologie entlehnt, wo er eine Wahrnehmung ohne äußeren Reiz meint. Für KI passt das Bild: Das Modell erzeugt eine „Antwort“, die keine Verankerung in tatsächlichen Fakten, in Quelldaten oder in überprüfbarer Wirklichkeit hat. Sie klingt nach etwas, das wahr sein könnte. Sie sieht oft maßgeblich aus. Und sie kann vollständig falsch sein.

Was ist eine KI-Halluzination?

Stellen Sie sich einen Nutzer vor, der einen KI-Assistenten im Unternehmen fragt: „Wie hoch war unser Nettoumsatz im dritten Quartal 2025?“ Das Modell hat keinen Zugang zu den internen Finanzdaten und erzeugt eine plausibel klingende Zahl, vielleicht aus vagen Anhaltspunkten im Gesprächsverlauf abgeleitet, vielleicht einfach eine Zahl, die in die erwartete Verteilung möglicher Antworten passt. Der Nutzer vertraut der selbstbewussten Auskunft und übernimmt sie in eine Vorlage für den Vorstand.

Das ist eine Halluzination. Das Modell hat keine Unsicherheit angezeigt. Es hat nicht gesagt „Auf diese Daten habe ich keinen Zugriff“. Es hat eine falsche Antwort im selben Ton und Stil erzeugt wie eine richtige. Für Anwendungen mit geringem Einsatz ist das lästig. Für Anwendungen im Unternehmen, also Finanzberichte, Compliance, klinische Entscheidungen, juristische Analysen, kann es ein ernstes Haftungsrisiko sein.

Warum LLMs halluzinieren

Halluzination ist kein Fehler, den man beheben könnte, sondern eine strukturelle Eigenschaft davon, wie LLMs gebaut sind. Die Ursachen zu verstehen ist der erste Schritt, um das Risiko zu beherrschen.

Die statistische Natur der Sprachmodellierung

LLMs werden darauf trainiert, aus einem Kontext das nächste Token vorherzusagen. Sie sind damit im Kern Wahrscheinlichkeitsmaschinen über Sprache, keine Wahrheitsmaschinen über Fakten. Ein Modell, das auf einem Korpus aus Millionen Texten trainiert wurde, lernt die statistischen Muster, nach denen Menschen über Dinge schreiben, nicht die Tatsachen selbst. Erzeugt es Text zu einem Thema, das in seinen Trainingsdaten nicht vorkam, erzeugt es die statistisch wahrscheinlichste Fortsetzung, und die kann sachlich falsch sein.

Von Haus aus keine Angabe von Unsicherheit

Übliche LLMs haben keinen eingebauten Mechanismus, um „Das weiß ich sicher“ von „Das leite ich gerade ab“ zu unterscheiden. Sie erzeugen Tokens mit derselben Sicherheit, unabhängig davon, wie gut das Thema in den Trainingsdaten abgedeckt war. Fortgeschrittene Verfahren wie Kalibrierung, schrittweises Schlussfolgern und Retrieval-Augmented Generation mildern das teilweise, aber das Grundmodell formuliert flüssig, ob es festen Boden hat oder gar keinen.

Lücken in den Trainingsdaten und veraltetes Wissen

LLMs werden auf einer festen Momentaufnahme von Text trainiert. Alles, was nach dem Stichtag geschah oder in den Trainingsdaten kaum vorkam (interne Unternehmensdaten, enge Fachgebiete, jüngste Änderungen der Regulierung), ist dem Modell unbekannt. Gefragt nach solchen Themen, hat es zwei Möglichkeiten: „Das weiß ich nicht“ zu sagen, was es manchmal tut, oder plausibel klingenden Text zu erzeugen, was es häufiger tut.

Arten der Halluzination

Halluzinationen sind nicht alle gleich. Verschiedene Arten verlangen verschiedene Gegenmittel.

• Sachliche Halluzination, das Modell behauptet eine falsche Tatsache. „Die DSGVO gilt seit 2018“ (richtig) gegenüber „Die DSGVO gilt seit 2016“ (falsch). Das ist die häufigste Art und die am leichtesten zu entdeckende, sofern es eine Prüfschicht gibt.
• Kontextuelle Halluzination, das Modell widerspricht Informationen, die im Kontextfenster mitgegeben wurden. Ein Nutzer reicht ein Dokument ein und stellt eine Frage, und das Modell antwortet mit Informationen, die nicht im Dokument stehen oder ihm widersprechen. Das deutet darauf hin, dass der Abruf funktioniert und das Modell trotzdem am Kontext vorbei arbeitet.
• Quellen-Halluzination, das Modell nennt eine Quelle, die es nicht gibt: eine Arbeit mit echt klingendem Titel, eine Vorschrift mit plausibler Fundstelle, einen Datensatznamen, der in keinem Katalog steht. Besonders gefährlich, weil die erfundene Quellenangabe maßgeblich aussieht.
• Logische Halluzination, die Schlussfolgerungen des Modells sind in sich widersprüchlich, oder das Ergebnis folgt nicht aus den genannten Voraussetzungen. Häufig bei mehrstufigen Aufgaben, in denen das Modell Zwischenergebnisse aus dem Blick verliert.

Risiken fürs Geschäft

In Anwendungen für Verbraucher sind Halluzinationen peinlich. In Anwendungen im Unternehmen erzeugen sie messbares Risiko:

• Verstöße gegen Compliance, ein KI-Assistent, der den falschen regulatorischen Schwellenwert nennt, eine Richtlinie falsch zitiert oder einen Compliance-Bericht mit erfundenen Kennzahlen erzeugt, schafft Angriffsfläche in der Prüfung.
• Fehler im Finanzbereich, halluzinierte Zahlen in Finanzanalysen, Kostenmodellen oder Umsatzberichten können sich durch nachgelagerte Prozesse fortpflanzen, bevor sie jemand bemerkt.
• Rechtliche Haftung, in KI-Systemen mit Kundenkontakt kann eine erfundene Aussage über eine Produktfähigkeit oder eine falsch zitierte Vertragsklausel vertragliche oder regulatorische Haftung auslösen.
• Schwindendes Vertrauen, wer einmal auf eine offensichtliche Halluzination stößt, verliert das Vertrauen in das System sprunghaft, auch für Fragen, die das Modell richtig beantwortet hätte. Die Kosten eines einzigen aufsehenerregenden Fehlers können den Produktivitätsgewinn aus vielen richtigen Antworten aufwiegen.

Halluzinationen verringern

Der Werkzeugkasten dafür ist deutlich reifer geworden:

1. Retrieval-Augmented Generation (RAG), lassen Sie das Modell bei Fragen, die konkrete, aktuelle oder private Daten verlangen, nicht aus dem parametrischen Gedächtnis antworten. Rufen Sie maßgeblichen Kontext ab und weisen Sie das Modell an, daraus zu antworten. Der eigene Eintrag zu RAG in der KI behandelt das ausführlich.
2. Quellenangaben erzwingen, verlangen Sie für jede sachliche Aussage eine Quelle. Kann das Modell aus dem mitgegebenen Kontext keine nennen, sollte es Unsicherheit anzeigen statt eine Aussage zu erzeugen.
3. Prüfstrecken für Ausgaben, bauen Sie für Anwendungen mit hohem Einsatz eine automatische Prüfung: sachliche Aussagen aus der Ausgabe des Modells herauslösen und gegen maßgebliche Quellen prüfen. Das gelingt am ehesten, wenn diese Quellen in einem gut gepflegten Datenkatalog liegen.
4. Erzeugung einschränken, begrenzen Sie den Antwortraum des Modells. „Wählen Sie aus den folgenden fünf Möglichkeiten“ lässt sich schwerer halluzinieren als „Sagen Sie mir irgendetwas“. Bei Einordnungs- und Extraktionsaufgaben verringert eine eingeschränkte Ausgabe die Halluzination erheblich.
5. Human-in-the-Loop bei folgenschweren Entscheidungen, wo eine Halluzination schwere Folgen hat (Freigaben in der Compliance, Finanzfreigaben, medizinische Empfehlungen), behalten Sie die menschliche Prüfung bei. KI verringert die Last, Menschen fangen die Fehler ab, die das Modell nicht anzeigt.

Data Governance als Schutz vor Halluzination

Der dauerhafteste Schutz ist nicht ein besseres Modell, sondern bessere Data Governance. Drei Praktiken zählen am meisten:

Ein gepflegtes Business Glossary gibt dem Modell eine gesteuerte, versionierte Quelle der Wahrheit für fachliche Definitionen. Ruft das Modell die Definition von „aktiver Kunde“ aus einem gesteuerten Glossar ab, statt sie aus Trainingsdaten zu erzeugen, sinkt das Risiko einer erfundenen Definition nahezu auf null.

Ein aktueller Datenkatalog sagt dem Modell, welche Datensätze es gibt, wer für sie einsteht, was sie enthalten und wann sie zuletzt aktualisiert wurden. Das hindert das Modell daran, Datensatznamen zu erfinden, überholte Tabellen zu nennen oder zwei ähnlich benannte Bestände zu verwechseln.

Data Lineage schafft Prüfbarkeit, also die Möglichkeit, eine KI-erzeugte Antwort über die Abrufkette bis zu den zugrunde liegenden Daten zurückzuverfolgen. Kommt es doch zu einer Halluzination, macht Lineage sie auffindbar und nachvollziehbar.

Fazit

KI-Halluzination ist eine strukturelle Eigenschaft von Sprachmodellen, kein vorübergehender Fehler, der auf eine Korrektur wartet. Sie im Unternehmen zu beherrschen heißt, sie als Frage der Data Governance zu behandeln: dafür zu sorgen, dass das Modell über eine gut gepflegte Abrufschicht korrekten, gesteuerten und aktuellen Kontext erhält, und eine Prüfinfrastruktur zu bauen, die Fehler abfängt, bevor sie sich fortpflanzen. Organisationen, die in Datenkataloge, Business Glossaries und Knowledge Graphs investiert haben, sind besser aufgestellt, um vertrauenswürdige KI im Unternehmen einzusetzen, weil ihre Abrufschichten auf maßgeblichen Grundlagen stehen.