Wer zum ersten Mal auf einen selbstbewusst vorgetragenen KI-Fehler hereinfällt – ein falsches Rechtszitat, ein erfundenes Zitat, einen nicht existierenden Autor oder eine leicht verfälschte Steuervorschrift –, lernt eine wichtige Lektion. Das Modell war weder verwirrt noch hatte es einen schlechten Tag. Es tat genau das, wofür es entwickelt wurde. Die gestellte Frage führte bei diesem Mechanismus lediglich zu einer falschen Antwort.
Das ist kein hypothetischer Fall. Im bekanntesten frühen Beispiel, Mata v. Avianca aus dem Jahr 2023, reichten zwei New Yorker Anwälte einen Schriftsatz ein, der sechs nicht existierende Präzedenzfälle anführte. ChatGPT hatte sie einschließlich überzeugend wirkender Zitate und Quellenangaben erfunden. Ein Bundesrichter verhängte daraufhin eine Geldstrafe. Die Anwälte hatten ein auf Plausibilität ausgelegtes Modell nach Präzedenzfällen gefragt und genau das erhalten, wofür es konstruiert ist: plausibel klingenden Text.
Dies ist eines der KI-Themen, bei denen das Verständnis des Mechanismus besonders wichtig ist. Wenn Sie wissen, wie Halluzinationen entstehen, überraschen sie Sie nicht mehr und Sie können sich gezielt davor schützen.
Der Fachbegriff
Der gängige Begriff für eine selbstbewusst vorgetragene falsche KI-Antwort lautet Halluzination. Er ist unvollkommen, weil das Modell nichts wahrnimmt. Tatsächlich erzeugt das Modell Text, der flüssig und plausibel klingt, aber falsch ist.
Für die Praxis ist entscheidend: Halluzinationen sind kein bloß vorübergehender Produktfehler. Sie entstehen aus der Lücke zwischen dem Erzeugen plausibler Sprache und dem Überprüfen ihres Wahrheitsgehalts. Rechnen Sie mit ihnen, planen Sie entsprechende Kontrollen ein und gehen Sie nicht davon aus, dass die nächste Modellversion jede Überprüfung überflüssig macht.
Warum es geschieht
Um das nächste Wort gut vorherzusagen, muss ein Sprachmodell enorme Mengen sprachlicher Struktur abbilden: Grammatik, Fakten, Gesprächsmuster und etwa den Unterschied zwischen einem Arztbrief und einem Tweet. Wenn Sie ihm eine Frage stellen, erzeugt es eine Fortsetzung, die statistisch zu den erlernten Mustern passt.
Der Haken: Es gibt keinen zuverlässigen internen „Ich weiß es nicht“-Alarm. Das Modell wird darauf trainiert, eine plausible und nicht eine verifizierte Fortsetzung zu erzeugen. Bei allgemeinen Themen überschneiden sich Plausibilität und Richtigkeit häufig, weil die Trainingsdaten viele zutreffende Informationen enthalten. Hat das Modell zu einer konkreten Frage jedoch keine verlässlichen Informationen gesehen – etwa zu einem seltenen Rechtsfall, einem aktuellen Ereignis, einer wenig bekannten Person oder einer exakten Zahl –, erzeugt es trotzdem eine plausibel klingende Antwort. Diese kann vollständig erfunden sein.
Praktisch bedeutet das: Das Modell besitzt einen starken Mechanismus zur Erzeugung wahrscheinlicher Fortsetzungen, aber einen schwächeren Mechanismus zum Nachweis ihrer Richtigkeit. Bei allgemeinen Inhalten stimmen beide häufig überein. Bei Nischenthemen, aktuellen oder geschützten Informationen und exakten Angaben fallen sie auseinander.
Betrachten Sie einen selbstbewussten Ton, eine ausgefeilte Formulierung oder die Länge der Antwort nicht als Beweis. Eine falsche KI-Antwort kann besser formatiert sein als die richtige Quelle.
Wo Halluzinationen am häufigsten auftreten
Das Muster ist konsistent bei allen aktuellen KI-Assistenten. Sie halluzinieren am häufigsten, wenn sie gefragt werden:
- Konkrete Namen, Daten, Zahlen oder Zitate. „Wer sagte X?“ „In welchem Jahr wurde Y veröffentlicht?“ „Nennen Sie drei Studien zu Z.“ Statistische Muster können die Form einer Quellenangabe gut nachbilden, sind bei den tatsächlichen Angaben aber unzuverlässig.
- Nischen- oder wenig bekannte Themen. Dazu gehören kleine Unternehmen, seltene Krankheiten, regionale Vorschriften und nicht öffentlich bekannte Personen. Je dünner die Trainingsgrundlage, desto größer die Lücke zwischen „plausibel“ und „wahr“.
- Aktuelle Ereignisse. Modelle haben einen Wissensstichtag. Fragen Sie nach etwas, das danach geschehen ist, antwortet das System entweder mit „Ich bin mir nicht sicher“ – das bessere Ergebnis – oder es rät.
- Geschützte Informationen über Ihr Unternehmen. Das Modell besitzt weder Ihre Kundenliste noch Ihren Code, Ihre Verträge oder andere interne Daten. Wenn Sie danach fragen, erzeugt es Angaben, die solchen Informationen lediglich ähneln.
- Mathematik und exaktes Schlussfolgern. Mehrstufige Berechnungen, Einheitenumrechnungen, Finanzkalkulationen und alle Aufgaben, bei denen sich kleine Fehler fortpflanzen können. Modelle schneiden besser ab als früher, insbesondere mit einem angebundenen Rechenwerkzeug. Für Aufgaben mit hohen Präzisionsanforderungen sind sie dennoch nicht zuverlässig genug.
Beachten Sie das Muster: Das Modell versagt vorhersagbar, wenn Sie etwas Spezifisches fragen, ohne ihm eine zuverlässige Quelle zu geben.
Wo Halluzinationen fast nie relevant sind
Andererseits ist das Modell in vielen Bereichen zuverlässig, mit denen die meisten Nutzer tatsächlich Zeit verbringen:
- Entwurf und Strukturierung von Texten. Keine „Fakten“ erforderlich.
- Umschreiben und Bearbeiten Ihres eigenen Textes. Die Quelle der Wahrheit ist das, was Sie ihm gaben.
- Zusammenfassen eines von Ihnen bereitgestellten Dokuments. Das Modell kann bereits vorliegende Inhalte zitieren und verdichten.
- Brainstorming und Ideengenerierung. Es gibt keine „wahre“ Antwort, die halluziniert werden könnte.
- Erklären bekannter Konzepte. Inhalte, die in den Trainingsdaten umfangreich vertreten waren – Grundlagen der Wissenschaft, allgemein bekannte Geschichte oder verbreitete Programmiermuster –, beruhen in der Regel auf einer soliden Basis.
In diesen Bereichen sind Halluzinationen selten relevant. Sobald Sie konkrete Fakten zu Nischenthemen benötigen, sollten Sie dagegen mit ihnen rechnen.
Drei Gewohnheiten, die Sie schützen
Sie benötigen keinen Doktortitel in maschinellem Lernen, um den Trick zu vermeiden. Sie benötigen drei Gewohnheiten.
1. Behandeln Sie jede konkrete Aussage als Ausgangspunkt, nicht als Endergebnis
Wenn das Modell einen Namen, ein Datum, eine Zahl, eine Quellenangabe, eine Vorschrift oder ein Zitat nennt und die Antwort wichtig ist, überprüfen Sie die Angabe. Eine schnelle Suche, der Abgleich mit dem Quelldokument oder die Nachfrage „Wo haben Sie das gefunden? Nennen Sie den Abschnitt“ deckt die meisten Probleme auf. Je konkreter die Angabe, desto wichtiger ist die Prüfung.
Eine besonders nützliche Nachfrage lautet: „Mit welcher Quelle lässt sich diese Aussage prüfen, und welche konkreten Angaben müssen überprüft werden?“ Das beweist die Antwort nicht, verwandelt eine allgemeine Aussage aber in eine Prüfliste.
2. Verwenden Sie Suche, wenn die Antwort aktuell oder überprüfbar sein muss
Alle großen KI-Assistenten bieten inzwischen eine Websuche. ChatGPT besitzt eine Suchschaltfläche, Claude integriert die Suche in viele Aufgaben und Gemini bringt sie nativ mit. Aktivieren Sie die Suche bei zeitkritischen oder faktischen Fragen. Die Antwort wird verlässlicher, weil das Modell echte Quellen anführen kann und Sie überprüfbare Links erhalten.
Ein häufiger Fehler besteht darin, für eine Recherchefrage das Basismodell zu verwenden und der Antwort anschließend zu vertrauen. Das richtige Vorgehen lautet: neuen Chat öffnen, Suche aktivieren, dann fragen. Das erfordert nur einen zusätzlichen Klick.
3. Stellen Sie die Quelle bereit, statt das Modell nach Erinnerungen zu fragen
Wenn Sie das Dokument besitzen, fügen Sie es ein. Wenn Sie die Daten haben, hängen Sie die Tabelle an. Wenn die ursprüngliche E-Mail vorliegt, stellen Sie sie bereit. Das Modell arbeitet wesentlich zuverlässiger, wenn es von Ihnen bereitgestellte Inhalte zusammenfasst oder analysiert, als wenn es Angaben aus den Trainingsdaten rekonstruieren soll.
Schwach: „Was sagt das estnische Arbeitsrecht über Probezeiten?“
Besser: „Hier ist der Abschnitt des estnischen Arbeitsvertragsgesetzes über Probezeiten [einfügen]. Erklären Sie, was es für einen sechsmonatigen Vertrag bedeutet.“
Der erste Prompt birgt ein hohes Halluzinationsrisiko. Der zweite ist in einem echten Text verankert und ermöglicht eine präzisere Antwort.
Ein Arbeitsablauf zur Quellenprüfung
Wenn eine Antwort wichtig ist, tun Sie dies, bevor Sie sie verwenden:
- Markieren Sie spezifische Aussagen. Namen, Daten, Preise, Zitate, Zitierungen, rechtliche Aussagen, medizinische Aussagen und genaue Zahlen.
- Fragen Sie nach Prüfhinweisen. „Welche Aussagen in Ihrer Antwort müssen überprüft werden, und mit welcher Quelle lässt sich jede davon prüfen?“
- Prüfen Sie die Primärquelle. Bevorzugen Sie offizielle Dokumente, ursprüngliche Vorschriften, Produktseiten, Einreichungen, Verträge oder andere Quelldokumente gegenüber Zusammenfassungen.
- Ersetzen Sie nicht unterstützte Aussagen. Wenn Sie eine Aussage nicht schnell überprüfen können, entfernen Sie sie, markieren Sie sie als ungewiss oder formulieren Sie sie als Frage.
- Speichern Sie den Link zur Quelle. So können Sie und andere später nachvollziehen, woher die Angabe stammt.
Die mit diesem Artikel verknüpfte Checkliste macht daraus eine schnelle Ja/Nein-Prüfung.
Ein nützlicher Ausnahmefall: Wenn Halluzinationen in Ordnung sind
Manchmal soll das Modell Dinge erfinden: bei fiktionalen Texten, Brainstorming, hypothetischen Szenarien, Testfällen oder kreativen Varianten eines Themas. Bei kreativer Arbeit ist eine erfundene Ausgabe kein Fehler, sondern beabsichtigt. Unterscheiden Sie jedoch zwischen „Nennen Sie fünf plausibel klingende Firmennamen“ – ein geeigneter Einsatz – und „Nennen Sie fünf echte Unternehmen, die X tun“ – eine typische Falle.
Was ist mit Modell-Upgrades?
Neuere Modelle halluzinieren im Durchschnitt seltener als ältere, insbesondere bei allgemeinen Themen. Am Rand – bei seltenen Fällen, aktuellen Ereignissen und geschützten Einzelheiten – erzeugen jedoch selbst die besten Modelle des Jahres 2026 weiterhin selbstbewusst falsche Angaben. Gehen Sie nicht davon aus, dass die nächste Version das Problem löst. Die strukturelle Ursache bleibt bestehen.
Eine kleine Sicherheitscheckliste
Bevor Sie sich auf eine KI-Antwort verlassen, fragen Sie:
- Enthält diese Antwort Namen, Daten, Zahlen, Zitate, Zitierungen, Gesetze, Preise, medizinische Ratschläge oder finanzielle Aussagen?
- Ist das Thema aktuell, nischenbezogen, lokal, geschützt oder mit hohen Risiken verbunden?
- Hat das Modell Suche, eine bereitgestellte Quelle, eine Datenbank oder einen Rechner verwendet?
- Können Sie den Satz, die Tabelle oder den Datensatz nennen, der die Aussage unterstützt?
Wenn die Antwort auf 1 oder 2 „Ja“ ist und die Antwort auf 3 oder 4 „Nein“ ist, besteht ein Halluzinationsrisiko. Überprüfen Sie vor dem Handeln.
Die Zusammenfassung
Halluzinationen sind vorhersehbar und nicht zufällig. Sie häufen sich bei konkreten Namen, Daten, Zahlen, wenig bekannten Themen, aktuellen Ereignissen, privaten Daten und exakter Mathematik. Beim Entwerfen, Umschreiben, Zusammenfassen, Brainstorming und Erklären allgemeiner Konzepte sind sie dagegen selten oder harmlos.
Machen Sie es sich zur Gewohnheit, das Risiko zu erkennen: Prüfen Sie konkrete Angaben, aktivieren Sie bei Faktenfragen die Suche und stellen Sie Quellen bereit, statt auf die Rekonstruktion aus Trainingsdaten zu vertrauen. Mit diesen drei Maßnahmen wird KI in der Praxis deutlich zuverlässiger, weil Sie die Überprüfung ergänzen, die das Modell selbst nicht verlässlich leisten kann.
