Eine KI-Halluzination ist eine Antwort eines Sprachmodells, die überzeugend klingt, aber sachlich falsch oder frei erfunden ist. Typisch sind erfundene Urteile mit echt wirkendem Aktenzeichen, Studien, die es nie gab, oder falsche Dosierungen. Das Modell lügt nicht absichtlich: Es sagt das wahrscheinlichste nächste Wort voraus, nicht das wahre. Für Ärzte, Anwälte und Steuerberater ist das gefährlich, weil der Fehler beim Menschen haftet, der ihn übernimmt.
Ein Beispiel aus dem Alltag
Rechtsanwalt Jonas Weber (ein erfundenes Beispiel) bittet einen allgemeinen Chatbot um Rechtsprechung zu einer Kündigungsfrage. Er bekommt drei BAG-Entscheidungen mit Datum, Aktenzeichen und einem passenden Leitsatz. Zwei davon gibt es nicht. Die dritte existiert, betrifft aber eine andere Frage.
In der Praxis nebenan fragt eine Ärztin nach Studien zu einer Wechselwirkung. Die Antwort nennt Autoren, Fachzeitschrift und Jahrgang. Der Titel klingt plausibel, die Studie ist nicht auffindbar.
Beides wirkt fehlerfrei, bis jemand nachschlägt.
Wie Halluzinationen entstehen
Vorhersage statt Nachschlagen
Ein großes Sprachmodell wie ChatGPT, Claude oder Gemini hat aus riesigen Textmengen gelernt, wie Sprache aussieht. Es weiß, wie ein Aktenzeichen aufgebaut ist und wie eine Literaturangabe formatiert wird. Ohne Zugriff auf eine echte Quelle setzt es diese Muster zu etwas zusammen, das richtig aussieht. Ob es stimmt, prüft es nicht.
Drei typische Ursachen
- Wissenslücken: Was das Modell nicht kennt, füllt es eher auf, als „das weiß ich nicht“ zu sagen.
- Veralteter Stand: Das Training endet zu einem Stichtag. Spätere Urteile, Leitlinien oder Gesetzesänderungen fehlen, aufgehobene Entscheidungen wirken weiter gültig.
- Suggestive Fragen: Wer fragt „Welches Urteil bestätigt, dass …?“, bekommt oft ein Urteil, ob es eines gibt oder nicht.
Warum das für regulierte Berufe besonders zählt
- Anwälte tragen die Verantwortung für jeden Schriftsatz. In den USA hat ein Bundesgericht in New York 2023 zwei Anwälte sanktioniert, die von ChatGPT erfundene Urteile eingereicht hatten.
- Ärzte haften für Behandlungsentscheidungen. Eine erfundene Studie oder eine falsche Dosierung kann Patienten schaden.
- Steuerberater stützen Einsprüche und Stellungnahmen auf Normen und Urteile. Eine erfundene Fundstelle kostet im besten Fall Glaubwürdigkeit.
Halluzinationen werden mit neueren Modellen seltener, verschwinden aber nicht. Deshalb gehört das Thema auch in jede Schulung zur KI-Kompetenz.
So prüfen Sie KI-Antworten
- Quelle verlangen und öffnen. Jede Aussage, auf die Sie sich stützen, braucht eine Fundstelle, die Sie selbst aufrufen können.
- Fundstellen gegen eine echte Datenbank prüfen. Aktenzeichen, Datum und Gericht müssen zusammenpassen, der zitierte Inhalt muss im Dokument stehen.
- Aktualität prüfen. Wurde das Urteil aufgehoben, die Leitlinie überarbeitet, die Studie zurückgezogen?
- Neutral fragen. Statt „Bestätige, dass …“ besser „Wie ist die Rechtslage zu …, mit Quellen“.
- Das letzte Wort hat der Mensch. KI liefert einen Entwurf, keine Entscheidung.
Was eine Prüfung nicht abdeckt: Ihre Daten
Wer Antworten prüfen will, lädt oft genau die Dokumente hoch, um die es geht: Schriftsätze, Arztbriefe, Befunde. Damit stellt sich eine zweite Frage. Datenschutz und Schweigepflicht schützen nur den Teil, der auf einen Menschen zeigt. Entfernt jemand Namen und Kennungen, gelten anonymisierte Daten nicht mehr als personenbezogene Daten und dürfen rechtmäßig gebündelt und verkauft werden. Erlauben die Nutzungsbedingungen eines Werkzeugs die Weiterverwendung Ihrer Inhalte, ist dieser Weg offen. Wie das konkret aussieht, zeigt Die Datenspur, die Quellen dazu finden Sie auf Legal verkäuflich.
Wo Wysor ansetzt
Für jedes KI-Werkzeug in Kanzlei oder Praxis gilt:
- Kann es in echten Quellen suchen, statt aus dem Gedächtnis zu antworten?
- Zeigt es die Fundstelle, sodass Sie mit einem Klick prüfen können?
- Kann es Zitate in vorhandenen Texten prüfen, auch in Entwürfen von Kollegen oder anderen KI-Antworten?
- Bleiben Ihre Inhalte vertraulich, ohne Lizenz zur Weiterverwendung und ohne Training?
In Wysor durchsuchen juristische und medizinische Datenbanken echte Rechtsprechung und Fachliteratur, direkt im Arbeitsbereich. Fundstellen werden geprüft statt erzeugt, aufgehobene Entscheidungen und zurückgezogene Studien werden kenntlich gemacht, und Sie können die Zitate in jedem eingefügten Text prüfen lassen. Die Prüfung ersetzt nicht Ihren eigenen Blick, macht ihn aber schnell. Dabei bleibt es privat: Wysor ist Auftragsverarbeiter, nimmt sich keine Lizenz zur Weiterverwendung, trainiert nicht mit Ihren Inhalten und verkauft sie nicht. Ihre Daten sind verschlüsselt und in der EU gehostet, bei jedem angebundenen Modellanbieter gilt Zero Data Retention. Mehr dazu in Legal AI für Anwälte und Medizinische KI für Ärzte.
Häufige Fragen
Was ist eine KI-Halluzination? Eine Ausgabe eines KI-Modells, die plausibel klingt, aber falsch oder erfunden ist, etwa ein nicht existierendes Urteil oder eine erfundene Studie.
Warum halluziniert KI? Sprachmodelle sagen das wahrscheinlichste nächste Wort voraus. Ohne Zugriff auf eine echte Quelle füllen sie Lücken mit Text, der richtig aussieht, aber nicht geprüft ist.
Wie erkenne ich eine KI-Halluzination? Indem Sie jede Fundstelle öffnen und gegen eine verlässliche Datenbank prüfen. Fehlt die Quelle, passt das Aktenzeichen nicht oder steht der zitierte Inhalt nicht im Dokument, ist Vorsicht geboten.
Kann man KI-Halluzinationen ganz verhindern? Nein, aber stark reduzieren: durch Suche in echten Quellen, Zitatprüfung und die Regel, dass ein Mensch jede Aussage vor der Verwendung prüft.
Wer haftet, wenn ich eine halluzinierte Fundstelle verwende? In der Regel derjenige, der sie verwendet. Die berufliche Verantwortung für Schriftsatz, Befund oder Beratung bleibt bei Ihnen, nicht beim Werkzeug.
Weiterlesen
- KI für die juristische Recherche. Warum Chatbots Fundstellen erfinden und wie Recherche mit Zitationsprüfung funktioniert.
- Databank: juristische und medizinische Recherche. Echte Quellen im Arbeitsbereich.
- KI-Kompetenz nach Art. 4 KI-Verordnung. Was Ihr Team über KI wissen sollte.
- Die Datenspur. Was mit Ihren Dokumenten passieren kann.
- Wie funktioniert ChatGPT? Einfach erklärt
Fragen zur Recherche oder zur Zitatprüfung in Wysor? Schreiben Sie an [email protected] oder nutzen Sie das Kontaktformular in der App.
