KI-Halluzinationen: Warum LLMs Fakten erfinden und wie man sie stoppt

Was sind KI-Halluzinationen und warum sie wichtig sind

Sie fragen ChatGPT nach einer Forschungsarbeit, und es zitiert selbstbewusst eine Studie, die nicht existiert. Sie fordern Code von Claude an, und es verweist auf eine Bibliotheksfunktion, die nie veröffentlicht wurde. Das ist eine KI-Halluzination – wenn ein Sprachmodell falsche, erfundene oder unsinnige Informationen mit völliger Überzeugung präsentiert.

Im Gegensatz zu einem Menschen, der vielleicht sagen würde „Ich bin mir nicht sicher“, verfügen LLMs über keinen eingebauten Mechanismus, um zwischen dem, was sie aus den Trainingsdaten gelernt haben, und dem, was sie erfunden haben, zu unterscheiden. Sie funktionieren, indem sie das nächste statistisch wahrscheinliche Wort vorhersagen, nicht indem sie Fakten überprüfen. Diese grundlegende Architektur macht Halluzinationen nicht zu einem Fehler, sondern zu einer Eigenschaft der Funktionsweise dieser Modelle.

Zu verstehen, warum Halluzinationen auftreten, ist entscheidend, da Sie ihnen ständig begegnen werden. Eine Studie aus dem Jahr 2023 ergab, dass selbst fortgeschrittene Modelle wie GPT-4 bei faktischen Aufgaben in etwa 3-5 % der Ausgaben halluzinieren – und diese Rate steigt erheblich, wenn Modelle in spezialisierte Bereiche oder aktuelle Ereignisse vordringen, für die sie nicht trainiert wurden.

Die drei Hauptgründe, warum LLMs Informationen erfinden

1. Trainingsdaten haben Lücken und Grenzen

LLMs werden mit Textdaten trainiert, die einen festen Wissensstichtag haben. Das Training von GPT-4 endete im April 2023. Claude 3 hat einen Wissensstichtag Anfang 2024. Alles, was über dieses Datum hinausgeht, existiert nicht in den Trainingsdaten des Modells. Wenn Sie nach aktuellen Ereignissen fragen, überspringt das Modell die Frage nicht – es füllt die Lücke, indem es plausibel klingenden Text basierend auf gelernten Mustern generiert. Es rät im Grunde und tut dies selbstbewusst.

Neben zeitlichen Lücken gibt es auch Domänenlücken. Ihr LLM verfügt möglicherweise über minimale Trainingsdaten zu Nischenthemen wie obskuren chemischen Verbindungen oder neuen medizinischen Verfahren. Auf Nachfrage synthetisiert es etwas, das vernünftig klingt, aber vollständig erfunden sein kann.

2. Wie die Transformer-Architektur Halluzinationen ermöglicht

Die Transformer-Architektur, die alle modernen LLMs antreibt, funktioniert, indem sie Wahrscheinlichkeiten für das nächste Token (Wortsegment) basierend auf dem Kontext vorhersagt. Bei jedem Schritt wählt das Modell das statistisch wahrscheinlichste nächste Wort. Dies funktioniert hervorragend für die Erzeugung kohärenter Texte, erzeugt aber einen kritischen Fehler: Das Modell hat keine Möglichkeit zu überprüfen, ob der generierte Text tatsächlich der Realität entspricht.

Stellen Sie es sich wie die Autovervollständigung auf Ihrem Telefon vor, aber auf Absatzlänge skaliert mit viel mehr Parametern. Ihr Telefon schlägt das nächste Wort basierend auf Mustern vor – es überprüft keine Fakten. LLMs tun das auch nicht. Sie sind Wahrscheinlichkeits-Engines, keine Wissensabrufsysteme.

3. Vertrauen ohne Überprüfung

LLMs optimieren für flüssige, kohärente Ausgaben. Eine gut geschriebene Lüge liest sich besser als ein vorsichtiges „Ich weiß es nicht“. Das Modell hat gelernt, dass selbstbewusste, vollständige Antworten während des Trainings belohnt werden. Es gibt keine Strafe während der Inferenz für das Erfinden von etwas, nur für die Produktion inkohärenter oder abgekürzter Texte.

Halluzinationen in realen Ausgaben erkennen

Bevor Sie Halluzinationen reduzieren können, müssen Sie sie erkennen. Hier sind konkrete Muster, auf die Sie achten sollten:

• Spezifische Zitate, die echt klingen, aber nicht existieren: „Laut Smith et al. (2021) im Journal of Neural Networks…“ (vor dem Vertrauen überprüfen)
• Fiktive Zitate, die echten Personen zugeschrieben werden: Ein LLM, das ein Mark Twain-Zitat erfindet, das es aus dem Training „erinnert“ hat
• Erfundene technische Details: Funktionsnamen, Bibliotheksversionen oder API-Parameter, die nicht existieren
• Selbstbewusste Antworten zu Themen ohne Trainingsdaten: Fragen zu Ereignissen nach dem Wissensstichtag
• Logische Inkonsistenzen: Sich innerhalb derselben Antwort widersprechen und dann bei Nachfragen darauf beharren

Die gefährlichsten Halluzinationen sind die plausiblen. Eine seltsame, eindeutig falsche Antwort ist leicht zu erkennen. Eine Antwort, die genau so klingt, wie etwas, das ein echter Experte sagen würde, ist viel schwieriger zu entlarven.

Sieben bewährte Techniken zur Reduzierung von Halluzinationen

1. Retrieval-Augmented Generation (RAG) verwenden

Anstatt sich ausschließlich auf die Trainingsdaten des Modells zu verlassen, geben Sie ihm Zugang zu verifizierten Quellen. Sie können RAG implementieren, indem Sie relevante Dokumente, Websuchergebnisse oder Wissensdatenbanken bereitstellen, bevor Sie Ihre Frage stellen.

Beispiel-Prompt mit Verankerung:

You have access to the following company handbook:

[INSERT HANDBOOK TEXT HERE]

Based ONLY on the handbook above, answer this question:
What is the vacation policy for employees?

Dies reduziert Halluzinationen drastisch, da das Modell auf Referenzmaterial beschränkt ist, das Sie kontrollieren. Tools wie Pinecone, Weaviate oder LangChain machen die Implementierung von RAG praktikabel.

2. Quellen anfordern und um Überprüfung bitten

Ändern Sie Ihre Prompt-Strategie. Anstatt nach Antworten zu fragen, fragen Sie nach Antworten mit angehängten Quellen.

Find information about [topic]. For each claim, include:
- The specific claim
- Where you found it (be precise: publication, date, author)
- A quote if possible

If you cannot verify a claim from your training data, say so explicitly.

Diese einfache Änderung macht das Modell vorsichtiger und liefert Ihnen Material zur Faktenprüfung.

3. „Ich weiß es nicht“-Prompting verwenden

Trainieren Sie Ihr Modell (durch Beispiele im Prompt), dass es akzeptabel und manchmal besser ist, „Ich weiß es nicht“ zu sagen, als zu raten.

Examples of good responses:
Q: What happened on March 15, 2024?
A: I don't have training data beyond April 2023, so I cannot answer this.

Q: What does the function xyz_convert_3.2() do?
A: I'm not aware of a function with that exact name.

Now, answer this question following the pattern above:
Q: [YOUR QUESTION]

4. Konsistenzprüfungen implementieren

Stellen Sie dem Modell dieselbe Frage auf mehrere Arten oder mehrmals und vergleichen Sie dann die Antworten. Wenn Sie widersprüchliche Antworten erhalten, ist das ein Warnsignal für eine Halluzination.

5. Domänenbeschränkungen hinzufügen

Beschränken Sie den Anwendungsbereich des Modells auf das, was es gut kennt. Wenn Sie mit Code arbeiten, geben Sie die Programmiersprache und Bibliotheksversionen explizit an:

You are an expert in Python 3.11 using FastAPI 0.104.1.
Answer only questions about these specific versions.
If asked about versions outside this range, refuse to answer.

6. Temperatur- und Top-K-Anpassungen verwenden

Niedrigere Temperatureinstellungen (0,3-0,5) machen Modelle konservativer und deterministischer, wodurch kreative Halluzinationen reduziert werden. Höhere Temperaturen (0,7+) erhöhen das Halluzinationsrisiko. Für faktische Aufgaben verwenden Sie niedrigere Temperaturen:

temperature = 0.3  # Conservative, fewer hallucinations
max_tokens = 500
top_p = 0.9

7. Querverweis mit externen Tools

Für Code: Führen Sie ihn aus. Für Fakten: Suchen Sie im Web. Für Berechnungen: Überprüfen Sie mit Python. Akzeptieren Sie die LLM-Ausgabe nicht als absolute Wahrheit für irgendetwas Wichtiges.

Probieren Sie es jetzt aus: Erstellen Sie einen Workflow zur Faktenprüfung

Hier ist ein praktischer Workflow, den Sie heute implementieren können:

1. Stellen Sie Ihrem LLM eine faktische Frage und fordern Sie Quellen an
2. Kopieren Sie alle Zitate oder Behauptungen in eine Suchmaschine oder Ihre Wissensdatenbank
3. Markieren Sie jede Behauptung als „verifiziert“, „unverifiziert“ oder „falsch“
4. Geben Sie dieses Feedback an das Modell zurück: „Die folgenden Behauptungen waren Halluzinationen: [Liste]. Überarbeiten Sie Ihre Antwort nur mit verifizierten Informationen.“
5. Vergleichen Sie die überarbeitete Antwort mit der ursprünglichen

Wiederholen Sie diesen Zyklus ein paar Mal, und Sie werden ein Gefühl dafür entwickeln, wo ein bestimmtes Modell dazu neigt zu halluzinieren.

Wichtige Erkenntnisse

• Halluzinationen sind keine zufälligen Fehler – sie sind ein direktes Ergebnis der Funktionsweise von Transformatoren: Sie sagen statistisch wahrscheinlichen Text voraus, ohne Fakten zu überprüfen
• Verwenden Sie Retrieval-Augmented Generation (RAG), um Modelle in verifizierten Quellen zu verankern, anstatt sich ausschließlich auf Trainingsdaten zu verlassen
• Fordern Sie Quellen an, bitten Sie um „Ich weiß es nicht“-Antworten und überprüfen Sie wichtige Behauptungen durch externe Faktenprüfung
• Niedrigere Temperatureinstellungen (0,3-0,5) reduzieren Halluzinationen bei faktischen Aufgaben, indem sie Modelle konservativer machen
• Integrieren Sie die Verifizierung in Ihren Workflow – akzeptieren Sie niemals kritische Informationen von einem LLM ohne Querverweis
• Verschiedene Modelle halluzinieren unterschiedlich; testen Sie Ihr spezifisches Modell in Ihrem spezifischen Bereich, um seine Fehlermodi zu verstehen