Fine-Tuning vs Prompt Engineering vs RAG: Was funktioniert wirklich?

Sie haben ein Problem, das Ihr Standard-LLM nicht löst. Claude oder GPT-4 erledigen grundlegende Aufgaben gut, aber für Ihren speziellen Anwendungsfall – das Extrahieren von Daten aus Vertragsklauseln, das Bewerten von Essays nach Ihrem Lehrplan oder das Klassifizieren von Kundensupport-Tickets mit 95% Genauigkeit – weicht das Standardmodell ab. Nun stehen Sie vor drei Wegen: das Modell feinabzustimmen (Fine-Tuning), bessere Prompts zu entwickeln (Prompt Engineering) oder ein RAG-System zu erstellen. Jede Methode funktioniert. Jede scheitert aus unterschiedlichen Gründen. Der Unterschied zwischen der richtigen und der falschen Wahl ist der Unterschied zwischen dem Versand dieser Woche und dem Versinken von drei Monaten in einer Lösung, die zu teuer war und zu langsam läuft.

Wissen Sie, was Sie wirklich beheben wollen

Bevor Sie sich für einen Ansatz entscheiden, diagnostizieren Sie das eigentliche Problem.

Lassen Sie 20-30 Beispiele durch Ihr Basismodell laufen. Speichern Sie die Fehler. Betrachten Sie das Muster. Macht das Modell:

• Halluzinationen von Fakten, die es nicht kennt? RAG löst dies. Fine-Tuning nicht.
• Die spezifische Terminologie oder Logik Ihrer Domäne missverstehen? Fine-Tuning oder sehr spezifisches Prompting behebt dies.
• Anweisungen mitten in einer langen Antwort vergessen? Prompt Engineering (Struktur, Token-Optimierung) behebt dies. Manchmal hilft RAG.
• Schlampige Fehler bei der Formatierung oder Schlussfolgerung machen, die es klar versteht? Prompt Engineering behebt dies fast immer zuerst.

Ich habe Teams beobachtet, die 40.000 US-Dollar für das Fine-Tuning eines Modells zur Bewältigung von Halluzinationen ausgegeben haben, als eine RAG-Schicht 800 US-Dollar gekostet und in zwei Wochen geliefert worden wäre. Diagnose vor Verschreibung.

Prompt Engineering: Ihre erste Anlaufstelle

Beginnen Sie hier. Immer.

Prompt Engineering ist kostenlos (in Bezug auf Rechenleistung), umkehrbar und löst 60% der Probleme, bei denen Leute denken, sie bräuchten Fine-Tuning. Ein disziplinierter Ansatz dauert vier Stunden, nicht vier Wochen.

Hier ist ein realistisches Vorher/Nachher:

# Schlechter Prompt
Extrahieren Sie die wichtigsten Vertragsklauseln aus diesem Dokument:

{document_text}

Fehlermodus: Das Modell wählt zufällige Klauseln aus, vergisst wichtige Daten, verwechselt Gültigkeitsdaten mit Kündigungsdaten.

# Verbesserter Prompt
Sie sind ein juristischer Vertragsanalyst. Extrahieren Sie nur die folgenden Klauseln aus dem Vertrag:
- Gültigkeitsdatum (wann der Vertrag beginnt)
- Kündigungsdatum (wann er endet)
- Verlängerungsbedingungen (automatisch oder manuell)
- Zahlungsbetrag (Gesamtwert des Vertrags)
- Zahlungsplan (wann Zahlungen erfolgen)

Für jede Klausel:
1. Finden Sie die genaue Klauselreferenz (z. B. "Abschnitt 3.2")
2. Zitieren Sie den relevanten Text
3. Geben Sie den extrahierten Wert an
4. Wenn eine Klausel nicht vorhanden ist, schreiben Sie "NICHT GEFUNDEN" – raten Sie nicht

Dokument:
{document_text}

Analyse:

Besser. Keine Magie – Sie haben lediglich Mehrdeutigkeiten beseitigt und explizite Anweisungen für den Umgang mit fehlenden Daten hinzugefügt. In der Praxis reduziert dieser Ansatz Extraktionsfehler bei strukturierten Aufgaben um 40-60%. Verwenden Sie Grounding Prompts (dem Modell den benötigten Kontext geben) und Chain-of-Thought (das Modell seine Arbeit zeigen lassen), bevor Sie an Fine-Tuning denken.

Wenn Prompt Engineering allein fehlschlägt: Sie haben den Prompt optimiert, ihn anhand von über 100 Beispielen getestet und erzielen immer noch 75% Genauigkeit, wenn Sie 95% benötigen. Das ist Ihr Signal, zur nächsten Ebene überzugehen.

RAG: Für Wissen, das Ihr Modell nicht hat

RAG (Retrieval-Augmented Generation) funktioniert, indem dem Modell relevanter Kontext zugeführt wird, den es nicht in seinen Trainingsdaten hat. Sie geben ihm eine Vektordatenbank mit Ihren Domänendokumenten, und vor jeder Antwort ruft das System die relevantesten Passagen ab.

Erstellen Sie RAG, wenn:

• Ihr Modell spezifische Quellen zitieren oder Fragen zu Ihren proprietären Daten beantworten muss
• Ihre Wissensbasis sich monatlich ändert (Verträge, Richtlinien, Produktdokumente)
• Sie Halluzinationen bei Faktenfragen reduzieren müssen
• Sie möchten, dass das Modell „Ich weiß es nicht“ sagt, anstatt zu raten

Hier ist ein praktisches Python-Beispiel mit Claude und einer simulierten Retrieval-Funktion:

import anthropic

def retrieve_context(query: str) -> list[str]:
    # In der Produktion fragt dies eine Vektordatenbank ab (Pinecone, Weaviate, etc.)
    # Zur Demo werden simulierte Dokumente zurückgegeben
    docs = {
        "refund_policy": "Rückerstattungen sind innerhalb von 30 Tagen nach dem Kauf möglich.",
        "shipping": "Standardversand dauert 5-7 Werktage.",
    }
    return [docs[k] for k in docs if any(word in query.lower() for word in docs[k].lower().split())]

def rag_query(user_question: str) -> str:
    client = anthropic.Anthropic()
    
    # Relevante Dokumente abrufen
    retrieved_docs = retrieve_context(user_question)
    context = "\n".join(retrieved_docs) if retrieved_docs else "Keine relevanten Dokumente gefunden."
    
    # Prompt mit Kontext erstellen
    prompt = f"""Beantworten Sie die Frage NUR anhand des bereitgestellten Kontexts. 
Wenn der Kontext die Antwort nicht enthält, sagen Sie 'Ich habe diese Information nicht.'

Kontext:
{context}

Frage: {user_question}"""
    
    message = client.messages.create(
        model="claude-3-5-sonnet-20241022",
        max_tokens=1024,
        messages=[{"role": "user", "content": prompt}]
    )
    
    return message.content[0].text

# Test
print(rag_query("Kann ich etwas zurückgeben, das ich letzte Woche gekauft habe?"))
# Ausgabe: "Ja, gemäß unserer Rückerstattungsrichtlinie sind Rückerstattungen innerhalb von 30 Tagen nach dem Kauf möglich."

RAGs Stärke: Es ist günstig im Unterhalt, verarbeitet aktuelle Daten ohne erneutes Training und reduziert Halluzinationen bei Faktenaufgaben um 70-90%. Seine Schwäche: Es hilft nur, wenn das Problem fehlendes Wissen ist, nicht Schlussfolgerungen oder Format.

Fine-Tuning: Wenn die Grundlagen nicht ausreichen

Fine-Tuning bringt einem Modell eine neue Fähigkeit oder einen konsistenten Stil bei, den es nicht von Natur aus zeigt. Dies kostet Zeit und Geld – Anthropic’s Fine-Tuning (Stand März 2025) kostet 3 US-Dollar pro 1 Mio. Eingabe-Tokens und 15 US-Dollar pro 1 Mio. Ausgabe-Tokens, zusätzlich zu den Basis-API-Kosten.

Fine-Tuning, wenn:

• Sie benötigen, dass das Modell ein sehr spezifisches Ausgabeformat (XML-Struktur, JSON mit exakten Schlüsseln) konsistent einhält
• Das Modell domänenspezifische Schlussfolgerungen lernen muss (z. B. Bewertungsrubriken, die Ihre Lernplattform verwendet)
• Prompt Engineering hat einen Plateau erreicht – Sie sind bei 85% Genauigkeit und bleiben dort stecken
• Sie dieses Verhalten in über 500 API-Aufrufen pro Monat benötigen (Kosten-Nutzen wird günstiger)

Fine-Tuning wird Halluzinationen NICHT beheben. Es wird dem Modell KEINE Fakten beibringen, die es nicht kennt. Es wird ihm Muster beibringen.

Hier ist die Kostenkalkulation: Wenn Sie 1000 Inferenzanrufe/Monat mit Claude 3.5 Sonnet durchführen, jeweils ca. 2000 Ausgabe-Tokens, sind das 2 Mrd. Tokens/Monat × 15 $/1 Mio. = 30 $/Monat an Inferenzkosten. Die Einrichtung von Fine-Tuning kostet ca. 100-300 US-Dollar. Der Return on Investment tritt etwa im 5. Monat ein, wenn Fine-Tuning die Latenz reduziert oder die Ausgabequalität so verbessert, dass menschliche Überprüfungen bei 30% der Antworten übersprungen werden können. Unterhalb dieser Schwelle lohnt es sich nicht.

Die Entscheidungsmatrix

Was heute zu tun ist

Nehmen Sie Ihren am schwierigsten fehlschlagenden Fall – den, bei dem Sie über Fine-Tuning oder RAG nachgedacht haben. Lassen Sie ihn zuerst mit einem ordnungsgemäß strukturierten Prompt durchlaufen. Verwenden Sie die obige Vorlage zur Vertragsextraktion, wenn es sich um ein Datenproblem handelt, oder schreiben Sie einen Chain-of-Thought-Prompt, wenn es sich um ein Schlussfolgerungsproblem handelt. Testen Sie ihn anhand von 20 Beispielen. Zählen Sie die Genauigkeit.

Wenn Sie mit Prompt Engineering allein 90%+ Genauigkeit erreichen, hören Sie auf. Sie sind fertig. Wenn Sie bei 75-85% stecken bleiben, diagnostizieren Sie: Fehlt dem Modell Wissen (RAG) oder eine Fähigkeit (Fine-Tuning)? Diese Unterscheidung spart Ihnen Wochen.