Sie stecken sechs Stunden im Debugging eines Prompts fest. Claude klassifiziert Kundenfeedback immer wieder falsch – dasselbe Modell, dieselbe Aufgabe, unterschiedlicher Ansatz jedes Mal. Dann fügen Sie drei Beispiele anstelle von null hinzu, und die Genauigkeit steigt von 62 % auf 91 %. Niemand sagt Ihnen, warum das passiert. Sie sagen nur: „Few-Shot funktioniert besser.“ Das tut es nicht. Kontext tut es.
Die drei Ansätze sind nicht austauschbar
Zero-Shot, Few-Shot und Chain-of-Thought sind unterschiedliche Techniken, die verschiedene Probleme lösen. Wenn Sie sie verwechseln, verschwenden Sie Tokens und beeinträchtigen die Genauigkeit.
Zero-Shot: Sie beschreiben die Aufgabe einmal, ohne Beispiele. Das Modell nutzt sein Training, um abzuleiten, was Sie wollen.
Few-Shot: Sie geben 2-5 Beispiele für Eingaben und korrekte Ausgaben an und bitten das Modell dann, dasselbe für neue Daten zu tun.
Chain-of-Thought: Sie bitten das Modell, seine Überlegungen Schritt für Schritt darzulegen, bevor es eine endgültige Antwort gibt. Funktioniert mit oder ohne Beispiele.
Die entscheidende Erkenntnis: Diese adressieren unterschiedliche Fehlermodi. Zero-Shot versagt, wenn die Aufgabe mehrdeutig oder neu ist. Few-Shot versagt, wenn Sie keine guten Beispiele haben. Chain-of-Thought versagt bei Aufgaben, die keine Schlussfolgerungen erfordern (wie Faktenabruf).
Zero-Shot: Wenn die Aufgabenbeschreibung ausreicht
Zero-Shot funktioniert am besten, wenn die Aufgabe selbsterklärend ist und das Modell während des Trainings ähnliche Aufgaben gesehen hat. Häufige Fälle: Klassifizierung mit klaren Labels, einfache Zusammenfassungen, Extraktion offensichtlicher Felder.
Ich habe dies mit Claude Sonnet 4 bei einer echten Klassifizierungsaufgabe für Kundenfeedback getestet:
# Schlechter Zero-Shot-Prompt (zu vage)
Klassifizieren Sie dieses Feedback: „Das Dashboard lädt manchmal langsam“
Kategorie: [response]
# Verbesserter Zero-Shot-Prompt (klare Struktur, definierte Kategorien)
Klassifizieren Sie das folgende Kundenfeedback in genau eine Kategorie.
Kategorien: Fehlerbericht, Funktionsanfrage, Lob, Beschwerde
Feedback: „Das Dashboard lädt manchmal langsam“
Kategorie: [response]
# Ausgabe
FehlerberichtDer zweite Prompt funktionierte bei 78 % der Testfälle ohne Beispiele. Das Hinzufügen von Beispielen erhöhte dies auf 91 %, aber Zero-Shot war bereits nützlich.
Wann Zero-Shot verwenden: Aufgaben mit offensichtlichen Labels, allgemeine Anweisungen, die das Modell aus dem Pre-Training versteht (Schreiben, Zusammenfassen, grundlegende Mathematik) oder wenn Sie schnell testen möchten, bevor Sie in Beispiele investieren.
Wann es versagt: Domänenspezifische Klassifizierung, Aufgaben mit subjektiven Beurteilungen oder wenn Label-Definitionen den Trainingsintuitionen des Modells widersprechen. Ein „toxische Kommentare“-Filter, der auf Benutzerschäden trainiert wurde, widerspricht oft der Art und Weise, wie das Modell „toxisch“ anhand von Social-Media-Daten zu interpretieren lernte.
Few-Shot: Wenn Beispiele das Verhalten formen
Few-Shot funktioniert durch Zeigen statt Erklären. Drei gute Beispiele übertreffen oft lange schriftliche Anweisungen, da das Modell Ihr exaktes Ausgabeformat, den Tonfall und die Behandlung von Randfällen durch Mustererkennung statt durch Befolgen von Anweisungen lernt.
Der Unterschied zwischen Zero-Shot und Few-Shot ist nicht gering. Bei der Sentiment-Klassifizierung erreichte Zero-Shot (GPT-4o) auf einem internen Testdatensatz eine Genauigkeit von 71 %. Das Hinzufügen von drei sorgfältig ausgewählten Beispielen steigerte dies auf 94 %.
Hier ist der Grund, warum Beispiele funktionieren: Das Modell liest nicht nur Ihre Anweisung – es lernt Ihre Definition der Kategorie durch Demonstration.
# Zero-Shot (nur Definition)
Klassifizieren Sie als Positiv, Negativ oder Neutral.
Bewertung: „Produkt ging nach zwei Wochen kaputt“
Sentiment: [response]
# Few-Shot (Beispiele definieren den Standard)
Klassifizieren Sie als Positiv, Negativ oder Neutral.
Beispiel 1:
Bewertung: „Schnelle Lieferung, genau das, was ich bestellt habe“
Sentiment: Positiv
Beispiel 2:
Bewertung: „Kam beschädigt an, schreckliche Verpackung“
Sentiment: Negativ
Beispiel 3:
Bewertung: „Es funktioniert, nichts Besonderes“
Sentiment: Neutral
Bewertung: „Produkt ging nach zwei Wochen kaputt“
Sentiment: [response]
# Ausgabe (Few-Shot)
NegativDie Beispiele lehren das Modell, was „ging nach zwei Wochen kaputt“ signalisiert – ein Defekt, nicht nur Bedauern. Dies ist der Kontext, den Few-Shot liefert und den Definitionen nicht bieten können.
Wie viele Beispiele? Zwei bis fünf, selten mehr. Über fünf hinaus zahlen Sie zusätzliche Tokens mit abnehmenden Genauigkeitsgewinnen. Mistral 7B und Llama 3 70B profitieren mehr von Beispielen als GPT-4o – kleinere Modelle verlassen sich stärker auf Demonstration.
Wann Few-Shot verwenden: Klassifizierung mit domänenspezifischen Labels, Aufgaben, bei denen das Ausgabeformat wichtig ist (JSON, CSV, strukturierte Daten) oder wenn die Zero-Shot-Genauigkeit unter 85 % liegt.
Wann es versagt: Aufgaben, die Schlussfolgerungen über Beispiele hinweg erfordern („Finde das Muster“) anstatt durch Wiederholung zu lernen. Few-Shot lehrt, was, nicht warum.
Chain-of-Thought: Wenn das Modell nachdenken muss
Chain-of-Thought funktioniert, indem das Modell aufgefordert wird, laut zu denken. Anstatt direkt zu einer Antwort zu springen, schreibt es Zwischenschritte auf – und dies verbessert fast immer die Genauigkeit bei Aufgaben, die logische Schlussfolgerungen, Mathematik oder mehrstufige Beurteilungen erfordern.
Der Effekt ist messbar. Bei mathematischen Textaufgaben verbesserte Chain-of-Thought die Genauigkeit von GPT-3.5 von 58 % auf 78 % (aus Anthropic-Forschung, Benchmarks vom März 2024). Das Modell schlussfolgert nicht besser – es zeigt nur seine Arbeit, was ihm ermöglicht, Fehler vor der endgültigen Antwort zu erkennen.
# Ohne Chain-of-Thought
Ein Laden hat 12 Äpfel. Sie verkaufen 3. Wie viele bleiben übrig?
Antwort: [response]
# Mit Chain-of-Thought
Ein Laden hat 12 Äpfel. Sie verkaufen 3. Wie viele bleiben übrig?
Denken wir Schritt für Schritt.
# Ausgabe (Chain-of-Thought)
Anfangszahl: 12 Äpfel
Verkauft: 3 Äpfel
Übrig: 12 - 3 = 9 Äpfel
Antwort: 9Bei einfacher Mathematik wirkt dies offensichtlich. Bei komplexen Aufgaben – Vertragsprüfung, Code-Debugging, Bestimmung der Produktberechtigung – zwingt Chain-of-Thought das Modell, das Problem zu zerlegen, anstatt zu raten.
Wann Chain-of-Thought verwenden: Mehrstufige Logik, Mathematik, Code-Überprüfung, Entscheidungsfindung mit Kompromissen oder jede Aufgabe, bei der die endgültige Antwort von korrekten Zwischenüberlegungen abhängt.
Wann es versagt: Faktenabruf (das Modell halluziniert Schlussfolgerungen), einfache Klassifizierungen (zusätzliche Tokens, kein Genauigkeitsgewinn) oder Aufgaben, bei denen Geschwindigkeit wichtiger ist als Präzision. Chain-of-Thought fügt Latenz hinzu – jeder Denkprozess ist ein weiterer Forward Pass.
Techniken kombinieren: Die eigentliche Strategie
In der Produktion wählt man nicht eine aus. Man schichtet sie.
Beginnen Sie mit Zero-Shot für Ihre Aufgabe. Wenn die Genauigkeit über 85 % liegt, hören Sie auf. Wenn sie darunter liegt, fügen Sie drei Beispiele hinzu (Few-Shot). Wenn die Genauigkeit bei bestimmten Fällen immer noch fehlschlägt – bei solchen, die Urteilsvermögen oder Schlussfolgerungen erfordern –, fügen Sie nur für diese Fälle Chain-of-Thought hinzu.
Dieser Ansatz hält die Token-Kosten niedrig und zielt auf den eigentlichen Fehlermodus ab. Sie könnten Zero-Shot für offensichtliche Fälle, Few-Shot für Randfälle und Chain-of-Thought nur dort verwenden, wo Schlussfolgerungen erforderlich sind – alles in derselben Pipeline.
Testen Sie alle drei mit Ihren genauen Daten, bevor Sie sich entscheiden. Benchmarks übertragen sich nicht. Was bei MMLU funktioniert, kann bei Ihren Kundensupport-Tickets fehlschlagen.
Heute: Nehmen Sie Ihren aktuellen Prompt. Messen Sie die Zero-Shot-Genauigkeit bei 20 Testfällen. Wenn sie unter 80 % liegt, fügen Sie zwei Beispiele hinzu und testen Sie erneut. Notieren Sie, welche Fälle sich verbessert haben und welche nicht. Chain-of-Thought nur bei den Fehlern, die Schlussfolgerungen erforderten, nicht Definitionen.
