LLMs in der Produktion feinabstimmen: Vom Datensatz bis zum Serving
Sie haben ein Claude- oder GPT-Modell, das für Ihren Anwendungsfall zu 85 % passt. Die restlichen 15 % kosten Sie manuelle Korrekturen, überlasten das Kontextfenster oder führen unnötige API-Aufrufe durch. Feinabstimmung scheint die Antwort zu sein. Dann stellen Sie fest, dass es keinen einfachen Weg von „Ich habe gelabelte Daten“ zu „Mein Modell ist besser“ gibt.
Feinabstimmung ist keine Prompt-Optimierung. Es ist kein RAG. Es sind Gewichte, die durch Gradientenabstieg auf Ihrer spezifischen Domäne geändert werden. Wenn es funktioniert, erhalten Sie schnellere Inferenz, kleinere Kontextfenster und Modelle, die Ihr Format tatsächlich einhalten. Wenn es fehlschlägt – und es schlägt oft fehl –, haben Sie Wochen mit Datenbeschriftung und Rechenzeit verschwendet, ohne etwas vorzuweisen zu können.
Ich habe produktionsreife feinabgestimmte Systeme bei AlgoVesta entwickelt. Ich habe auch Teams beobachtet, die 40.000 US-Dollar für GPU-Zeit ausgegeben haben, um ein Modell zu produzieren, das schlechter als das Basismodell ist. Der Unterschied liegt nicht an der Intelligenz. Es ist der Prozess.
Dieser Leitfaden deckt die gesamte Reise ab: wann Feinabstimmung sinnvoll ist, wie man Daten vorbereitet, die die Leistung tatsächlich verbessern, die Wahl zwischen Open-Source-Modellen und verwalteten Diensten, die Einrichtung des Trainings, die Evaluierung und Bereitstellungsmuster, die in der Produktion nicht versagen.
Wann Feinabstimmung das Problem löst (und wann nicht)
Feinabstimmung ist ein schwerer Hammer. Bevor Sie ihn schwingen, verstehen Sie, was er behebt und was nicht.
Feinabstimmung hilft tatsächlich bei:
- Domänenspezifische Terminologie und Ausdrucksweise. Wenn das Modell durchweg Ihr Vokabular verwenden, in Ihrem Ton antworten oder ein bestimmtes Format zu 95 % einhalten soll, funktioniert die Feinabstimmung. GPT-3.5, das auf Kundensupport-Tickets feinabgestimmt wurde, lernt die Sprache Ihres Unternehmens.
- Reduzierung des Bedarfs an Kontextfenstern. Wenn Sie 8.000 Token Kontext übergeben, damit das Modell sich merkt: „Antworte immer im JSON-Format“, internalisiert ein feinabgestimmtes Modell diese Regel in seinen Gewichten. Ihr durchschnittlicher Kontext sinkt auf 2.000 Token.
- Aufgabenspezifische Denk- und Mustererkennung. Modelle, die auf gelabelten Finanzanalysen, Codeerstellung mit Ihren Codebasis-Mustern oder strukturierter Extraktion aus unübersichtlichem Text feinabgestimmt wurden, lernen diese Muster schneller und zuverlässiger als reine Prompt-Techniken.
- Senkung der Inferenzlatenz und -kosten. Ein kleineres feinabgestimmtes Modell (Llama 3 8B anstelle von GPT-4o) kann größere Basismodelle bei Ihrer spezifischen Aufgabe übertreffen. Die Inferenz wird 10-mal günstiger.
Feinabstimmung behebt NICHT:
- Grundlegende Denkfehler. Wenn das Basismodell keine schrittweisen mathematischen Berechnungen durchführen kann, wird die Feinabstimmung diese Fähigkeit nicht schaffen. Sie passen Gewichte an, fügen aber keine neuen Fähigkeiten hinzu.
- Halluzinationen aufgrund fehlenden Kontexts. Feinabstimmung macht Modelle besser im Nachahmen von Mustern, aber nicht besser darin, zu wissen, was sie nicht wissen. RAG löst dies. Feinabstimmung nicht.
- Veraltetes Wissen. Ein Modell, das auf Daten von 2023 trainiert wurde, wird nicht plötzlich Ereignisse von 2025 kennen, nur weil Sie es feinabstimmen. Sie benötigen Abrufmechanismen oder kontinuierliches Neutraining.
- Aufgabentypen, die das Basismodell nie gesehen hat. Ein hauptsächlich auf Text trainiertes Modell wird durch Feinabstimmung auf Finanzdaten nicht zu einem Programmierer. Die Architektur hat sich nicht geändert.
Beginnen Sie hier: Kann ein 3-Satz-Prompt mit Beispielen Ihr Problem lösen? Nutzen Sie das zuerst. Erfordert Ihr Anwendungsfall eine konsistente Formatierung, domänenspezifische Sprache oder eine Reduzierung der Kontextfenstergröße? Dann ist Feinabstimmung eine Überlegung wert. Versteht das Basismodell Ihre Aufgabe grundsätzlich nicht? Investieren Sie in RAG oder ein anderes Modell, nicht in Feinabstimmung.
Datenaufbereitung: Die eigentliche Arbeit
Hier scheitern die meisten Feinabstimmungsprojekte leise.
Sie sammeln 500 gelabelte Beispiele. Sie sehen in einer Tabelle gut aus. Sie trainieren. Sie erhalten 2 % Verbesserung. Sie geben dem Modell die Schuld. Tatsächlich hat Ihr Datensatz dem Modell Rauschen beigebracht.
Hier ist, was wirklich zählt:
Datensatzgröße und -zusammensetzung. Die Token-Anzahl ist wichtiger als die Anzahl der Beispiele. Anthropic empfiehlt in seiner öffentlichen Dokumentation zur Feinabstimmung (Stand März 2025) mindestens 10.000 Token für eine sinnvolle Feinabstimmung, obwohl 100.000+ Token ein klareres Signal zeigen. Das sind ungefähr 20–50 gut gelabelte Beispiele, wenn jedes 2.000 Token lang ist, oder 500+ Beispiele, wenn jedes 200 Token lang ist.
Die Verteilung Ihrer Beispiele prägt, was das Modell lernt. Wenn 80 % Ihrer Beispiele Randfälle und 20 % normale Abläufe sind, wird das feinabgestimmte Modell ein Spezialist für Randfälle. Balancieren Sie Ihren Datensatz, um die Produktionsverteilung widerzuspiegeln.
Qualität vor Quantität. Fünf Beispiele, die Ihr gewünschtes Verhalten perfekt darstellen, sind besser als fünfzig mittelmäßige Beispiele. Jedes Beispiel sollte dem Modell genau zeigen, wie Erfolg aussieht – richtige Ausgabe, richtiges Format, richtiger Ton.
Hier ein konkretes Szenario von AlgoVesta: Wir haben Claude 3 Haiku auf strukturierte Finanzanalysen feinabgestimmt. Schlechter Ansatz: 300 Beispiele für „Analyst hat einen Bericht geschrieben, zeigen Sie mir die wichtigsten Kennzahlen.“ Guter Ansatz: 60 sorgfältig kuratierte Beispiele, die exakt das benötigte JSON-Schema zeigten, mit Ausgaben, die zu 100 % den Produktionsanforderungen entsprachen.
Struktur von Eingabe/Ausgabe-Paaren. Jedes Trainingsbeispiel ist ein Prompt-Completion-Paar. Der Prompt sollte realistisch sein – genau so, wie Ihr Produktionssystem das Modell aufrufen wird. Die Completion sollte genau das sein, was Sie zurückerhalten möchten.
Schlechtes Trainingsbeispiel:
{
