Sie haben überall von „Large Language Models“ gehört. Das klingt technisch. Ist es aber nicht wirklich.
Ein LLM ist eine statistische Mustererkennungsmaschine. Das ist alles. Füttern Sie es mit Text, und es sagt das nächste Wort voraus. Wiederholen Sie diesen Vorgang tausendfach, und Sie erhalten eine kohärente Antwort.
Der Unterschied, ob Sie verstehen, wie sie funktionieren, oder sie wie Magie behandeln, bestimmt, ob Sie sie effektiv einsetzen oder Zeit mit Warten auf Ausgaben verschwenden, die nie kommen.
Die einfachste Erklärung: Nächstwort-Vorhersage im großen Stil
Sprachmodelle werden auf riesigen Textmengen trainiert – Milliarden von Wörtern aus Büchern, Webseiten, Code-Repositories und Dokumenten. Während des Trainings lernen sie Muster: Nach „der schnelle braune“ kommt „Fuchs“ weitaus öfter vor als „Elefant“.
Das ist die gesamte Grundlage. Angesichts einer Startphrase berechnen diese Modelle Wahrscheinlichkeiten dafür, welches Wort als nächstes kommen sollte. Dann verwenden sie dieses Wort als Eingabe, berechnen erneut Wahrscheinlichkeiten und wiederholen den Vorgang, bis sie eine vollständige Antwort generiert haben.
Claude, GPT-4o, Gemini, Llama – sie alle arbeiten nach diesem Prinzip. Die Unterschiede liegen in den Trainingsdaten, der Modellgröße und architektonischen Anpassungen. Aber der Kernmechanismus ist die wahrscheinlichkeitbasierte Vorhersage.
Warum das wichtig ist: Verständnis der Fehlerquellen
Sobald Sie wissen, dass Modelle Tokens (kleine Textabschnitte) einzeln vorhersagen, ergeben sich mehrere Verhaltensweisen plötzlich.
Halluzinationen sind keine Fehler – sie sind unvermeidlich. Wenn ein Modell eine bestimmte Information während des Trainings nicht gesehen hat, muss es trotzdem eine Ausgabe erzeugen. Also generiert es plausibel klingenden Text, basierend auf Mustern, die es kennt. Eine erfundene Zitatangabe ist kein Lügen; es folgt dem statistischen Pfad, wie „Forschungszitate normalerweise aussehen“.
Länge erhöht Fehler. Jede Token-Vorhersage verstärkt die Unsicherheit. Bis ein Modell eine 2.000 Wörter lange Antwort generiert hat, hat es 2.000 Vorhersageschritte gemacht, die jeweils leicht daneben lagen. Deshalb weichen lange Ausgaben stärker von der Genauigkeit ab als kurze.
Temperature-Einstellungen ändern das Verhalten. Die Temperatur steuert die Zufälligkeit bei der Token-Auswahl. Hohe Temperatur (0,8–1,0) = das Modell wählt aus mehr möglichen nächsten Wörtern, was zu kreativen, aber weniger zuverlässigen Ausgaben führt. Niedrige Temperatur (0,2–0,3) = es wählt jedes Mal das statistisch wahrscheinlichste Wort, was zu konsistenten, aber repetitiven Ausgaben führt. Dies ist keine mystische Einstellung – sie kontrolliert direkt, wie viel Variation Sie im Vorhersageprozess zulassen.
Tokens: Die Währung von LLMs
Sie werden „Tokens“ ständig hören, wenn Sie mit Modellen arbeiten. Ein Token ist kein Wort.
Das Wort „unglaublich“ = 2 Tokens. Das Wort „Ich“ = 1 Token. Das Leerzeichen vor einem Wort zählt als Teil des nächsten Tokens. Das ist wichtig, da Sie für die API-Nutzung nach Tokens und nicht nach Wörtern bezahlen.
Claudes Preise (Stand Anfang 2025): 0,80 $ pro Million Eingabetokens, 2,40 $ pro Million Ausgabetokens. Wenn Sie ein 10.000 Wörter langes Dokument (ungefähr 13.000 Tokens) senden und eine 1.000 Wörter lange Antwort (ungefähr 1.300 Tokens) erhalten, kostet das etwa 11 Cent.
Eine grobe Regel: 1 Token ≈ 0,75 Wörter. Nützlich für die Budgetierung, nutzlos für Präzision. Führen Sie Ihren tatsächlichen Text durch einen Tokenizer, wenn Sie genaue Zählungen benötigen.
Kontextfenster: Wie viel das Modell tatsächlich erinnern kann
Modelle erinnern sich nicht an frühere Gespräche. Jedes Mal, wenn Sie eine Eingabe senden, erhält das Modell Ihre gesamte Nachricht als frischen Kontext.
Deshalb ist das Kontextfenster wichtig – die maximale Anzahl von Tokens, die ein Modell in einer einzigen Anfrage verarbeiten kann. GPT-4o: 128.000 Tokens. Claude 3.5 Sonnet: 200.000 Tokens. Mistral 7B (lokal ausgeführt): 32.000 Tokens.
Diese Grenze bestimmt, was Sie tatsächlich tun können. Ein Kontext von 200.000 Tokens bedeutet, dass Sie ein Buch mit 150.000 Wörtern einfügen könnten und immer noch Platz für Ihre Frage und die Antwort des Modells hätten. Ein Kontext von 4.000 Tokens bedeutet, dass Sie auswählen müssen, was wichtig ist.
Längere Kontextfenster machen Modelle nicht intelligenter, aber sie ermöglichen bestimmte Arbeitsabläufe: Analyse ganzer Dokumente, Aufrechterhaltung detaillierter Erinnerungen innerhalb eines einzigen Gesprächs, Verarbeitung längerer Quellmaterialien für RAG-Systeme.
Training vs. Inferenz: Warum ältere Informationen veraltet sind
Modelle werden einmal trainiert. Dann führen sie Inferenz aus – den Prozess der Generierung von Ausgaben aus Benutzereingaben.
Die Trainingsdaten von Claude 3.5 Sonnet haben einen Stichtag im April 2024. Alles danach kennt es nicht. Das ist kein Fehler; es ist eine strukturelle Realität. Modelle durchsuchen nicht das Internet und aktualisieren sich nicht selbst. Wenn Sie aktuelle Informationen benötigen, müssen Sie sie ihnen zuführen – deshalb gibt es RAG (Retrieval-Augmented Generation).
Was das für Sie morgen bedeutet
Behandeln Sie LLMs als Experten für Zusammenfassungen und Mustererkennung, nicht als Suchmaschinen oder Faktendatenbanken.
Wenn Sie mit LLMs arbeiten, beginnen Sie mit Tests an einer kleinen Charge, bevor Sie skalieren. Senden Sie 10 Beispiele an Claude mit Ihrer genauen Eingabeaufforderung. Beobachten Sie, was fehlschlägt. Die Fehler, die Sie sehen, sind keine Zufälle – es sind vorhersehbare Muster, wie die Wahrscheinlichkeitsberechnungen des Modells versagen. Korrigieren Sie die Eingabeaufforderung, testen Sie erneut. Dieser Zyklus ist schneller als die Iteration in der Produktion.
Wenn Sie ein LLM für eine bestimmte Aufgabe bewerten, prüfen Sie zuerst sein Kontextfenster, nicht seinen Namen. Ein kleineres lokales Modell mit 32.000 Tokens könnte ein größeres Cloud-Modell mit 4.000 Tokens bei Ihrer tatsächlichen Arbeitslast übertreffen. Testen Sie beide, bevor Sie sich festlegen.
