Llama 3, Mistral und Phi lokal ausführen: Hardware-Setup und erste Inferenz

Sie können jetzt ein leistungsfähiges Sprachmodell auf Ihrem Laptop ausführen. Kein Spielzeugmodell – etwas, das echte Aufgaben bewältigt. Llama 3 8B, Mistral 7B und Phi 3.5 laufen alle auf Consumer-Hardware. Die Hürde ist nicht mehr die Leistungsfähigkeit. Es ist das Wissen, welches Werkzeug, welche Quantisierung und welche 20 Minuten Einrichtung tatsächlich funktionieren.

Warum lokale LLMs jetzt wichtig sind

Drei Jahre lang bedeutete lokale Inferenz entweder die Verwendung eines 7B-Parameter-Modells, das wie GPT-3 funktionierte, oder monatlich 200 US-Dollar für API-Aufrufe auszugeben. Das hat sich 2024 geändert. Llama 3 8B (veröffentlicht im Juli 2024) leistet bei den meisten Aufgaben auf dem Niveau von GPT-3.5. Mistral 7B übertrifft GPT-3.5 bei der Argumentation. Phi 3.5 läuft auf 8 GB RAM und bewältigt Zusammenfassung, Klassifizierung und Code-Review ohne offensichtliche Leistungseinbußen.

Der praktische Vorteil: keine API-Kosten für die Entwicklung, Inferenzlatenz unter 500 ms auf bescheidener Hardware und Ihre Daten verlassen niemals Ihre Maschine. Der Haken: Sie benötigen die richtige Quantisierung, das richtige Werkzeug und realistische Erwartungen an die Kompromisse zwischen Geschwindigkeit und Qualität.

Hardware-Realitätscheck

Bevor Sie etwas herunterladen, müssen Sie wissen, womit Sie arbeiten.

• RAM: Ein 7B-Modell mit 4-Bit-Quantisierung benötigt etwa 6–8 GB. Bei 8-Bit: 14–16 GB. Unquantisiert (float32): mindestens 30 GB. Wahrscheinlich werden Sie 4-Bit verwenden.
• GPU: Optional, aber transformativ. Eine RTX 4060 (8 GB VRAM) führt Llama 3 8B mit 4-Bit mit über 30 Tokens/Sekunde aus. Ohne GPU: CPU-Inferenz auf einem M1 MacBook Pro leistet 5–8 Tokens/Sekunde – akzeptabel für Stapelverarbeitung, mühsam für interaktive Nutzung.
• Festplatte: Ein 7B-Modell, das auf 4-Bit quantisiert ist, benötigt 3–5 GB. Halten Sie 20 GB frei für Modelldownloads und Arbeitsbereich.

Wenn Sie ein MacBook Air M1/M2 haben, hören Sie hier auf – Ollama (unten) übernimmt die gesamte GPU-Beschleunigung automatisch. Wenn Sie unter Windows oder Linux mit einer RTX-Karte arbeiten, reduziert die GPU-Beschleunigung die Inferenzzeit um das 4- bis 6-fache.

Ollama: Der reibungslose Weg

Wenn Sie ein Modell in den nächsten fünf Minuten ausführen möchten, ohne sich mit Python-Umgebungen herumschlagen zu müssen, verwenden Sie Ollama.

Laden Sie von ollama.ai herunter und führen Sie das Installationsprogramm aus. Dann:

ollama run llama2

Das war’s. Ollama lädt automatisch herunter, quantisiert und stellt das Modell auf localhost:11434 bereit. Sie haben jetzt eine lokale API, die mit der Chat-Oberfläche von OpenAI kompatibel ist.

Um stattdessen Mistral auszuführen:

ollama run mistral

Ollama zieht automatisch die empfohlene Quantisierung (normalerweise Q4_K_M – 4-Bit, mittlere Variante). Keine Konfigurationsdateien. Kein CUDA-Gefummel unter Linux. Auf Mac erkennt es die GPU automatisch.

Die Einschränkung: Ollama abstrahiert die Quantisierungswahl. Wenn Sie Q2_K (extrem wenig VRAM) oder Q8_0 (maximale Qualität) benötigen, benötigen Sie den nächsten Ansatz.

LM Studio: Kontrolle und Einfachheit

Für 80 % der Anwender reicht Ollama aus. Für die verbleibenden 20 % – Personen, die auf 4 GB RAM arbeiten oder spezifische Qualitäts-/Geschwindigkeitskompromisse anstreben – ist LM Studio der nächste Schritt.

LM Studio bietet Ihnen eine GUI, eine Quantisierungsauswahl und dieselbe OpenAI-kompatible API wie Ollama.

Installieren Sie von lmstudio.ai. Öffnen Sie die App. Suchen Sie nach „Mistral 7B“. Sie sehen 15 Versionen:

• Q2_K: 3,5 GB, ca. 2 Tokens/Sekunde auf der CPU
• Q4_K_M: 5 GB, ca. 5 Tokens/Sekunde auf der CPU
• Q6_K: 8 GB, ca. 3 Tokens/Sekunde auf der CPU (höhere Qualität als Q4)
• Q8_0: 14 GB, nahezu Originalqualität, langsamer

Für die meisten Arbeiten ist Q4_K_M die Standardantwort. Es ist der Sweet Spot zwischen Qualität und Ressourcennutzung, den auch Ollama standardmäßig wählt.

Laden Sie das Modell herunter, klicken Sie auf „Laden“ und verwenden Sie es dann über die API:

import requests
import json

response = requests.post(
    "http://localhost:1234/v1/chat/completions",
    json={
        "model": "local-model",
        "messages": [{"role": "user", "content": "Fassen Sie dies in einem Satz zusammen: [Ihr Text]"}],
        "temperature": 0.7
    }
)
print(response.json()['choices'][0]['message']['content'])

Die API ist identisch mit der von OpenAI. Das ist wichtig – Sie können lokal testen und dann den Endpunkt zu GPT-4o wechseln, ohne Code neu schreiben zu müssen.

Wann welches Modell wählen

Llama 3 8B, Mistral 7B und Phi 3.5 lösen unterschiedliche Probleme mit unterschiedlichen Ressourcenanforderungen.

• Phi 3.5 Mini (3,8B Parameter, 2 GB quantisiert): Läuft auf jeder Hardware. Am besten für Klassifizierung, Extraktion, Zusammenfassung. Verliert bei offenen Generierungen über 1000 Tokens an Kohärenz.
• Mistral 7B (7B Parameter, 5 GB quantisiert): Stärkste Argumentation für seine Größe. Besser als Llama 3 bei Code und strukturierten Ausgaben. Etwas schwächer bei kreativem Schreiben.
• Llama 3 8B (8B Parameter, 6 GB quantisiert): Am ausgewogensten. Gut in allem. Langsamer als Mistral auf der CPU (höhere Parameteranzahl), aber zuverlässiger bei langen Dokumenten.

Wenn Sie 8 GB RAM haben: Beginnen Sie mit Phi 3.5. Wenn Sie 16 GB oder eine GPU haben: Mistral 7B. Wenn Sie maximale Flexibilität benötigen: Llama 3 8B.

Testen Sie es noch heute: Ein funktionierendes Beispiel

Installieren Sie Ollama. Führen Sie dies aus:

ollama run mistral

Warten Sie 3–4 Minuten auf den Download. Fügen Sie dann dies in die Eingabeaufforderung ein:

Extrahieren Sie die Entitäten aus diesem Text als JSON. Geben Sie nur gültiges JSON zurück, keine Erklärung.

Text: Apple veröffentlichte das iPhone am 29. Juni 2007. Steve Jobs präsentierte es in San Francisco.

Ausgabeformat: {"companies": [], "products": [], "dates": [], "people": []}

Sie erhalten in den meisten Fällen unter 5 Sekunden gültiges JSON zurück. Das ist Extraktion – keine Halluzination, keine Generierungsdriften. Eine echte Aufgabe, die früher einen API-Aufruf erforderte. Jetzt ist es lokal, kostenlos und offline.

Diese Eingabeaufforderung funktioniert, weil sie eingeschränkt ist (JSON-Format erzwingt Struktur) und Mistral 7B stark in der Befolgung von Anweisungen ist. Wenn Sie dieselbe Eingabeaufforderung mit Phi 3.5 versuchen, erhalten Sie möglicherweise gelegentlich fehlerhaftes JSON – ein quantitativer Unterschied, den Sie kennen sollten, bevor Sie darauf aufbauen.

Als Nächstes: In Ihren Workflow integrieren

Stellen Sie Ollama oder LM Studio so ein, dass sie beim Start ausgeführt werden. Fügen Sie dies Ihrer Python-Umgebung für jede Extraktions- oder Klassifizierungspipeline hinzu:

from openai import OpenAI

client = OpenAI(api_key="not-used", base_url="http://localhost:11434/v1")

def classify_text(text, categories):
    response = client.chat.completions.create(
        model="mistral",
        messages=[{
            "role": "user",
            "content": f"Klassifizieren Sie diesen Text als einen der folgenden: {', '.join(categories)}

Text: {text}"
        }]
    )
    return response.choices[0].message.content

Das ist Ihre lokale Inferenzschicht. Sie ist API-kompatibel mit OpenAI, kostenlos und bereit für den Produktionseinsatz bei sich wiederholenden Aufgaben, bei denen eine Lichtgeschwindigkeitslatenz keine Rolle spielt – Stapelverarbeitung, Hintergrundjobs, Klassifizierungs-Pipelines.