TL;DR — Was du nach diesem Artikel weißt
- VRAM ist der Flaschenhals — eine Tabelle zeigt dir, welches Modell wie viel VRAM braucht.
- Drei GPU-Empfehlungen nach Budget: 250 €, 600 € und 900-1.600 €.
- NVIDIA vs. AMD — CUDA vs. ROCm, was das für dich bedeutet.
- RAM, CPU und SSD — was wirklich wichtig ist und was nicht.
- Apple Silicon — warum M-Chips überraschend gut für lokale KI sind.
- Drei fertige Setups für Budget, Mittelklasse und High-End.
Die eine Zahl, die alles entscheidet: VRAM
Wenn du lokale KI betreiben willst, gibt es eine Kennzahl, die wichtiger ist als alle anderen: VRAM — der Arbeitsspeicher deiner Grafikkarte.
Warum? Ein LLM besteht aus Milliarden von Parametern. Jeder Parameter ist eine Zahl. Damit das Modell schnell antworten kann, müssen alle diese Zahlen in den GPU-Speicher passen. Passt das Modell nicht komplett in den VRAM, werden Teile in den System-RAM ausgelagert — und die Geschwindigkeit bricht ein, oft um Faktor 5-10.
Faustformel: Ein Modell mit X Milliarden Parametern in 4-Bit-Quantisierung braucht ungefähr X × 0,6 GB VRAM. Ein 7B-Modell braucht also ~4,2 GB, ein 13B-Modell ~7,8 GB, ein 70B-Modell ~42 GB.
Die VRAM-Tabelle — was läuft auf welcher GPU
Diese Tabelle ist die wichtigste in diesem Artikel. Druck sie dir aus, kleb sie an den Monitor, konsultiere sie vor jedem GPU-Kauf.
| Dein VRAM | Modellgröße (Q4_K_M) | Beispiel-Modelle | Realistische Speed |
|---|---|---|---|
| 6 GB | 7B knapp | Llama 3.2 8B (eng), Phi-4 Mini | 15-25 tok/s |
| 8 GB | 7B komfortabel | Llama 3.2 8B, Mistral 7B, Qwen 2.5 7B | 25-40 tok/s |
| 12 GB | 13B oder 7B in Q8 | Llama 3.2 13B, Phi-4 14B, Qwen 2.5 14B | 15-25 tok/s |
| 16 GB | 13B in Q5+ oder 30B knapp | Qwen 2.5 14B (Q6), Mistral Small 22B | 10-20 tok/s |
| 24 GB | 30B+ komfortabel | Qwen 2.5 32B, Llama 3.3 70B (Q4, eng) | 7-15 tok/s |
| 48 GB (2×24) | 70B komfortabel | Llama 3.3 70B (Q5+), DeepSeek-V3 | 5-10 tok/s |
„Q4_K_M” erklärt: Quantisierung komprimiert Modell-Parameter von 16-Bit auf weniger Bits. Q4 bedeutet 4-Bit — der Sweet-Spot zwischen Qualität und Speicherbedarf. Q8 ist 8-Bit (besser, braucht mehr VRAM), Q3 ist 3-Bit (kleiner, aber merklich schlechter). K_M steht für die Quantisierungsmethode — du musst die Details nicht kennen, „Q4_K_M” ist fast immer die richtige Wahl.
Was „tok/s” bedeutet: Tokens pro Sekunde, grob übersetzt: Wörter pro Sekunde. ChatGPT antwortet mit etwa 30 tok/s — das fühlt sich flüssig an. Alles über 10 tok/s ist brauchbar, unter 5 tok/s wird es zäh.
NVIDIA vs. AMD — die GPU-Frage
NVIDIA: Der sichere Standard
NVIDIA-GPUs nutzen CUDA — ein Software-Ökosystem, das seit über 15 Jahren entwickelt wird. Jedes KI-Tool, jedes Framework, jede Bibliothek unterstützt CUDA. Wenn etwas nicht funktioniert, findest du innerhalb von zwei Minuten eine Lösung auf Stack Overflow.
Vorteile:
- Universelle Kompatibilität — alles funktioniert sofort
- Große Community und Dokumentation
- cuDNN, TensorRT und andere optimierte Bibliotheken
- Stabile Treiber auf allen Plattformen
Nachteile:
- Teuer — du zahlst einen NVIDIA-Aufschlag von 30-50 %
- VRAM pro Euro ist schlechter als bei AMD
AMD: Mehr VRAM fürs Geld
AMD-GPUs nutzen ROCm unter Linux. Das Ökosystem ist jünger und hat Lücken, aber für LLM-Inference mit Ollama und llama.cpp funktioniert es mittlerweile solide.
Vorteile:
- Mehr VRAM pro Euro — die RX 7900 XTX bietet 24 GB für ~900 €
- Gute Performance bei LLM-Inference unter Linux
- Ollama unterstützt ROCm offiziell
Nachteile:
- Unter Windows ist ROCm nicht verfügbar — dort läuft AMD via DirectML oder Vulkan, deutlich langsamer
- Manche Tools unterstützen nur NVIDIA (z.B. bestimmte Embedding-Modelle, TTS-Frameworks)
- Treiber-Setup unter Linux kann frickelig sein
Meine Erfahrung: Ich nutze selbst eine AMD RX 7900 XTX mit 24 GB VRAM unter Linux. Ollama mit ROCm läuft stabil, die Performance ist nah an NVIDIA. Aber ich habe zwei Nachmittage mit Treiber-Setup verbracht. Wenn du Linux-Erfahrung hast und VRAM pro Euro maximieren willst, ist AMD eine echte Option. Wenn du einfach willst, dass alles funktioniert, nimm NVIDIA.
Konkrete GPU-Empfehlungen nach Budget
Budget: ~250 € — RTX 3060 12 GB
Die NVIDIA RTX 3060 12 GB ist gebraucht für 200-250 € zu haben und bietet überraschend viel für lokale KI:
- 12 GB VRAM — reicht für 7B-Modelle komfortabel und 13B-Modelle in Q4
- CUDA-Support — alles funktioniert out of the box
- Stromsparend — 170W TDP
Einschränkung: Für Modelle über 13B wird es eng. Aber wenn du mit Llama 3.2 8B, Qwen 2.5 7B oder Phi-4 arbeitest, ist das ein hervorragender Einstieg.
Mittelklasse: ~600 € — RTX 4070 Ti Super 16 GB
Die RTX 4070 Ti Super ist mein Preis-Leistungs-Tipp für NVIDIA:
- 16 GB VRAM — 13B-Modelle in hoher Qualität (Q5/Q6), Mistral Small 22B in Q4
- Aktuelle Ada-Lovelace-Architektur — bessere Effizienz pro Watt
- 285W TDP — vertretbar
- Neupreis ca. 600-650 €
Der Kandidat für alle, die nicht basteln wollen — einstecken, Treiber installieren, Ollama starten, läuft.
High-End NVIDIA: ~1.600 € — RTX 4090 24 GB
Die RTX 4090 ist die beste Consumer-GPU für lokale KI:
- 24 GB VRAM — Qwen 2.5 32B komfortabel, Llama 3.3 70B in Q4 (knapp)
- Schnellste CUDA-Kerne der Consumer-Klasse
- 450W TDP — braucht ein ordentliches Netzteil
Lohnt sich, wenn: Du 30B+ Modelle regelmäßig nutzt und nicht auf Linux/AMD wechseln willst.
High-End AMD: ~900 € — RX 7900 XTX 24 GB
Die AMD RX 7900 XTX ist das VRAM-Monster zum halben 4090-Preis:
- 24 GB VRAM — gleich viel wie die RTX 4090
- ~900 € — fast die Hälfte des 4090-Preises
- Unter Linux mit ROCm: solide LLM-Performance
- 355W TDP
Lohnt sich, wenn: Du Linux nutzt (oder nutzen willst) und VRAM maximieren willst. Mein eigener Build basiert auf dieser GPU.
RAM — wie viel System-Arbeitsspeicher brauchst du?
RAM ist nicht VRAM. VRAM sitzt auf der Grafikkarte, RAM auf dem Mainboard. Für lokale KI ist RAM aus zwei Gründen wichtig:
1. CPU-Inference. Wenn du kein GPU hast oder ein Modell nicht in den VRAM passt, läuft es im CPU-Modus über den System-RAM. Dann brauchst du so viel RAM wie das Modell groß ist, plus Overhead.
2. Hybrid-Inference. Ollama kann ein Modell teilweise auf der GPU und teilweise im RAM laufen lassen. 70B-Modell mit 24 GB VRAM? Die GPU übernimmt die ersten 40 GB, der Rest geht in den RAM. Das funktioniert, ist aber langsamer als reines GPU-Inference.
Empfehlung:
| Nutzung | RAM-Empfehlung |
|---|---|
| Nur GPU-Inference, kleine Modelle | 16 GB reicht |
| GPU + gelegentlich CPU-Fallback | 32 GB empfohlen |
| Große Modelle, Multi-Modell-Setups | 64 GB |
| 70B-Modelle teilweise im RAM | 64-128 GB |
DDR4 vs. DDR5: Für LLM-Inference macht DDR5 einen messbaren, aber keinen dramatischen Unterschied. Wenn du ohnehin ein neues System baust, nimm DDR5. Wenn du ein bestehendes DDR4-System aufrüstest, bleib bei DDR4 — investier das Geld lieber in mehr VRAM.
CPU — weniger wichtig als du denkst
Die CPU ist bei lokaler KI selten der Flaschenhals. Du brauchst:
- AVX2-Support — das hat jede CPU seit ~2015 (Intel Haswell, AMD Zen)
- Genügend Kerne für Nebenaufgaben — Docker, Open WebUI, Embedding-Modelle
- Wenn CPU-Inference: schnelle Kerne und viele Threads helfen
Konkret: Ein AMD Ryzen 5 5600X oder Intel Core i5-12400 reicht für die meisten lokalen KI-Setups. Wenn du gleichzeitig Docker-Container, Embedding-Modelle und ein LLM betreibst, greif zu einem 8-Kerner wie dem Ryzen 7 7700X.
Kein Flaschenhals-Upgrade: Wenn dein LLM langsam ist, liegt es fast nie an der CPU. Check erst VRAM, dann RAM, dann SSD — bevor du die CPU verdächtigst.
SSD — Modelle brauchen Platz
LLM-Dateien sind groß. Ein 7B-Modell in Q4 belegt 4-5 GB, ein 70B-Modell in Q4 belegt 40 GB. Wenn du fünf oder sechs Modelle lokal vorhälst, bist du schnell bei 100-200 GB.
Empfehlung:
- Mindestens 500 GB SSD — davon 200 GB für Modelle einplanen
- NVMe Gen3 oder besser — keine SATA-SSD, die Ladezeiten beim Modellwechsel sind sonst spürbar
- Modelle liegen standardmäßig in
~/.ollama/models/bzw.~/.cache/lm-studio/models/
Tipp: Wenn du eine kleinere System-SSD hast, kannst du den Ollama-Modelordner per Symlink auf eine zweite, größere SSD umleiten:
# Ollama-Modelle auf separate SSD verschieben
sudo mv ~/.ollama/models /mnt/data-ssd/ollama-models
ln -s /mnt/data-ssd/ollama-models ~/.ollama/modelsApple Silicon — der Sonderfall
Apples M-Chips (M1, M2, M3, M4) haben eine Besonderheit: Unified Memory. GPU und CPU teilen sich den Arbeitsspeicher. Das bedeutet: Wenn dein MacBook 32 GB RAM hat, kann die GPU theoretisch alle 32 GB als VRAM nutzen.
Das macht Apple Silicon überraschend gut für lokale KI:
| Mac-Konfiguration | Nutzbare Modelle |
|---|---|
| M1/M2 mit 8 GB | 7B (Q4) — eng, aber machbar |
| M1/M2/M3 mit 16 GB | 7B (Q8) oder 13B (Q4) — brauchbar |
| M2/M3/M4 mit 32 GB | 13B (Q6) oder 30B (Q4) — komfortabel |
| M2/M3/M4 mit 64 GB | 30B (Q6) oder 70B (Q4) — flüssig |
| M2/M3/M4 Ultra mit 96-192 GB | 70B (Q8) oder mehrere Modelle parallel |
Vorteile:
- Kein separates GPU-Budget — der Speicher ist schon da
- Energieeffizient — kein 450W-Netzteil nötig
- Ollama und LM Studio laufen nativ via Metal
- Leise — kein GPU-Lüfter, der unter Last aufheult
Nachteile:
- RAM ist nicht aufrüstbar — was du kaufst, ist fix
- Pro GB RAM zahlst du deutlich mehr als bei einem PC
- Performance pro GB ist langsamer als dediziertes VRAM (Metal vs. CUDA)
- Mac Studio mit 64 GB kostet ~3.000 € — für das Geld baust du einen PC mit RTX 4090 und 64 GB DDR5
Meine Einschätzung: Wenn du sowieso einen Mac hast, nutz ihn. Apple Silicon ist gut genug für 7B-13B-Modelle, und mit 32 GB RAM bist du überraschend flexibel. Aber einen Mac nur für lokale KI kaufen? Da bekommst du für das gleiche Geld einen deutlich leistungsfähigeren PC.
Drei fertige Setups nach Budget
Setup 1: Budget-Einstieg (~600 €)
| Komponente | Empfehlung | Preis |
|---|---|---|
| GPU | RTX 3060 12 GB (gebraucht) | ~250 € |
| CPU | AMD Ryzen 5 5600X | ~100 € |
| RAM | 32 GB DDR4-3200 | ~60 € |
| SSD | 1 TB NVMe Gen3 | ~60 € |
| Mainboard | B550 (gebraucht) | ~70 € |
| Netzteil | 550W 80+ Bronze | ~50 € |
| Gesamt | ~590 € |
Was läuft: 7B-Modelle flüssig, 13B-Modelle brauchbar. Ideal zum Ausprobieren und für kleinere Projekte.
Setup 2: Solide Mittelklasse (~1.200 €)
| Komponente | Empfehlung | Preis |
|---|---|---|
| GPU | RTX 4070 Ti Super 16 GB | ~600 € |
| CPU | AMD Ryzen 5 7600 | ~180 € |
| RAM | 32 GB DDR5-5600 | ~80 € |
| SSD | 2 TB NVMe Gen4 | ~100 € |
| Mainboard | B650 | ~120 € |
| Netzteil | 750W 80+ Gold | ~80 € |
| Gesamt | ~1.160 € |
Was läuft: 13B-Modelle in hoher Qualität, Mistral Small 22B, erste Experimente mit 30B. Der Sweet-Spot für die meisten Anwender.
Setup 3: High-End (~2.000 €)
| Komponente | Empfehlung | Preis |
|---|---|---|
| GPU | AMD RX 7900 XTX 24 GB | ~900 € |
| CPU | AMD Ryzen 7 7700X | ~250 € |
| RAM | 64 GB DDR5-5600 | ~150 € |
| SSD | 2 TB NVMe Gen4 | ~100 € |
| Mainboard | B650 | ~120 € |
| Netzteil | 850W 80+ Gold | ~100 € |
| Gesamt | ~1.620 € |
Was läuft: 32B-Modelle komfortabel, 70B in Q4 (eng). Mein eigener Build ist ähnlich konfiguriert — hier die Details.
NVIDIA-Alternative: Ersetze die RX 7900 XTX durch eine RTX 4090 (~1.600 €), dann bist du bei ~2.300 € Gesamtpreis. Gleich viel VRAM, breitere Software-Kompatibilität, aber 700 € mehr.
Die Kurzfassung für Eilige
- VRAM entscheidet, welche Modelle laufen. Kauf so viel VRAM, wie du dir leisten kannst.
- 12 GB VRAM ist das Minimum für sinnvolles Arbeiten (7B und 13B).
- 24 GB VRAM ist der Sweet-Spot (32B komfortabel, 70B knapp).
- 32 GB RAM ist für die meisten Setups ausreichend.
- NVIDIA ist einfacher, AMD ist günstiger pro GB VRAM.
- Apple Silicon funktioniert überraschend gut — wenn du schon einen Mac hast.
Weiter geht’s: Ollama oder LM Studio? erklärt dir, welches Tool du für deine neue Hardware brauchst. Und in der nächsten Folge zeige ich dir, wie du deine eigenen Dokumente offline durchsuchbar machst — mit RAG, komplett lokal.
Die Lokale-KI-Serie
Dieser Artikel ist Teil meiner Serie über lokale KI:
- Was ist lokale KI? — Grundlagen und warum das Thema wichtig ist
- LM Studio einrichten — Schritt-für-Schritt dein erstes lokales LLM
- Dein eigenes ChatGPT lokal — Open WebUI + Ollama als komplettes Setup
- Ollama oder LM Studio? — Der ehrliche Vergleich
- Llama vs. Qwen vs. Mistral — Welches Modell für welchen Zweck
- Dokumente offline durchsuchen — RAG lokal: deine Dokumente als KI-Wissensquelle
Häufige Fragen
Wie viel VRAM brauche ich für lokale KI?
Das hängt von der Modellgröße ab. 8 GB VRAM reichen für 7B-Modelle in 4-Bit-Quantisierung. 12 GB für 13B-Modelle. 16 GB für 13B in höherer Qualität oder kleine 30B-Modelle. 24 GB VRAM sind der Sweet-Spot — damit laufen 30B-Modelle komfortabel und 70B-Modelle gerade noch.
Kann ich lokale KI ohne GPU nutzen?
Ja, aber langsam. LLMs laufen auch im CPU-Modus über den System-RAM. Ein 7B-Modell erreicht auf einer modernen CPU etwa 5-8 Tokens pro Sekunde — nutzbar, aber deutlich langsamer als GPU-Inference. Für alles über 13B wird CPU-only unpraktisch.
Ist NVIDIA oder AMD besser für lokale LLMs?
NVIDIA hat mit CUDA das ausgereiftere Ökosystem — alle Tools unterstützen es sofort. AMD hat mit ROCm unter Linux aufgeholt und bietet mit der RX 7900 XTX 24 GB VRAM zum halben Preis einer RTX 4090. Für reines LLM-Inference sind beide gut, aber NVIDIA ist breiter unterstützt.
Reicht ein MacBook für lokale KI?
Apple Silicon (M1/M2/M3/M4) ist erstaunlich gut für lokale LLMs, weil GPU und CPU sich den Arbeitsspeicher teilen (Unified Memory). Ein MacBook mit 16 GB RAM kann 7B-Modelle flüssig betreiben, mit 32 GB laufen 13B-Modelle gut. Für 70B brauchst du aber 64-96 GB — das gibt es nur im Mac Studio oder Mac Pro.
Wie viel SSD-Speicher brauche ich für lokale Modelle?
Rechne mit 5-50 GB pro Modell je nach Größe und Quantisierung. Ein 7B-Modell in Q4 braucht etwa 4 GB, ein 70B-Modell in Q4 etwa 40 GB. Wenn du mehrere Modelle lokal halten willst, plane 200-500 GB nur für Modelle ein.
Lohnt sich eine RTX 4090 für lokale KI?
Die RTX 4090 ist mit 24 GB VRAM die beste Consumer-GPU für lokale LLMs — aber sie kostet 1.600-1.800 €. Für die meisten Anwender ist eine RTX 4070 Ti Super (16 GB, ~600 €) oder eine AMD RX 7900 XTX (24 GB, ~900 €) das bessere Preis-Leistungs-Verhältnis.
Brauche ich eine bestimmte CPU für lokale KI?
Die CPU ist weniger wichtig als die GPU, aber sie sollte AVX2-Instruktionen unterstützen — das tut jede CPU seit ~2015. Für CPU-only-Inference oder wenn Teile des Modells in den RAM ausgelagert werden, hilft eine schnelle CPU mit vielen Kernen. Ein moderner Ryzen 5 oder Intel i5 reicht völlig.
