Welche Hardware brauchst du für lokale KI? GPU, RAM & SSD ehrlich erklärt

TL;DR — Was du nach diesem Artikel weißt

• VRAM ist der Flaschenhals — eine Tabelle zeigt dir, welches Modell wie viel VRAM braucht.
• Drei GPU-Empfehlungen nach Budget: 250 €, 600 € und 900-1.600 €.
• NVIDIA vs. AMD — CUDA vs. ROCm, was das für dich bedeutet.
• RAM, CPU und SSD — was wirklich wichtig ist und was nicht.
• Apple Silicon — warum M-Chips überraschend gut für lokale KI sind.
• Drei fertige Setups für Budget, Mittelklasse und High-End.

Video

Folge 8: Welche Hardware brauchst du für lokale KI?

Die eine Zahl, die alles entscheidet: VRAM

Wenn du lokale KI betreiben willst, gibt es eine Kennzahl, die wichtiger ist als alle anderen: VRAM — der Arbeitsspeicher deiner Grafikkarte.

Warum? Ein LLM besteht aus Milliarden von Parametern. Jeder Parameter ist eine Zahl. Damit das Modell schnell antworten kann, müssen alle diese Zahlen in den GPU-Speicher passen. Passt das Modell nicht komplett in den VRAM, werden Teile in den System-RAM ausgelagert — und die Geschwindigkeit bricht ein, oft um Faktor 5-10.

Faustformel: Ein Modell mit X Milliarden Parametern in 4-Bit-Quantisierung braucht ungefähr X × 0,6 GB VRAM. Ein 7B-Modell braucht also ~4,2 GB, ein 13B-Modell ~7,8 GB, ein 70B-Modell ~42 GB.

Die VRAM-Tabelle — was läuft auf welcher GPU

Diese Tabelle ist die wichtigste in diesem Artikel. Druck sie dir aus, kleb sie an den Monitor, konsultiere sie vor jedem GPU-Kauf.

„Q4_K_M” erklärt: Quantisierung komprimiert Modell-Parameter von 16-Bit auf weniger Bits. Q4 bedeutet 4-Bit — der Sweet-Spot zwischen Qualität und Speicherbedarf. Q8 ist 8-Bit (besser, braucht mehr VRAM), Q3 ist 3-Bit (kleiner, aber merklich schlechter). K_M steht für die Quantisierungsmethode — du musst die Details nicht kennen, „Q4_K_M” ist fast immer die richtige Wahl.

Was „tok/s” bedeutet: Tokens pro Sekunde, grob übersetzt: Wörter pro Sekunde. ChatGPT antwortet mit etwa 30 tok/s — das fühlt sich flüssig an. Alles über 10 tok/s ist brauchbar, unter 5 tok/s wird es zäh.

NVIDIA vs. AMD — die GPU-Frage

NVIDIA: Der sichere Standard

NVIDIA-GPUs nutzen CUDA — ein Software-Ökosystem, das seit über 15 Jahren entwickelt wird. Jedes KI-Tool, jedes Framework, jede Bibliothek unterstützt CUDA. Wenn etwas nicht funktioniert, findest du innerhalb von zwei Minuten eine Lösung auf Stack Overflow.

Vorteile:

• Universelle Kompatibilität — alles funktioniert sofort
• Große Community und Dokumentation
• cuDNN, TensorRT und andere optimierte Bibliotheken
• Stabile Treiber auf allen Plattformen

Nachteile:

• Teuer — du zahlst einen NVIDIA-Aufschlag von 30-50 %
• VRAM pro Euro ist schlechter als bei AMD

AMD: Mehr VRAM fürs Geld

AMD-GPUs nutzen ROCm unter Linux. Das Ökosystem ist jünger und hat Lücken, aber für LLM-Inference mit Ollama und llama.cpp funktioniert es mittlerweile solide.

Vorteile:

• Mehr VRAM pro Euro — die RX 7900 XTX bietet 24 GB für ~900 €
• Gute Performance bei LLM-Inference unter Linux
• Ollama unterstützt ROCm offiziell

Nachteile:

• Unter Windows ist ROCm nicht verfügbar — dort läuft AMD via DirectML oder Vulkan, deutlich langsamer
• Manche Tools unterstützen nur NVIDIA (z.B. bestimmte Embedding-Modelle, TTS-Frameworks)
• Treiber-Setup unter Linux kann frickelig sein

Meine Erfahrung: Ich nutze selbst eine AMD RX 7900 XTX mit 24 GB VRAM unter Linux. Ollama mit ROCm läuft stabil, die Performance ist nah an NVIDIA. Aber ich habe zwei Nachmittage mit Treiber-Setup verbracht. Wenn du Linux-Erfahrung hast und VRAM pro Euro maximieren willst, ist AMD eine echte Option. Wenn du einfach willst, dass alles funktioniert, nimm NVIDIA.

Konkrete GPU-Empfehlungen nach Budget

Budget: ~250 € — RTX 3060 12 GB

Die NVIDIA RTX 3060 12 GB ist gebraucht für 200-250 € zu haben und bietet überraschend viel für lokale KI:

• 12 GB VRAM — reicht für 7B-Modelle komfortabel und 13B-Modelle in Q4
• CUDA-Support — alles funktioniert out of the box
• Stromsparend — 170W TDP

Einschränkung: Für Modelle über 13B wird es eng. Aber wenn du mit Llama 3.2 8B, Qwen 2.5 7B oder Phi-4 arbeitest, ist das ein hervorragender Einstieg.

Mittelklasse: ~600 € — RTX 4070 Ti Super 16 GB

Die RTX 4070 Ti Super ist mein Preis-Leistungs-Tipp für NVIDIA:

• 16 GB VRAM — 13B-Modelle in hoher Qualität (Q5/Q6), Mistral Small 22B in Q4
• Aktuelle Ada-Lovelace-Architektur — bessere Effizienz pro Watt
• 285W TDP — vertretbar
• Neupreis ca. 600-650 €

Der Kandidat für alle, die nicht basteln wollen — einstecken, Treiber installieren, Ollama starten, läuft.

High-End NVIDIA: ~1.600 € — RTX 4090 24 GB

Die RTX 4090 ist die beste Consumer-GPU für lokale KI:

• 24 GB VRAM — Qwen 2.5 32B komfortabel, Llama 3.3 70B in Q4 (knapp)
• Schnellste CUDA-Kerne der Consumer-Klasse
• 450W TDP — braucht ein ordentliches Netzteil

Lohnt sich, wenn: Du 30B+ Modelle regelmäßig nutzt und nicht auf Linux/AMD wechseln willst.

High-End AMD: ~900 € — RX 7900 XTX 24 GB

Die AMD RX 7900 XTX ist das VRAM-Monster zum halben 4090-Preis:

• 24 GB VRAM — gleich viel wie die RTX 4090
• ~900 € — fast die Hälfte des 4090-Preises
• Unter Linux mit ROCm: solide LLM-Performance
• 355W TDP

Lohnt sich, wenn: Du Linux nutzt (oder nutzen willst) und VRAM maximieren willst. Mein eigener Build basiert auf dieser GPU.

RAM — wie viel System-Arbeitsspeicher brauchst du?

RAM ist nicht VRAM. VRAM sitzt auf der Grafikkarte, RAM auf dem Mainboard. Für lokale KI ist RAM aus zwei Gründen wichtig:

1. CPU-Inference. Wenn du kein GPU hast oder ein Modell nicht in den VRAM passt, läuft es im CPU-Modus über den System-RAM. Dann brauchst du so viel RAM wie das Modell groß ist, plus Overhead.

2. Hybrid-Inference. Ollama kann ein Modell teilweise auf der GPU und teilweise im RAM laufen lassen. 70B-Modell mit 24 GB VRAM? Die GPU übernimmt die ersten 40 GB, der Rest geht in den RAM. Das funktioniert, ist aber langsamer als reines GPU-Inference.

Empfehlung:

DDR4 vs. DDR5: Für LLM-Inference macht DDR5 einen messbaren, aber keinen dramatischen Unterschied. Wenn du ohnehin ein neues System baust, nimm DDR5. Wenn du ein bestehendes DDR4-System aufrüstest, bleib bei DDR4 — investier das Geld lieber in mehr VRAM.

CPU — weniger wichtig als du denkst

Die CPU ist bei lokaler KI selten der Flaschenhals. Du brauchst:

• AVX2-Support — das hat jede CPU seit ~2015 (Intel Haswell, AMD Zen)
• Genügend Kerne für Nebenaufgaben — Docker, Open WebUI, Embedding-Modelle
• Wenn CPU-Inference: schnelle Kerne und viele Threads helfen

Konkret: Ein AMD Ryzen 5 5600X oder Intel Core i5-12400 reicht für die meisten lokalen KI-Setups. Wenn du gleichzeitig Docker-Container, Embedding-Modelle und ein LLM betreibst, greif zu einem 8-Kerner wie dem Ryzen 7 7700X.

Kein Flaschenhals-Upgrade: Wenn dein LLM langsam ist, liegt es fast nie an der CPU. Check erst VRAM, dann RAM, dann SSD — bevor du die CPU verdächtigst.

SSD — Modelle brauchen Platz

LLM-Dateien sind groß. Ein 7B-Modell in Q4 belegt 4-5 GB, ein 70B-Modell in Q4 belegt 40 GB. Wenn du fünf oder sechs Modelle lokal vorhälst, bist du schnell bei 100-200 GB.

Empfehlung:

• Mindestens 500 GB SSD — davon 200 GB für Modelle einplanen
• NVMe Gen3 oder besser — keine SATA-SSD, die Ladezeiten beim Modellwechsel sind sonst spürbar
• Modelle liegen standardmäßig in ~/.ollama/models/ bzw. ~/.cache/lm-studio/models/

Tipp: Wenn du eine kleinere System-SSD hast, kannst du den Ollama-Modelordner per Symlink auf eine zweite, größere SSD umleiten:

# Ollama-Modelle auf separate SSD verschieben
sudo mv ~/.ollama/models /mnt/data-ssd/ollama-models
ln -s /mnt/data-ssd/ollama-models ~/.ollama/models

Apple Silicon — der Sonderfall

Apples M-Chips (M1, M2, M3, M4) haben eine Besonderheit: Unified Memory. GPU und CPU teilen sich den Arbeitsspeicher. Das bedeutet: Wenn dein MacBook 32 GB RAM hat, kann die GPU theoretisch alle 32 GB als VRAM nutzen.

Das macht Apple Silicon überraschend gut für lokale KI:

Vorteile:

• Kein separates GPU-Budget — der Speicher ist schon da
• Energieeffizient — kein 450W-Netzteil nötig
• Ollama und LM Studio laufen nativ via Metal
• Leise — kein GPU-Lüfter, der unter Last aufheult

Nachteile:

• RAM ist nicht aufrüstbar — was du kaufst, ist fix
• Pro GB RAM zahlst du deutlich mehr als bei einem PC
• Performance pro GB ist langsamer als dediziertes VRAM (Metal vs. CUDA)
• Mac Studio mit 64 GB kostet ~3.000 € — für das Geld baust du einen PC mit RTX 4090 und 64 GB DDR5

Meine Einschätzung: Wenn du sowieso einen Mac hast, nutz ihn. Apple Silicon ist gut genug für 7B-13B-Modelle, und mit 32 GB RAM bist du überraschend flexibel. Aber einen Mac nur für lokale KI kaufen? Da bekommst du für das gleiche Geld einen deutlich leistungsfähigeren PC.

Drei fertige Setups nach Budget

Setup 1: Budget-Einstieg (~600 €)

Was läuft: 7B-Modelle flüssig, 13B-Modelle brauchbar. Ideal zum Ausprobieren und für kleinere Projekte.

Setup 2: Solide Mittelklasse (~1.200 €)

Was läuft: 13B-Modelle in hoher Qualität, Mistral Small 22B, erste Experimente mit 30B. Der Sweet-Spot für die meisten Anwender.

Setup 3: High-End (~2.000 €)

Was läuft: 32B-Modelle komfortabel, 70B in Q4 (eng). Mein eigener Build ist ähnlich konfiguriert — hier die Details.

NVIDIA-Alternative: Ersetze die RX 7900 XTX durch eine RTX 4090 (~1.600 €), dann bist du bei ~2.300 € Gesamtpreis. Gleich viel VRAM, breitere Software-Kompatibilität, aber 700 € mehr.

Die Kurzfassung für Eilige

1. VRAM entscheidet, welche Modelle laufen. Kauf so viel VRAM, wie du dir leisten kannst.
2. 12 GB VRAM ist das Minimum für sinnvolles Arbeiten (7B und 13B).
3. 24 GB VRAM ist der Sweet-Spot (32B komfortabel, 70B knapp).
4. 32 GB RAM ist für die meisten Setups ausreichend.
5. NVIDIA ist einfacher, AMD ist günstiger pro GB VRAM.
6. Apple Silicon funktioniert überraschend gut — wenn du schon einen Mac hast.

Weiter geht’s: Ollama oder LM Studio? erklärt dir, welches Tool du für deine neue Hardware brauchst. Und in der nächsten Folge zeige ich dir, wie du deine eigenen Dokumente offline durchsuchbar machst — mit RAG, komplett lokal.

Die Lokale-KI-Serie

Dieser Artikel ist Teil meiner Serie über lokale KI:

• Was ist lokale KI? — Grundlagen und warum das Thema wichtig ist
• LM Studio einrichten — Schritt-für-Schritt dein erstes lokales LLM
• Dein eigenes ChatGPT lokal — Open WebUI + Ollama als komplettes Setup
• Ollama oder LM Studio? — Der ehrliche Vergleich
• Llama vs. Qwen vs. Mistral — Welches Modell für welchen Zweck
• Dokumente offline durchsuchen — RAG lokal: deine Dokumente als KI-Wissensquelle