TL;DR — AMD-GPUs sind eine ernsthafte Alternative zu NVIDIA für lokale KI. Die RX 7900 XTX bietet 24 GB VRAM zu einem Preis, der bei NVIDIA nur 16 GB kauft. Unter Linux mit ROCm erreichst du 70–85 % der NVIDIA-Performance, unter Windows mit Vulkan etwas weniger. Für Inferenz — also Modelle ausführen statt trainieren — ist AMD eine lohnende Wahl.
Die CUDA-Frage: Warum alle NVIDIA sagen — und warum das nicht das ganze Bild ist
Wenn du dich mit lokaler KI beschäftigst, hörst du überall: „Nimm NVIDIA.” Das hat einen Grund: CUDA ist NVIDIAs proprietäre GPU-Computing-Plattform, und praktisch jedes KI-Framework wurde zuerst für CUDA entwickelt. PyTorch, TensorFlow, llama.cpp — die CUDA-Unterstützung ist am reifsten, am stabilsten, am besten dokumentiert.
AMD hat mit ROCm (Radeon Open Compute) eine Alternative. Die ist funktional, aber das Ökosystem ist kleiner, die Community ist kleiner, und manche Tools brauchen Extra-Konfiguration. Das ist der ehrliche Stand.
Aber: Für lokale KI als Endanwender — also Modelle herunterladen und ausführen, nicht trainieren — hat sich die Situation in den letzten 18 Monaten massiv verbessert. llama.cpp hat native Vulkan-Unterstützung, LM Studio und Ollama funktionieren mit AMD-GPUs, und ROCm unter Linux ist stabil geworden. Du musst nicht mehr basteln — es funktioniert.
Die entscheidende Frage ist nicht mehr „Geht AMD?”, sondern: Lohnt sich AMD für deinen Use Case?
Die RX 7900 XTX als KI-Karte: 24 GB VRAM für den Preis von 16 GB
Das Killer-Argument für AMD lässt sich in einer Zahl zusammenfassen: 24 GB VRAM.
Bei NVIDIA bekommst du 24 GB VRAM nur mit der RTX 4090 — die kostet je nach Marktlage 1.800–2.200 Euro. Die RTX 4070 Ti Super hat 16 GB VRAM für etwa 800–900 Euro. Die RX 7900 XTX bietet 24 GB VRAM für 900–1.100 Euro.
| Karte | VRAM | Straßenpreis (ca.) | Maximales Modell (Q4) |
|---|---|---|---|
| RTX 4060 | 8 GB | ~300 € | 7B |
| RTX 4070 | 12 GB | ~550 € | 14B |
| RX 7700 XT | 12 GB | ~400 € | 14B |
| RTX 4070 Ti Super | 16 GB | ~850 € | 14B Q8, 32B Q4 (knapp) |
| RX 7900 XTX | 24 GB | ~1.000 € | 70B Q4, 32B Q8 |
| RX 7900 XT | 20 GB | ~750 € | 32B Q5, 70B Q3 (knapp) |
| RTX 4090 | 24 GB | ~2.000 € | 70B Q4, 32B Q8 |
Der Unterschied zwischen 16 GB und 24 GB VRAM ist für lokale KI enorm. Mit 16 GB läuft ein 32B-Modell nur in Q4 und mit reduzierter Context Length. Mit 24 GB läuft Llama 3.3 70B Q4_K_M komplett auf der GPU — das ist ein anderes Qualitätsniveau.
Mein konkreter Fall: Ich habe die RX 7900 XTX in meinem KI-PC verbaut. Der Hauptgrund war genau dieses VRAM-Argument. Für den Preis einer RTX 4070 Ti Super bekomme ich 50 % mehr VRAM — und damit Zugang zu Modellen, die auf 16 GB schlicht nicht laufen.
Software-Setup: Drei Wege zum Ziel
Wie du deine AMD-GPU für lokale KI nutzt, hängt von deinem Betriebssystem ab. Es gibt drei praktische Wege:
Weg 1: LM Studio mit Vulkan (Windows und Linux)
Der einfachste Weg. LM Studio erkennt AMD-GPUs automatisch und nutzt das Vulkan-Backend für GPU-Beschleunigung.
Einrichtung:
- Installiere die aktuellen AMD-Treiber (Adrenalin Software)
- Installiere LM Studio — die GPU wird automatisch erkannt
- Lade ein Modell herunter und starte den Chat
Keine Konfiguration nötig. LM Studio zeigt oben rechts an, dass die Vulkan-GPU aktiv ist.
Performance: Vulkan ist langsamer als CUDA (NVIDIA) oder ROCm — etwa Faktor 1,3–1,5 bei der Inferenz-Geschwindigkeit. Für interaktives Chatten reicht das völlig. Für Agent-Pipelines mit hohem Durchsatz ist ROCm unter Linux besser.
Weg 2: Ollama mit ROCm (Linux)
Die performanteste Option für AMD. Ollama unterstützt ROCm nativ unter Linux.
Voraussetzungen:
- Linux (Ubuntu 22.04 oder 24.04 empfohlen)
- AMD-GPU der RDNA 3 Generation (RX 7000-Serie)
- ROCm 6.x oder neuer
Installation:
# 1. ROCm installieren (Ubuntu 22.04/24.04)
# Offizielle AMD-Anleitung: https://rocm.docs.amd.com
wget https://repo.radeon.com/amdgpu-install/latest/ubuntu/jammy/amdgpu-install_6.3.60300-1_all.deb
sudo apt install ./amdgpu-install_6.3.60300-1_all.deb
sudo amdgpu-install --usecase=rocm
# 2. Nutzer zur render-Gruppe hinzufügen
sudo usermod -a -G render,video $USER
# 3. Neustart
sudo reboot
# 4. Prüfen, ob ROCm die GPU erkennt
rocminfo | grep "Name:"
# 5. Ollama installieren
curl -fsSL https://ollama.com/install.sh | sh
# 6. Modell laden und testen
ollama pull llama3.1:8b
ollama run llama3.1:8bWenn rocminfo deine GPU korrekt anzeigt und Ollama beim Start keine Fehlermeldung bezüglich der GPU ausgibt, läuft alles.
Performance mit ROCm: Deutlich besser als Vulkan. In meinen Tests auf der RX 7900 XTX:
| Modell | Quantisierung | Speed (ROCm) | Vergleich RTX 4090 (CUDA) |
|---|---|---|---|
| Llama 3.1 8B | Q4_K_M | ~80 tok/s | ~110 tok/s |
| Qwen 2.5 14B | Q4_K_M | ~30 tok/s | ~45 tok/s |
| Qwen 2.5 32B | Q4_K_M | ~15 tok/s | ~20 tok/s |
| Llama 3.3 70B | Q4_K_M | ~7 tok/s | ~12 tok/s |
| Mistral Small 3 | Q4_K_M | ~25 tok/s | ~35 tok/s |
Das ist 65–75 % der RTX 4090-Performance — bei weniger als der Hälfte des Preises. Für Inferenz ein starkes Argument.
Weg 3: llama.cpp direkt kompilieren (Linux, fortgeschritten)
Für maximale Kontrolle kannst du llama.cpp direkt mit ROCm- oder Vulkan-Support kompilieren. Das ist der Weg, wenn du spezifische Optimierungen brauchst oder die allerneuesten Modell-Formate nutzen willst.
# llama.cpp mit ROCm-Support kompilieren
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
# ROCm-Backend
cmake -B build -DGGML_HIP=ON
cmake --build build --config Release -j$(nproc)
# Alternativ: Vulkan-Backend (funktioniert auch unter Windows)
cmake -B build -DGGML_VULKAN=ON
cmake --build build --config Release -j$(nproc)Dieser Weg ist nur sinnvoll, wenn du Ollama oder LM Studio aus irgendeinem Grund nicht nutzen kannst oder willst. Für die meisten Anwender ist Weg 1 oder 2 der richtige.
Welche Modelle laufen auf 24 GB VRAM?
Mit 24 GB VRAM hast du Zugang zu praktisch allen relevanten Open-Source-Modellen. Hier eine realistische Übersicht:
| Modell | Quantisierung | VRAM-Verbrauch | Läuft? | Context Length |
|---|---|---|---|---|
| Llama 3.1 8B | Q4_K_M | ~5 GB | Problemlos | 8192+ |
| Qwen 2.5 14B | Q4_K_M | ~9 GB | Problemlos | 8192+ |
| Mistral Small 3 (22B) | Q4_K_M | ~13 GB | Problemlos | 8192+ |
| Qwen 2.5 32B | Q4_K_M | ~20 GB | Ja, mit Puffer | 4096–8192 |
| Qwen 2.5 32B | Q5_K_M | ~22 GB | Knapp, läuft | 4096 |
| Llama 3.3 70B | Q4_K_M | ~40 GB | Teilweise* | 2048–4096 |
*Llama 3.3 70B Q4 braucht ~40 GB — auf 24 GB VRAM geht das nur mit partiellem CPU-Offloading. Etwa 60 % der Layer auf der GPU, der Rest auf der CPU. Das kostet Speed, funktioniert aber.
Mein Alltags-Setup mit der RX 7900 XTX:
- Qwen 2.5 32B Q4_K_M ist mein meistgenutztes Modell — läuft komplett auf der GPU mit 4K Context, ~15 tok/s
- Llama 3.3 70B Q4_K_M nutze ich für anspruchsvolle Aufgaben, akzeptiere die ~7 tok/s
- Llama 3.1 8B für schnelle Tests und Prompt-Debugging, ~80 tok/s
Details zu den Stärken der einzelnen Modelle findest du im Modellvergleich: Llama vs. Qwen vs. Mistral.
Performance-Vergleich: AMD vs. NVIDIA — ehrliche Zahlen
Lass uns die Elefanten im Raum ansprechen. AMD ist langsamer als NVIDIA bei lokaler KI-Inferenz. Die Frage ist: wie viel langsamer?
Vergleich RX 7900 XTX (ROCm) vs. RTX 4090 (CUDA) — Llama 3.1 8B Q4_K_M:
| Metrik | RX 7900 XTX | RTX 4090 |
|---|---|---|
| Tokens/Sekunde | ~80 | ~110 |
| Time-to-First-Token | ~0,4 s | ~0,3 s |
| VRAM-Nutzung | ~5 GB | ~5 GB |
| Preis (ca.) | 1.000 € | 2.000 € |
| Tok/s pro Euro | 0,08 | 0,055 |
Die RX 7900 XTX liefert pro investiertem Euro mehr Tokens pro Sekunde als die RTX 4090. Absolute Geschwindigkeit gewinnt NVIDIA, Preis-Leistung gewinnt AMD.
Vergleich bei 32B-Modellen (Qwen 2.5 32B Q4):
| Metrik | RX 7900 XTX | RTX 4090 |
|---|---|---|
| Tokens/Sekunde | ~15 | ~20 |
| Modell passt in VRAM? | Ja (20/24 GB) | Ja (20/24 GB) |
Bei 32B-Modellen schrumpft der Abstand, weil der Bottleneck zunehmend der Speicherbandbreite liegt — und da sind beide Karten ähnlich.
Vergleich RX 7900 XTX vs. RTX 4070 Ti Super (der fairere Preisvergleich):
| Metrik | RX 7900 XTX | RTX 4070 Ti Super |
|---|---|---|
| VRAM | 24 GB | 16 GB |
| Preis (ca.) | 1.000 € | 850 € |
| Llama 3.3 70B Q4 | Ja (mit CPU-Offload) | Nein |
| Qwen 2.5 32B Q4 | Ja, komplett GPU | Nein (zu groß) |
| Qwen 2.5 14B Q4 Tok/s | ~30 | ~40 |
Hier zeigt sich der wahre Vorteil: Die RX 7900 XTX kann Modelle ausführen, die auf der RTX 4070 Ti Super schlicht nicht passen. Das ist kein Performance-Unterschied — das ist ein Funktionalitäts-Unterschied.
Tipps und Fallstricke
Treiber unter Linux
ROCm-Installation unter Linux kann frustrierend sein, wenn die Kernel-Version nicht passt. Halte dich an diese Kombination:
- Ubuntu 22.04 LTS mit dem Standard-Kernel (5.15 oder 6.5 HWE)
- ROCm 6.x (aktuellste Version)
- Kernel-Update zuerst, dann ROCm installieren
Nach einem Kernel-Update musst du ROCm oft neu installieren. Das ist lästig, aber ein einmaliger Aufwand pro Update.
# Prüfe, ob ROCm nach einem Kernel-Update noch funktioniert
rocminfo | grep "gfx"
# Sollte "gfx1100" für RX 7900 XTX zeigenWindows: Vulkan statt ROCm
Unter Windows gibt es kein ROCm. LM Studio und Ollama nutzen das Vulkan-Backend, das langsamer ist als ROCm. Rechne mit Faktor 1,3–1,5 weniger Tokens/Sekunde im Vergleich zu Linux.
Falls du Windows nutzen musst, aber mehr Performance willst: WSL2 mit ROCm funktioniert inzwischen experimentell. Die Einrichtung ist allerdings aufwändiger als ein natives Linux-Setup, und die Stabilität variiert.
VRAM-Management
AMD-GPUs teilen sich den VRAM-Zugriff anders als NVIDIA. Praktisch heißt das:
- Schließe Browser und andere GPU-intensive Anwendungen, bevor du ein großes Modell lädst. Chromium-basierte Browser können 1–2 GB VRAM belegen.
- Überprüfe die tatsächliche VRAM-Nutzung mit
rocm-smi(Linux) oder dem Task-Manager (Windows, Reiter „Leistung” → GPU). - Wenn ein Modell nicht laden will, obwohl genug VRAM frei sein sollte: Starte die Anwendung neu. Manche Tools cachen VRAM-Chunks, die nicht sauber freigegeben werden.
# Linux: Aktuelle VRAM-Nutzung anzeigen
rocm-smi --showmeminfo vramKompatibilitäts-Checkliste
Bevor du eine AMD-GPU für lokale KI kaufst, prüfe:
- RDNA 3 (RX 7000-Serie) — ältere Generationen haben eingeschränkten ROCm-Support
- LM Studio — aktuelle Version prüfen, AMD-Support ist seit Version 0.3.x stabil
- Ollama — ROCm-Support seit Version 0.1.29, funktioniert gut
- Linux bevorzugt, wenn maximale Performance gewünscht
- Netzteil — RX 7900 XTX braucht unter Last bis 355 Watt, 850W-Netzteil empfohlen
Zukunftsaussichten: Wird AMD besser?
Die kurze Antwort: Ja, aber langsam.
Was sich verbessert:
- ROCm wird mit jeder Version stabiler und performanter
- llama.cpp verbessert den Vulkan- und HIP-Backend kontinuierlich
- LM Studio und Ollama investieren aktiv in AMD-Unterstützung
- AMDs RDNA 4 Generation (2025/26) bringt verbesserte KI-Beschleuniger und potentiell mehr VRAM pro Karte
Was bleibt:
- CUDA ist und bleibt der Standard für KI-Training. Wenn du Modelle fine-tunen willst, ist NVIDIA deutlich praktikabler.
- Die Community rund um NVIDIA-KI ist 10x größer. Neue Optimierungen kommen zuerst für CUDA.
- Manche spezialisierte Tools (TensorRT, Triton) gibt es nur für NVIDIA.
Meine Einschätzung: Für Inferenz — Modelle lokal ausführen, chatten, in Workflows einbinden — ist AMD heute eine lohnende Wahl, besonders wenn VRAM pro Euro zählt. Für Training und Fine-Tuning würde ich weiterhin NVIDIA empfehlen.
Fazit: Für wen lohnt sich AMD?
AMD-GPUs lohnen sich für lokale KI, wenn:
- Du mehr VRAM brauchst als dein Budget bei NVIDIA hergibt
- Du primär Modelle ausführen willst (Inferenz), nicht trainieren
- Du bereit bist, unter Linux zu arbeiten (für maximale Performance)
- Du Wert auf Preis-Leistung legst und 70–85 % der NVIDIA-Speed akzeptierst
AMD-GPUs lohnen sich nicht, wenn:
- Du Modelle fine-tunen oder trainieren willst
- Du das einfachste Setup ohne Linux-Kenntnisse brauchst
- Du auf spezifische CUDA-only-Tools angewiesen bist
Für meinen Use Case — lokale LLMs für DSGVO-konforme Textverarbeitung, Code-Reviews und Agent-Pipelines — war die RX 7900 XTX die richtige Entscheidung. 24 GB VRAM für den Preis einer 16-GB-NVIDIA-Karte, und die Performance ist für Inferenz mehr als ausreichend.
Nächste Schritte
→ Hardware-Guide: KI-PC für lokale LLMs — Vollständige Komponentenliste für einen dedizierten KI-Rechner mit AMD-GPU.
Weitere Artikel in dieser Serie:
- Folge 1: Dein eigenes ChatGPT — Warum lokale KI? — Motivation und Überblick
- Folge 2: LM Studio in 10 Minuten einrichten — Schritt-für-Schritt-Tutorial
- Folge 3: Welches Modell? Llama vs. Qwen vs. Mistral — Modellvergleich und Empfehlungen
