TL;DR — Lokale KI bedeutet: ein KI-Modell läuft auf deinem eigenen Rechner statt in der Cloud. Keine Daten verlassen dein Netzwerk. Kein Abo, keine API-Kosten pro Anfrage, volle Kontrolle. Dafür brauchst du passende Hardware, und die Modelle sind kleiner als die Top-Cloud-Modelle. In diesem Artikel erfährst du, was lokale KI genau ist, wie sie sich von ChatGPT und Claude unterscheidet, und für wen der Einstieg sinnvoll ist.
Was „lokale KI” bedeutet — und was nicht
Wenn du ChatGPT oder Claude nutzt, passiert Folgendes: Du tippst einen Prompt ein, der geht über das Internet an die Server von OpenAI oder Anthropic, dort verarbeitet ein riesiges Sprachmodell deine Anfrage, und die Antwort kommt zurück. Deine Daten verlassen dabei deinen Rechner und werden auf fremder Infrastruktur verarbeitet.
Lokale KI dreht das um. Du lädst ein Open-Source-Sprachmodell auf deinen Rechner herunter und führst es dort aus. Die Verarbeitung passiert komplett auf deiner Hardware — auf deiner GPU, in deinem RAM. Keine Internetverbindung nötig, keine Daten, die dein Netzwerk verlassen.
Konkret sieht das so aus: Du installierst eine Software wie Ollama oder LM Studio, lädst ein Modell wie Llama 3 oder Qwen 2.5 herunter (einmalig, braucht Internet), und danach hast du eine KI auf deinem Rechner, die du wie ChatGPT nutzen kannst — mit einem lokalen Chat-Interface, über eine API oder eingebunden in eigene Workflows.
Was lokale KI nicht ist
Ein paar Missverständnisse, die ich immer wieder höre:
- Lokale KI ist nicht dasselbe wie „KI ohne Internet”. Du brauchst Internet für den initialen Download des Modells. Danach läuft alles offline.
- Lokale KI heißt nicht „schlechtere KI”. Die Modelle sind kleiner als GPT-4o oder Claude Opus, aber für viele Alltagsaufgaben absolut ausreichend. Ein gutes 32B-Modell schreibt brauchbare E-Mails, fasst Dokumente zusammen und beantwortet Fachfragen solide.
- Lokale KI ist kein Self-Hosted-ChatGPT. Du bekommst kein fertig gehostetes Produkt mit Login-Screen und Nutzerverwaltung. Du bekommst ein Modell und eine Runtime — wie du es nutzt, liegt bei dir.
Cloud-KI vs. lokale KI: Der ehrliche Vergleich
Um die Entscheidung greifbar zu machen, hier der direkte Vergleich. Keine Marketing-Claims, sondern Realität aus meiner Nutzung beider Welten.
Was Cloud-KI besser kann
Modellqualität. Claude Opus, GPT-4o und Gemini Ultra sind die stärksten verfügbaren Modelle. Für komplexes Reasoning, sehr lange Dokumente (100.000+ Tokens Kontext) und multimodale Aufgaben (Bilder analysieren, PDFs verarbeiten) sind Cloud-Modelle aktuell überlegen. Kein lokales Open-Source-Modell erreicht dieses Niveau.
Null Setup. Du öffnest den Browser, loggst dich ein, tippst los. Keine Installation, keine GPU, keine Treiberprobleme.
Immer aktuell. Cloud-Modelle werden laufend verbessert. Wenn OpenAI ein neues Modell released, hast du es sofort. Bei lokaler KI musst du das neue Modell manuell herunterladen und einrichten.
Multimodalität. Bilder, Audio, Dokumente — Cloud-Modelle können oft mehr Eingabetypen verarbeiten als lokale Modelle.
Was lokale KI besser kann
Datenschutz und DSGVO. Das stärkste Argument. Wenn du Kundendaten, Mitarbeiterinformationen oder vertrauliche Geschäftsdokumente verarbeitest, verlassen diese Daten bei lokaler KI nie dein Netzwerk. Kein DPA nötig, kein Drittlandtransfer, kein Risiko durch Datenlecks beim Anbieter. Mehr zu den DSGVO-Aspekten findest du in DSGVO und KI: Was du wissen musst.
Keine laufenden Kosten. ChatGPT Plus kostet 20 Euro pro Monat, Claude Pro ebenfalls. API-Nutzung wird pro Token abgerechnet — bei intensiver Nutzung summiert sich das schnell. Lokale KI kostet einmalig die Hardware und den Strom. Für Unternehmen mit hohem Durchsatz (tausende Anfragen pro Tag) kann sich das schnell rechnen.
Offline-Nutzung. Im Flugzeug, in sicheren Umgebungen ohne Internet, in Netzwerken mit strikten Firewall-Regeln — lokale KI funktioniert überall, wo dein Rechner läuft.
Volle Kontrolle. Du bestimmst, welches Modell du nutzt, wie es konfiguriert ist, welche Daten es sieht und wie lange Logs gespeichert werden. Kein Anbieter kann die Terms of Service ändern, das Modell austauschen oder den Dienst abschalten.
Keine Zensur oder Guardrails. Cloud-Modelle haben eingebaute Sicherheitsfilter, die manchmal auch harmlose Anfragen blockieren. Lokale Modelle haben diese Filter nicht oder du kannst sie anpassen. Das ist ein Vorteil, wenn die Filter dich bei legitimen Aufgaben behindern, und eine Verantwortung, die du bewusst übernimmst.
Die ehrliche Tabelle
| Kriterium | Cloud-KI (ChatGPT, Claude) | Lokale KI (Ollama, LM Studio) |
|---|---|---|
| Modellqualität | Sehr hoch (GPT-4o, Claude Opus) | Gut bis sehr gut (7B–70B) |
| Datenschutz | Daten beim Anbieter | Daten bleiben lokal |
| Kosten | Abo oder Pay-per-Token | Einmalig Hardware + Strom |
| Setup | Sofort nutzbar | Installation nötig |
| Internet | Erforderlich | Nur für Download |
| Kontext-Länge | 128K–200K Tokens | 8K–128K (modellabhängig) |
| Multimodalität | Bilder, Audio, Dokumente | Meist nur Text |
| Verfügbarkeit | Abhängig vom Anbieter | Immer verfügbar |
| Kontrolle | Eingeschränkt | Vollständig |
Welche Hardware brauchst du?
Die Einstiegshürde für lokale KI ist nicht so hoch, wie viele denken. Du brauchst keinen 5.000-Euro-Rechner — aber ein alter Laptop mit 8 GB RAM wird auch keine Freude machen.
Minimum für den Einstieg:
- Ein PC mit mindestens 16 GB RAM
- Idealerweise eine GPU mit 8+ GB VRAM (NVIDIA RTX 3060 12GB, RTX 4060 8GB oder AMD RX 7600 8GB)
- 50 GB freier Festplattenspeicher für Modelle
Empfehlung für ernsthaften Einsatz:
- 32 GB RAM
- GPU mit 16–24 GB VRAM (RTX 4070 Ti Super 16GB, RTX 4090 24GB oder AMD RX 7900 XTX 24GB)
- NVMe-SSD mit mindestens 500 GB für mehrere Modelle
Die Faustregel: je mehr VRAM deine GPU hat, desto größere Modelle kannst du laden und desto schneller antwortet die KI. Auf der CPU läuft lokale KI auch — aber deutlich langsamer.
Eine detaillierte Hardware-Aufstellung findest du in KI-PC selber bauen. Wenn du erst einmal testen willst, ob lokale KI etwas für dich ist, reicht dein vorhandener Rechner für kleinere 7B-Modelle oft aus.
Für wen ist lokale KI sinnvoll?
Nicht jeder braucht lokale KI. Hier eine ehrliche Einordnung, für wen es sich lohnt und für wen Cloud-KI die bessere Wahl ist.
Lokale KI lohnt sich für dich, wenn du …
… mit sensiblen Daten arbeitest. Steuerberater, Anwälte, Ärzte, HR-Abteilungen — überall dort, wo personenbezogene oder vertrauliche Daten verarbeitet werden, ist lokale KI die sicherere Wahl. Keine Daten verlassen dein Netzwerk, kein DPA-Aufwand mit Cloud-Anbietern.
… DSGVO-Konformität brauchst. Wenn du als Unternehmen KI-Tools einführen willst und die DSGVO-Fragen noch nicht geklärt sind, ist lokale KI der sauberste Weg. Lies dazu auch Ist ChatGPT DSGVO-konform? für den konkreten Vergleich.
… hohen Durchsatz hast. Wenn du tausende Anfragen pro Tag verarbeitest — E-Mail-Klassifizierung, Dokument-Tagging, automatische Zusammenfassungen — sind API-Kosten erheblich. Lokale KI kostet nach der Anschaffung nur noch Strom.
… als Entwickler KI-Anwendungen baust. Für Prototyping, Agent-Pipelines und lokale Development-Umgebungen ist ein lokales LLM ideal. Du kannst testen, ohne API-Kosten zu produzieren, und bist nicht von der Verfügbarkeit eines Cloud-Dienstes abhängig.
… offline arbeiten musst. Militärische Umgebungen, abgeschottete Firmennetzwerke, Reisen ohne stabiles Internet — lokale KI funktioniert ohne Netzverbindung.
Cloud-KI ist besser für dich, wenn du …
… maximale Qualität brauchst. Für komplexe Analysen, kreative Aufgaben auf höchstem Niveau oder sehr lange Dokumente sind Claude Opus und GPT-4o aktuell unerreicht.
… schnell starten willst. Wenn du keine Lust auf Installation, Hardware-Shopping und Terminal-Befehle hast, ist ein ChatGPT- oder Claude-Abo in fünf Minuten einsatzbereit.
… gelegentlich nutzt. Bei ein paar Anfragen pro Tag ist ein 20-Euro-Abo günstiger als ein 2.000-Euro-PC.
Die beste Strategie: Hybrid
In der Praxis nutze ich beides. Sensible Kundendaten gehen durch lokale Modelle. Für kreative Aufgaben, komplexes Reasoning und lange Dokumente nutze ich Claude. Das ist kein Entweder-Oder — es ist ein Sowohl-Als-Auch.
Wie der Einstieg aussieht
Wenn du jetzt neugierig bist und lokale KI ausprobieren willst, brauchst du drei Dinge:
- Einen Rechner mit passender Hardware — dein vorhandener PC reicht oft für den Einstieg.
- Eine Runtime — Software, die das Modell auf deinem Rechner ausführt. Die beiden beliebtesten: Ollama (Terminal-basiert, ideal für Entwickler) und LM Studio (grafische Oberfläche, ideal für den Einstieg).
- Ein Modell — du wählst ein Open-Source-Modell und lädst es herunter. Für den Anfang empfehle ich Llama 3.1 8B oder Phi-4 14B.
Den kompletten Weg vom Download bis zum ersten Chat zeige ich dir in Baue dein eigenes ChatGPT — das ist der praktische Einstieg, Schritt für Schritt.
Wie geht es weiter?
Dieser Artikel ist Teil einer 9-teiligen Serie über lokale KI. Hier ist der Überblick:
- Folge 1: Baue dein eigenes ChatGPT — der praktische Einstieg
- Folge 5: Ist ChatGPT DSGVO-konform? — DSGVO-Deep-Dive
- Folge 6: Was ist lokale KI? (dieser Artikel)
In den weiteren Folgen geht es um Hardware-Builds, Software-Vergleiche, Modell-Auswahl und praktische Anwendungsfälle. Wenn du Fragen hast oder ein bestimmtes Thema als nächstes sehen willst, schreib mir.
Zusammenfassung
Lokale KI ist kein Nischenthema mehr. Die Open-Source-Modelle sind gut genug für viele Alltagsaufgaben, die Hardware-Anforderungen sinken, und die Tools werden immer zugänglicher. Ob sich der Einstieg für dich lohnt, hängt von deinem Use-Case ab: sensible Daten, hoher Durchsatz oder Entwickler-Workflows machen lokale KI zum klaren Gewinn. Für gelegentliche Nutzung ohne Datenschutz-Anforderungen bleibt Cloud-KI der einfachere Weg.
Die gute Nachricht: du musst dich nicht entscheiden. Cloud und lokal ergänzen sich. Und der Einstieg in lokale KI ist einfacher, als du vielleicht denkst.
