Lokale KI: Baue dein eigenes ChatGPT — Schritt für Schritt

TL;DR — Du kannst in 30 Minuten dein eigenes ChatGPT auf deinem Rechner bauen. Kostenlos, offline, DSGVO-konform. Du brauchst: einen halbwegs modernen PC, eine kostenlose Software (Ollama oder LM Studio) und ein Open-Source-Modell. Dieser Artikel zeigt dir den kompletten Weg — von „ich habe noch nie lokale KI benutzt” bis zum ersten Chat mit deinem eigenen Sprachmodell.

Video

Warum ein eigenes lokales ChatGPT?

Du nutzt ChatGPT oder Claude, zahlst 20 Euro im Monat, gibst deine Daten in eine Cloud, und wenn der Dienst mal down ist oder die Preise steigen, hast du keine Alternative. Das geht besser.

Ein lokales ChatGPT löst drei Probleme auf einmal:

Datenschutz. Deine Daten verlassen deinen Rechner nicht. Kein Cloud-Anbieter sieht deine Prompts, kein Modell trainiert auf deinen Eingaben. Für alle, die mit Kundendaten, Personaldaten oder vertraulichen Geschäftsinformationen arbeiten, ist das der wichtigste Grund. Warum das DSGVO-technisch so relevant ist, erkläre ich ausführlich in Was ist lokale KI? und Ist ChatGPT DSGVO-konform?.

Kosten. ChatGPT Plus: 20 Euro/Monat. Claude Pro: 20 Euro/Monat. API-Nutzung: je nach Volumen hunderte Euro pro Monat. Ein lokales Setup kostet nach der Erstinvestition in Hardware nur noch Strom — wenige Cent pro Stunde. Bei intensiver Nutzung amortisiert sich das schnell.

Unabhängigkeit. Kein Anbieter kann dir den Dienst abschalten, die Preise verdoppeln oder das Modell austauschen. Du hast dein Modell auf der Festplatte, du entscheidest, was damit passiert.

Der Weg im Überblick

Bevor wir ins Detail gehen, hier die vier Schritte auf einen Blick:

1. Hardware prüfen — hast du genug Rechenleistung?
2. Software installieren — Ollama oder LM Studio einrichten
3. Modell herunterladen — ein Open-Source-LLM auf deinen Rechner laden
4. Loslegen — den ersten Chat starten und ausprobieren

Das klingt nach viel, dauert aber in der Praxis 20-30 Minuten, wenn du eine brauchbare Internetverbindung hast (für den Modell-Download).

Schritt 1: Hardware prüfen

Du brauchst keinen Supercomputer. Aber es hilft zu wissen, was dein Rechner kann und welche Modelle darauf laufen.

Die zwei Wege: GPU und CPU

KI-Modelle können auf zwei Arten laufen:

GPU-Modus (schnell). Das Modell lädt in den Grafikspeicher (VRAM) deiner GPU. Das ist die empfohlene Methode — die Antworten kommen fast in Echtzeit. Voraussetzung: eine NVIDIA- oder AMD-GPU mit genug VRAM.

CPU-Modus (langsam, aber funktioniert). Wenn du keine passende GPU hast, läuft das Modell auf deiner CPU und nutzt den normalen Arbeitsspeicher (RAM). Die Antworten kommen deutlich langsamer — aber es funktioniert. Für den Einstieg und zum Ausprobieren absolut okay.

Was brauchst du konkret?

Tokens pro Sekunde kannst du grob als Wörter pro Sekunde verstehen. ChatGPT antwortet mit circa 30 tok/s — Lesegeschwindigkeit. Alles über 10 tok/s fühlt sich flüssig an. Unter 5 tok/s wird es zäh.

Konkrete GPU-Empfehlungen für den Einstieg:

• NVIDIA RTX 3060 12GB — Einstieg, gebraucht ab ~200 Euro. Reicht für 7B-13B Modelle.
• NVIDIA RTX 4060 Ti 16GB — Mittelklasse. 14B-Modelle laufen komfortabel.
• NVIDIA RTX 4070 Ti Super 16GB — gehobene Klasse. 32B-Modelle möglich.
• AMD RX 7900 XTX 24GB — Preis-Leistungs-Tipp für große Modelle.
• Apple M1/M2/M3/M4 MacBooks — Unified Memory ist VRAM. Ein MacBook Pro mit 32 GB nutzt alles für das Modell.

Du hast keine GPU? Kein Problem für den Einstieg. Installiere trotzdem Ollama oder LM Studio, lade ein 7B-Modell und probiere es auf der CPU. Es ist langsamer, aber du siehst sofort, ob lokale KI für dich funktioniert. Den Hardware-Upgrade kannst du danach planen.

Einen ausführlichen Hardware-Guide findest du in KI-PC selber bauen.

Schritt 2: Software installieren

Du brauchst eine Software, die das KI-Modell auf deinem Rechner ausführen kann. Die zwei etablierten Optionen:

Option A: LM Studio (empfohlen für Einsteiger)

LM Studio hat eine grafische Oberfläche, in der du Modelle herunterladen, konfigurieren und sofort chatten kannst. Kein Terminal nötig.

Installation:

1. Gehe auf lmstudio.ai
2. Lade die Version für dein Betriebssystem herunter (Windows, macOS, Linux)
3. Installiere die Anwendung
4. Starte LM Studio

Das war’s. LM Studio erkennt automatisch deine GPU und konfiguriert sich entsprechend.

Warum LM Studio für den Einstieg:

• Grafische Oberfläche — du siehst sofort, welche Modelle verfügbar sind
• Ein-Klick-Download von Modellen direkt aus der App
• Integrierter Chat — du kannst sofort loslegen
• Zeigt dir an, wie viel VRAM ein Modell braucht, bevor du es lädst
• Lokaler API-Server mit einem Klick — für spätere Integration in eigene Tools

Option B: Ollama (empfohlen für Entwickler)

Ollama ist ein Terminal-Tool. Du installierst es, lädst Modelle per Befehl und chattest im Terminal oder über eine API. Schlanker, schneller, besser für die Einbindung in eigene Workflows.

Installation:

Windows:

1. Gehe auf ollama.com
2. Lade den Windows-Installer herunter
3. Installiere und starte Ollama

macOS:

brew install ollama

Linux:

curl -fsSL https://ollama.com/install.sh | sh

Nach der Installation läuft Ollama als Hintergrunddienst und stellt automatisch eine lokale API unter http://localhost:11434 bereit.

Warum Ollama für Entwickler:

• Leichtgewichtig, läuft als Service im Hintergrund
• API-kompatibel mit der OpenAI-API — du kannst bestehende Tools umstellen
• Docker-Integration für Server-Deployments
• Einfache Modellverwaltung über die Kommandozeile

Einen ausführlichen Vergleich beider Tools findest du in LLM lokal installieren mit Ollama.

Schritt 3: Dein erstes Modell herunterladen

Jetzt brauchst du ein KI-Modell. Open-Source-Modelle sind kostenlos und frei verfügbar. Hier meine Empfehlungen je nach Hardware:

Für den Einstieg (8 GB VRAM oder CPU-only):

Llama 3.1 8B — Metas aktuelles Basismodell. Allrounder für Texte, Zusammenfassungen, einfache Fragen. 4,7 GB Download.

In Ollama:

ollama pull llama3.1

In LM Studio: Suche nach „Llama 3.1 8B” im Modell-Browser und klicke auf Download.

Für mehr Qualität (12-16 GB VRAM):

Phi-4 14B — Microsofts kompaktes Reasoning-Modell. Überraschend gut für seine Größe, besonders bei analytischen Aufgaben.

ollama pull phi4

Für beste lokale Qualität (24 GB VRAM):

Qwen 2.5 32B — Alibabas Modell, das in vielen Benchmarks mit deutlich größeren Modellen mithält. Meine aktuelle Empfehlung für den Sweet-Spot aus Qualität und Geschwindigkeit.

ollama pull qwen2.5:32b

Tipp: Lade für den Anfang Llama 3.1 8B herunter. Es ist klein, schnell und zeigt dir sofort, wie lokale KI sich anfühlt. Du kannst später jederzeit größere Modelle nachladen.

Schritt 4: Dein erster Chat

Mit Ollama

Öffne ein Terminal und tippe:

ollama run llama3.1

Das Modell wird geladen (dauert ein paar Sekunden) und du siehst einen Prompt. Tippe deine Frage ein und drücke Enter.

>>> Fasse mir die Vorteile von lokaler KI in drei Sätzen zusammen.

Lokale KI schützt deine Daten, weil nichts dein Netzwerk verlässt.
Du sparst laufende Kosten, weil nach dem Hardware-Kauf keine
Abo-Gebühren anfallen. Und du bist unabhängig von Cloud-Anbietern,
die Preise ändern oder Dienste abschalten können.

Fertig. Du chattest mit einer KI, die auf deinem Rechner läuft. Keine Cloud, keine Daten, die irgendwohin fließen.

Mit LM Studio

1. Öffne LM Studio
2. Gehe zum Tab „Chat”
3. Wähle oben das geladene Modell aus
4. Tippe deine Nachricht in das Eingabefeld
5. Klicke auf „Senden”

Du hast ein Chat-Interface, das aussieht und sich anfühlt wie ChatGPT — nur dass alles auf deinem Rechner passiert.

Was du jetzt ausprobieren kannst

Hier ein paar Prompts, um dein lokales Modell zu testen:

• Texte zusammenfassen: „Fasse folgenden Text in 5 Bulletpoints zusammen: [Text einfügen]”
• E-Mails formulieren: „Schreibe eine freundliche Absage für eine Projektanfrage, weil ich zeitlich ausgelastet bin.”
• Brainstorming: „Gib mir 10 Blog-Titel zum Thema KI-Automatisierung für Selbstständige.”
• Code schreiben: „Schreibe eine Python-Funktion, die eine CSV-Datei einliest und die Spaltennamen ausgibt.”
• Übersetzung: „Übersetze folgenden deutschen Text ins Englische: [Text einfügen]”

Bei all diesen Aufgaben wirst du feststellen: ein lokales 8B-Modell liefert brauchbare Ergebnisse. Nicht perfekt, nicht auf Claude-Opus-Niveau — aber für den Alltag oft ausreichend.

Was als Nächstes kommt

Du hast jetzt ein funktionierendes lokales ChatGPT. Das ist der Anfang. In den nächsten Folgen dieser Serie gehen wir tiefer:

• Hardware optimieren — KI-PC selber bauen zeigt dir den idealen Build
• Modelle vergleichen — welches Modell für welchen Zweck?
• Chat-Interface aufsetzen — grafische Oberflächen wie Open WebUI für ein richtiges Chat-Erlebnis mit Verlauf, Personas und Dokumenten-Upload
• In Workflows einbinden — lokale KI in n8n, eigene Skripte oder Agent-Pipelines integrieren
• Fine-Tuning — Modelle auf deine speziellen Aufgaben anpassen

Das Ziel: ein Setup, das du produktiv nutzen kannst — nicht als Spielerei, sondern als echtes Werkzeug für deinen Arbeitsalltag.

Häufige Probleme beim Einstieg

Ein paar Stolpersteine, die mir und anderen beim Einstieg begegnet sind:

„Das Modell lädt ewig.” Große Modelle brauchen Zeit zum Download (ein 32B-Modell ist 20+ GB). Und beim ersten Start wird das Modell in den VRAM oder RAM geladen — das kann 10-30 Sekunden dauern. Danach geht es schnell.

„Die Antworten sind langsam.” Wenn du auf der CPU läufst, ist 3-5 tok/s normal. Das fühlt sich zäh an, ist aber funktional. Lösung: eine GPU mit genug VRAM. Selbst eine gebrauchte RTX 3060 12GB für 200 Euro macht einen enormen Unterschied.

„Die Antworten auf Deutsch sind schlecht.” Kleinere Modelle (7B) sind oft auf Englisch trainiert und antworten auf Deutsch holprig. Tipp: Phi-4, Qwen 2.5 und neuere Llama-Modelle sind deutlich besser in Deutsch. Oder formuliere deinen System-Prompt explizit: „Antworte immer auf Deutsch.”

„Ollama sagt ‚model not found’.” Prüfe den Modellnamen. ollama pull llama3.1 funktioniert, ollama pull llama-3.1 nicht. Die exakten Namen findest du auf ollama.com/library.

„Meine GPU wird nicht erkannt.” Bei NVIDIA: stelle sicher, dass die aktuellen CUDA-Treiber installiert sind. Bei AMD: ROCm muss installiert sein (nur Linux). LM Studio zeigt dir in den Einstellungen, ob deine GPU erkannt wurde.

Zusammenfassung

Du brauchst keine Cloud, kein Abo und keine technische Vorbildung, um KI auf deinem Rechner zu nutzen. Ein moderner PC, 30 Minuten Einrichtung und ein kostenloser Download — das ist alles. Die Qualität reicht für den Großteil der Alltagsaufgaben, der Datenschutz ist eingebaut, und die Kosten tendieren gegen null.

Der wichtigste Schritt ist der erste: installiere Ollama oder LM Studio, lade ein kleines Modell und chatte damit. Alles andere ergibt sich.

Willkommen in der Welt der lokalen KI.