TL;DR — In diesem Tutorial installierst du LM Studio, lädst dein erstes Open-Source-LLM herunter und führst in unter 10 Minuten deine erste lokale Unterhaltung. Am Ende läuft ein lokaler API-Server, den du in andere Tools einbinden kannst — ohne Cloud, ohne Kosten, ohne Datenabfluss.
Was ist LM Studio — und warum solltest du es kennen?
LM Studio ist eine kostenlose Desktop-Anwendung, mit der du Open-Source-LLMs direkt auf deinem eigenen Rechner ausführen kannst. Kein Cloud-Konto, kein API-Key, keine monatlichen Kosten. Du lädst ein Modell herunter, klickst auf „Chat” — fertig.
Das klingt zu einfach, und genau das ist der Punkt. Vor zwei Jahren war lokale KI ein Linux-Terminal-Abenteuer mit Python-Dependencies und CUDA-Versionskonflikten. LM Studio hat das in eine grafische Oberfläche verpackt, die auch ohne Kommandozeile funktioniert.
Warum ist das relevant für dich als Selbstständigen oder Freelancer?
- Datenschutz: Deine Texte, Kundendaten und Prompts verlassen niemals deinen Rechner
- Kosten: Null Euro pro Monat, egal wie viel du nutzt — keine Token-Abrechnung
- Offline: Funktioniert ohne Internet, sobald das Modell heruntergeladen ist
- Experimentieren: Du kannst verschiedene Modelle testen, ohne für jedes einen Account zu erstellen
In der ersten Folge dieser Serie haben wir besprochen, warum lokale KI überhaupt Sinn macht. Jetzt geht es an die Praxis: LM Studio installieren und das erste Modell zum Laufen bringen.
Schritt 1: LM Studio herunterladen und installieren
Öffne lmstudio.ai in deinem Browser. Die Seite erkennt automatisch dein Betriebssystem und bietet den passenden Download an.
Windows: Lade die .exe-Datei herunter und führe den Installer aus. Standard-Installation, keine besonderen Einstellungen nötig. LM Studio landet im Programme-Ordner und erstellt eine Desktop-Verknüpfung.
macOS: Lade die .dmg-Datei herunter, öffne sie und ziehe LM Studio in den Applications-Ordner. Beim ersten Start fragt macOS nach Genehmigungen — bestätigen.
Linux: LM Studio bietet ein AppImage an. Herunterladen, ausführbar machen (chmod +x), starten. Alternativ gibt es Flatpak-Pakete.
# Linux AppImage ausführbar machen
chmod +x LM-Studio-*.AppImage
./LM-Studio-*.AppImageDie Installation dauert unter einer Minute. Beim ersten Start lädt LM Studio einige interne Komponenten nach — das geht über deine Internetverbindung, ist aber nur einmalig.
Wichtig: LM Studio erkennt beim Start automatisch deine Hardware. Oben rechts in der App siehst du, ob eine GPU erkannt wurde und wie viel VRAM verfügbar ist. Wenn dort „CPU only” steht und du eine dedizierte Grafikkarte hast, stimmt etwas mit den Treibern nicht — dazu gleich mehr.
Schritt 2: Dein erstes Modell herunterladen
Nach dem Start landest du im Discover-Tab — das ist die Modell-Bibliothek. Hier findest du tausende Open-Source-Modelle, fertig verpackt und optimiert für lokale Nutzung.
Für den Einstieg empfehle ich eines dieser Modelle:
| Modell | Größe (Q4) | VRAM-Bedarf | Stärke |
|---|---|---|---|
| Llama 3.1 8B | ~4,5 GB | ~5 GB | Solider Allrounder |
| Qwen 2.5 7B | ~4,2 GB | ~5 GB | Stark bei Code und Mehrsprachigkeit |
| Mistral 7B | ~4,1 GB | ~5 GB | Schnell und effizient |
| Phi-4 Mini | ~2,5 GB | ~3 GB | Kompakt, gut für schwächere Hardware |
Meine Empfehlung für den allerersten Test: Llama 3.1 8B in der Q4_K_M-Variante. Gib im Suchfeld „Llama 3.1 8B” ein. Du siehst verschiedene Quantisierungsstufen — wähle Q4_K_M. Das ist der Sweet Spot zwischen Qualität und Speicherbedarf.
Klicke auf den Download-Button. Je nach Internetverbindung dauert das 2–10 Minuten — das Modell ist etwa 4,5 GB groß.
Was bedeuten die Quantisierungsstufen?
- Q4_K_M — 4-Bit-Quantisierung, bester Kompromiss. Für die meisten Anwendungen empfohlen.
- Q5_K_M — etwas besser in der Qualität, braucht ~20 % mehr Speicher.
- Q8_0 — fast verlustfrei, braucht aber doppelt so viel Speicher wie Q4.
- F16 — Originalqualität, nur für GPUs mit viel VRAM (24+ GB).
Mehr zur Quantisierung und den Unterschieden zwischen Modellfamilien findest du in Folge 3: Welches Modell — Llama vs. Qwen vs. Mistral.
Schritt 3: Chat starten — deine erste lokale Unterhaltung
Sobald das Modell heruntergeladen ist, wechsle zum Chat-Tab (das Sprechblasen-Symbol in der linken Seitenleiste).
- Klicke oben auf die Modell-Auswahl und wähle dein heruntergeladenes Modell aus
- Tippe eine Nachricht ins Textfeld — zum Beispiel: „Erkläre mir in drei Sätzen, was ein Large Language Model ist.”
- Drücke Enter
Das Modell „denkt” kurz — du siehst, wie die Antwort Token für Token generiert wird. Auf einer aktuellen GPU mit 8+ GB VRAM dauert das erste Token etwa 1–2 Sekunden, danach fließt der Text mit 20–40 Tokens pro Sekunde.
Erster Eindruck: Die Qualität eines 8B-Modells ist nicht ChatGPT-4o-Niveau. Das ist normal. Lokale 8B-Modelle sind wie ein solider Werkstudent — brauchbar für Routine-Aufgaben, aber nicht für komplexe Analysen. Für anspruchsvollere Aufgaben brauchst du größere Modelle wie Qwen 2.5 32B oder Llama 3.3 70B — aber die erfordern auch mehr Hardware.
Teste diese drei Prompts, um ein Gefühl für dein Modell zu bekommen:
- Allgemeinwissen: „Was sind die drei wichtigsten Unterschiede zwischen GmbH und UG?”
- Kreatives Schreiben: „Schreibe eine LinkedIn-Bio für einen Freelance-Webentwickler aus Hamburg.”
- Code: „Schreibe eine Python-Funktion, die eine CSV-Datei liest und die Spalten ‚Name’ und ‚Email’ extrahiert.”
So bekommst du ein realistisches Bild davon, was das Modell kann — und wo seine Grenzen liegen.
Schritt 4: Wichtige Einstellungen verstehen und optimieren
LM Studio hat mehrere Einstellungen, die die Performance und Qualität massiv beeinflussen. Die wichtigsten drei:
GPU-Offloading
Das ist die wichtigste Einstellung überhaupt. GPU-Offloading bestimmt, wie viele Layer des Modells auf der Grafikkarte berechnet werden — und wie viele auf der CPU bleiben.
- Maximales Offloading (alle Layer auf GPU): Schnellste Option, braucht aber genug VRAM
- Teilweises Offloading: Wenn dein Modell nicht komplett in den VRAM passt, werden einige Layer auf der CPU berechnet — langsamer, aber das Modell läuft
- Kein Offloading (CPU only): Funktioniert, ist aber 5–15x langsamer
So stellst du es ein: Gehe in die Chat-Einstellungen (Zahnrad-Symbol rechts). Unter „GPU Offload” findest du einen Regler oder die Option „Max”. Setze ihn auf Maximum, wenn dein Modell in den VRAM passt. LM Studio zeigt dir an, ob genug Speicher vorhanden ist.
Context Length
Die Context Length bestimmt, wie viel Text das Modell „im Kopf” behalten kann — den gesamten Chatverlauf plus die aktuelle Frage plus die Antwort. Standardmäßig steht sie auf 4096 Tokens (~3000 Wörter).
- 2048: Spart VRAM, reicht für kurze Fragen
- 4096: Guter Standard für die meisten Gespräche
- 8192: Für längere Dokumente oder ausführliche Konversationen
- 32768+: Nur wenn du genug VRAM hast und lange Texte verarbeiten willst
Faustregel: Mehr Context Length = mehr VRAM-Verbrauch. Wenn dein Modell langsam wird oder abstürzt, reduziere zuerst die Context Length.
Temperature
Die Temperature steuert, wie „kreativ” das Modell antwortet:
- 0.0–0.3: Präzise, deterministische Antworten. Gut für Fakten, Code, Analysen.
- 0.4–0.7: Ausgewogener Mix. Meine Standardeinstellung.
- 0.8–1.0: Kreativer, unvorhersehbarer. Für Brainstorming und kreatives Schreiben.
- >1.0: Experimentell, oft zusammenhangloser Output.
Meine Empfehlung: Starte mit 0.7 und passe je nach Use Case an. Für Kundenkommunikation und sachliche Texte gehe auf 0.3–0.5. Für kreative Ideen drehe auf 0.8.
Schritt 5: Den lokalen API-Server starten
Das ist der Schritt, der LM Studio von einem Chat-Spielzeug zu einem echten Werkzeug macht. Der eingebaute Server stellt eine OpenAI-kompatible API bereit — das bedeutet, jedes Tool, das mit der ChatGPT-API funktioniert, kannst du auf deinen lokalen Server umbiegen.
Server starten:
- Wechsle zum Local Server-Tab (das Server-Symbol in der Seitenleiste)
- Wähle das Modell aus, das der Server bereitstellen soll
- Klicke auf Start Server
- Der Server läuft jetzt auf
http://localhost:1234
Testen per Terminal:
curl http://localhost:1234/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "llama-3.1-8b",
"messages": [
{"role": "user", "content": "Hallo, was kannst du?"}
]
}'Wenn du eine JSON-Antwort mit dem generierten Text bekommst, läuft alles korrekt.
Was kannst du damit machen?
- Open WebUI als ChatGPT-ähnliches Interface verbinden
- Continue (VS-Code-Extension) für KI-gestützte Code-Hilfe
- n8n oder Make für automatisierte Workflows mit lokalem LLM
- Eigene Python-Skripte über die OpenAI-Python-Library (
openai.OpenAI(base_url="http://localhost:1234/v1"))
Beispiel mit Python:
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:1234/v1",
api_key="not-needed" # LM Studio braucht keinen API-Key
)
response = client.chat.completions.create(
model="llama-3.1-8b",
messages=[
{"role": "system", "content": "Du bist ein hilfreicher Assistent und antwortest auf Deutsch."},
{"role": "user", "content": "Was ist ein KI-Agent?"}
]
)
print(response.choices[0].message.content)LM Studio vs. Ollama — wann was?
Wenn du diese Serie verfolgst, fragst du dich vielleicht: „Soll ich LM Studio oder Ollama nehmen?” Die Antwort hängt von deinem Workflow ab.
| Kriterium | LM Studio | Ollama |
|---|---|---|
| Interface | Grafische Oberfläche | Terminal/CLI |
| Einstieg | Sofort, ohne Kommandozeile | Einfache CLI-Befehle |
| API-Server | Eingebaut, mit GUI | Läuft im Hintergrund als Service |
| Modellverwaltung | Visueller Browser | ollama pull Befehle |
| Ressourcenkontrolle | Detaillierte GUI-Einstellungen | Config-Dateien |
| Headless/Server | Nicht ideal | Perfekt dafür |
| Betriebssystem | Windows, Mac, Linux | Windows, Mac, Linux |
Kurzfassung: LM Studio ist ideal zum Experimentieren, Modelle vergleichen und für den Einstieg. Ollama ist besser für Automatisierung, Server-Betrieb und Integration in Pipelines. Viele Leute nutzen beides — LM Studio zum Testen, Ollama in der Produktion. Einen tieferen Vergleich findest du in Folge 5: Ollama oder LM Studio — wann was?
Typische Probleme und Lösungen
„Das Modell ist extrem langsam”
Prüfe, ob GPU-Offloading aktiv ist. Wenn LM Studio auf „CPU only” läuft, sind 2–5 Tokens/Sekunde bei einem 8B-Modell normal. Mit GPU sollten es 20–40 sein.
Falls du eine NVIDIA-GPU hast, die nicht erkannt wird: Aktualisiere deine GPU-Treiber auf die neueste Version. LM Studio braucht aktuelle CUDA-Treiber.
Bei AMD-GPUs: LM Studio nutzt Vulkan als Backend. Stelle sicher, dass die aktuellen Adrenalin-Treiber installiert sind. Mehr zur AMD-Konfiguration in Folge 4: Lokale KI auf AMD.
„Das Modell gibt unsinnige Antworten”
Reduziere die Temperature auf 0.5 oder niedriger. Prüfe auch, ob die Context Length nicht zu niedrig eingestellt ist — bei 512 Tokens kann das Modell den Gesprächskontext nicht halten.
„LM Studio stürzt beim Laden ab”
Das Modell passt nicht in deinen verfügbaren Speicher. Wähle eine kleinere Quantisierung (Q4 statt Q8) oder ein kleineres Modell. Alternativ: reduziere die Context Length auf 2048.
„Der Server startet, aber andere Tools können sich nicht verbinden”
Prüfe, ob der Server auf 0.0.0.0 statt localhost hört, wenn du von anderen Geräten im Netzwerk zugreifen willst. In den Server-Einstellungen kannst du die Bind-Adresse ändern.
Nächste Schritte
Du hast jetzt ein funktionierendes lokales LLM-Setup. Aber welches Modell ist das richtige für deinen Use Case? In der nächsten Folge vergleichen wir die drei großen Open-Source-Modellfamilien:
→ Folge 3: Welches Modell? Llama vs. Qwen vs. Mistral — Stärken, Schwächen und konkrete Empfehlungen nach Use Case und Hardware.
Weitere Artikel in dieser Serie:
- Folge 1: Dein eigenes ChatGPT — Warum lokale KI? — Motivation und Überblick
- Folge 4: Lokale KI auf AMD (RX 7900 XTX) — AMD-GPUs als NVIDIA-Alternative
- Hardware-Guide: KI-PC für lokale LLMs — Was du wirklich brauchst
