GGUF

Dateiformat für quantisierte Modelle (Nachfolger von GGML). Wird von llama.cpp, Ollama und LM Studio gelesen. Wenn du auf HuggingFace ein Modell mit `Q4_K_M.gguf` siehst — das ist eine 4-bit-quantisierte Version, die auf normaler Hardware läuft.