llama.cpp

C++-Inference-Engine für GGUF-Modelle. Ursprung von Georgi Gerganov, ohne den der gesamte Lokal-LLM-Boom nicht denkbar wäre. Läuft auf praktisch jeder Hardware — CPU, NVIDIA, AMD, Apple Silicon. Basis von Ollama, LM Studio und vielen anderen.