Beste GPU für lokale LLMs
Der wichtigste Faktor dafür, welche Modelle Sie lokal ausführen können, ist der GPU-Speicher. Dieser Leitfaden ordnet GPUs danach ein, was sie ermöglichen – nicht nur nach roher Geschwindigkeit – damit Sie genau die richtige Menge VRAM für die Modelle kaufen, die Sie wirklich brauchen.
VRAM ist der entscheidende Faktor
Ein Modell läuft nur, wenn es in den nutzbaren Speicher passt. 12GB bewältigen 7–8B-Modelle in 4 Bit; 24GB öffnen Modelle der 32B-Klasse; 48GB fassen ein 70B-Modell auf einer Karte. Die Bandbreite entscheidet dann, wie schnell Tokens generiert werden.
Budgetstufen
Einstieg: RTX 3060 12GB für einen ersten Assistenten. Preis-Leistung: eine gebrauchte RTX 3090 (24GB). Consumer-Flaggschiff: RTX 4090 (24GB, schnell). 70B auf einer einzelnen Profikarte: RTX 6000 Ada oder A6000 (48GB).
Wann Multi-GPU sinnvoll ist
Zwei 24GB-Karten bündeln 48GB für Kapazität und Parallelität, aber die Bandbreite pro Karte begrenzt weiterhin die Geschwindigkeit eines einzelnen Modells. Für ein großes Modell schnell, bevorzugen Sie eine einzelne größere Karte; für viele Agenten, bündeln Sie.
Ausgewählte Chips
Empfohlene Modelle
- 1Qwen2.5 72BQwen · ~72B · 128K ctx · Qwen License
A top-tier open model for coding and reasoning; a strong backbone for a private Business Command Center.
Minimum: Apple Mac mini (M4 Pro)Recommended: Supermicro 8x H100 SuperServer - 2Llama 3.1 70BLlama · ~70B · 128K ctx · Llama Community License
The previous-generation flagship; still excellent. Prefer Llama 3.3 70B where available for similar footprint and better instruction following.
Minimum: NVIDIA RTX A6000Recommended: Supermicro 8x H100 SuperServer - 3Llama 3.3 70BLlama · ~70B · 128K ctx · Llama Community License
A flagship open model with near-frontier quality for many business tasks. Full precision needs multi-GPU/datacenter; 4-bit opens it to high-end workstations.
Minimum: NVIDIA RTX A6000Recommended: Supermicro 8x H100 SuperServer - 4DeepSeek-R1 Distill Llama 70BDeepSeek · ~70B · 128K ctx · MIT
The largest R1 distill, built on Llama 70B. The strongest locally-runnable reasoning option short of the full MoE; plan for high-end workstation or multi-GPU hardware.
Minimum: NVIDIA RTX A6000Recommended: Supermicro 8x H100 SuperServer - 5Mixtral 8x7B (MoE)Mistral · ~47B · 32K ctx · Apache-2.0
Mixture-of-experts: total params are large but only a subset activate per token, so it serves quickly for its quality tier.
Minimum: NVIDIA RTX A6000Recommended: Supermicro 8x H100 SuperServer
Empfohlene Hardware
- 54/100NVIDIA RTX 6000 Ada GenerationNVIDIA · Professional GPUs
- 52/100AMD Radeon PRO W7900AMD · Professional GPUs
- 50/100NVIDIA RTX A6000NVIDIA · Professional GPUs
- 47/100NVIDIA GeForce RTX 4090NVIDIA · Consumer GPUs
- 46/100AMD Radeon RX 7900 XTXAMD · Consumer GPUs
- 44/100NVIDIA GeForce RTX 3090NVIDIA · Consumer GPUs
Häufige Fragen
Wie viel VRAM benötige ich, um ein lokales LLM auszuführen?+
Rechnen Sie mit ~6GB für ein 7–8B-Modell in 4 Bit, ~20GB für ein 32B-Modell und ~42GB für ein 70B-Modell. Der 4-Bit-Wert (Q4) ist die praktische Zahl zum Planen.
Ist die RTX 4090 die beste GPU für lokale KI?+
Sie ist die beste Consumer-Karte für Geschwindigkeit mit 24GB. Für 70B-Modelle auf einer Karte brauchen Sie eine 48GB-Profikarte; preislich bieten die RTX 3060 12GB oder eine gebrauchte 3090 starkes Preis-Leistungs-Verhältnis.