NVIDIA RTX 3060 12GB: Spezifikationen & Eignung für lokale KI
Der günstige Einstieg in lokale KI: 12GB führen 7-8B-Modelle mit 4 Bit aus.
Spezifikationen
- Speicher
- 12 GB
- Speichertyp
- GDDR6
- Bandbreite
- 360 GB/s
- FP16 ca.
- 25 TFLOPS
- Architektur
- Ampere
- Fertigung
- Samsung 8nm
- Leistung
- 170 W
- Markteinführung
- 2021
Modelle, die dieser Chip ausführen kann
Offene Modelle, bewertet für einen einzelnen NVIDIA RTX 3060 12GB, beste Eignung zuerst.
- CodeLlama 13BCodeLlama · ~13B · 16K ctx · Llama Community License
Passt mit Q4_K_M (~8GB) bei ~2.6GB Reserve — etwa 1 gleichzeitige Instanz.
Q4_K_M · ~8GBLäuft gut - Gemma 3 12BGemma 3 · ~12B · 128K ctx · Gemma Terms of Use
Passt mit Q4_K_M (~8GB) bei ~2.6GB Reserve — etwa 1 gleichzeitige Instanz.
Q4_K_M · ~8GBLäuft gut - Mistral Nemo 12BMistral · ~12B · 128K ctx · Apache-2.0
Passt mit Q4_K_M (~8GB) bei ~2.6GB Reserve — etwa 1 gleichzeitige Instanz.
Q4_K_M · ~8GBLäuft gut - Gemma 2 9BGemma · ~9B · 8K ctx · Gemma Terms of Use
Passt mit Q8_0 (~10GB) bei ~0.6GB Reserve — etwa 1 gleichzeitige Instanz.
Q8_0 · ~10GBLäuft gut - Llama 3.1 8BLlama · ~8B · 128K ctx · Llama Community License
Passt mit Q8_0 (~9GB) bei ~1.6GB Reserve — etwa 1 gleichzeitige Instanz.
Q8_0 · ~9GBLäuft gut - Qwen3 8BQwen · ~8B · 128K ctx · Apache-2.0
Passt mit Q8_0 (~9GB) bei ~1.6GB Reserve — etwa 1 gleichzeitige Instanz.
Q8_0 · ~9GBLäuft gut - Granite 3 8BGranite · ~8B · 128K ctx · Apache-2.0
Passt mit Q8_0 (~9GB) bei ~1.6GB Reserve — etwa 1 gleichzeitige Instanz.
Q8_0 · ~9GBLäuft gut - DeepSeek-R1 Distill 8BDeepSeek · ~8B · 128K ctx · MIT
Passt mit Q8_0 (~9GB) bei ~1.6GB Reserve — etwa 1 gleichzeitige Instanz.
Q8_0 · ~9GBLäuft gut
Geräte auf Basis dieses Chips
Bauen Sie ein privates AI Business OS auf NVIDIA RTX 3060 12GB
Run your own AI agents on hardware you control — private by design, no per-seat data leaving your premises. BrainOutput helps you pick the right machine and turn it into a working AI Business OS.