NVIDIA H100 80GB: Spezifikationen & Eignung für lokale KI
Das Hopper-Arbeitstier: 80GB HBM3 und sehr hohe Bandbreite.
Spezifikationen
- Speicher
- 80 GB
- Speichertyp
- HBM3
- Bandbreite
- 3,350 GB/s
- FP16 ca.
- 990 TFLOPS
- Architektur
- Hopper
- Fertigung
- TSMC 4N
- Leistung
- 700 W
- Markteinführung
- 2022
Modelle, die dieser Chip ausführen kann
Offene Modelle, bewertet für einen einzelnen NVIDIA H100 80GB, beste Eignung zuerst.
- Qwen2.5 72BQwen · ~72B · 128K ctx · Qwen License
Passt mit Q4_K_M (~44GB) bei ~26.4GB Reserve — etwa 1 gleichzeitige Instanz.
Q4_K_M · ~44GBLäuft gut - Llama 3.1 70BLlama · ~70B · 128K ctx · Llama Community License
Passt mit Q4_K_M (~42GB) bei ~28.4GB Reserve — etwa 1 gleichzeitige Instanz.
Q4_K_M · ~42GBLäuft gut - Llama 3.3 70BLlama · ~70B · 128K ctx · Llama Community License
Passt mit Q4_K_M (~42GB) bei ~28.4GB Reserve — etwa 1 gleichzeitige Instanz.
Q4_K_M · ~42GBLäuft gut - DeepSeek-R1 Distill Llama 70BDeepSeek · ~70B · 128K ctx · MIT
Passt mit Q4_K_M (~42GB) bei ~28.4GB Reserve — etwa 1 gleichzeitige Instanz.
Q4_K_M · ~42GBLäuft gut - Mixtral 8x7B (MoE)Mistral · ~47B · 32K ctx · Apache-2.0
Passt mit Q8_0 (~50GB) bei ~20.4GB Reserve — etwa 1 gleichzeitige Instanz.
Q8_0 · ~50GBLäuft gut - CodeLlama 34BCodeLlama · ~34B · 16K ctx · Llama Community License
Passt mit FP16 (~68GB) bei ~2.4GB Reserve — etwa 1 gleichzeitige Instanz.
FP16 · ~68GBLäuft gut - Qwen2.5 32BQwen · ~32B · 128K ctx · Apache-2.0
Passt mit FP16 (~64GB) bei ~6.4GB Reserve — etwa 1 gleichzeitige Instanz.
FP16 · ~64GBLäuft gut - Qwen3 32BQwen · ~32B · 128K ctx · Apache-2.0
Passt mit FP16 (~64GB) bei ~6.4GB Reserve — etwa 1 gleichzeitige Instanz.
FP16 · ~64GBLäuft gut
Geräte auf Basis dieses Chips
Bauen Sie ein privates AI Business OS auf NVIDIA H100 80GB
Run your own AI agents on hardware you control — private by design, no per-seat data leaving your premises. BrainOutput helps you pick the right machine and turn it into a working AI Business OS.