NVIDIA A100 40GB : spécifications et compatibilité IA locale
Accélérateur pour centre de données de 40GB HBM pour l'entraînement et le service.
Spécifications
- Mémoire
- 40 GB
- Type de mémoire
- HBM2e
- Bande passante
- 1,555 GB/s
- FP16 approx.
- 312 TFLOPS
- Architecture
- Ampere
- Gravure
- TSMC 7nm
- Consommation
- 400 W
- Sortie
- 2020
Modèles que cette puce peut exécuter
Modèles ouverts évalués pour une seule NVIDIA A100 40GB, du meilleur ajustement d'abord.
- Mixtral 8x7B (MoE)Mistral · ~47B · 32K ctx · Apache-2.0
Tient en Q4_K_M (~28GB) avec ~7.2GB de marge — environ 1 instance simultanée.
Q4_K_M · ~28GBFonctionne bien - CodeLlama 34BCodeLlama · ~34B · 16K ctx · Llama Community License
Tient en Q4_K_M (~21GB) avec ~14.2GB de marge — environ 1 instance simultanée.
Q4_K_M · ~21GBFonctionne bien - Qwen2.5 32BQwen · ~32B · 128K ctx · Apache-2.0
Tient en Q8_0 (~34GB) avec ~1.2GB de marge — environ 1 instance simultanée.
Q8_0 · ~34GBFonctionne bien - Qwen3 32BQwen · ~32B · 128K ctx · Apache-2.0
Tient en Q8_0 (~34GB) avec ~1.2GB de marge — environ 1 instance simultanée.
Q8_0 · ~34GBFonctionne bien - DeepSeek-R1 Distill 32BDeepSeek · ~32B · 128K ctx · MIT
Tient en Q8_0 (~34GB) avec ~1.2GB de marge — environ 1 instance simultanée.
Q8_0 · ~34GBFonctionne bien - Qwen2.5-Coder 32BQwen · ~32B · 128K ctx · Apache-2.0
Tient en Q8_0 (~34GB) avec ~1.2GB de marge — environ 1 instance simultanée.
Q8_0 · ~34GBFonctionne bien - Gemma 2 27BGemma · ~27B · 8K ctx · Gemma Terms of Use
Tient en Q8_0 (~29GB) avec ~6.2GB de marge — environ 1 instance simultanée.
Q8_0 · ~29GBFonctionne bien - Gemma 3 27BGemma 3 · ~27B · 128K ctx · Gemma Terms of Use
Tient en Q8_0 (~29GB) avec ~6.2GB de marge — environ 1 instance simultanée.
Q8_0 · ~29GBFonctionne bien
Construisez un AI Business OS privé sur NVIDIA A100 40GB
Run your own AI agents on hardware you control — private by design, no per-seat data leaving your premises. BrainOutput helps you pick the right machine and turn it into a working AI Business OS.