NVIDIA RTX A5000 24GB : spécifications et compatibilité IA locale
Carte pro de 24GB avec ECC — une option de station de travail stable pour les modèles de 32B.
Spécifications
- Mémoire
- 24 GB
- Type de mémoire
- GDDR6 ECC
- Bande passante
- 768 GB/s
- FP16 approx.
- 27 TFLOPS
- Architecture
- Ampere
- Gravure
- Samsung 8nm
- Consommation
- 230 W
- Sortie
- 2021
Modèles que cette puce peut exécuter
Modèles ouverts évalués pour une seule NVIDIA RTX A5000 24GB, du meilleur ajustement d'abord.
- Gemma 2 27BGemma · ~27B · 8K ctx · Gemma Terms of Use
Tient en Q4_K_M (~17GB) avec ~4.1GB de marge — environ 1 instance simultanée.
Q4_K_M · ~17GBFonctionne bien - Gemma 3 27BGemma 3 · ~27B · 128K ctx · Gemma Terms of Use
Tient en Q4_K_M (~17GB) avec ~4.1GB de marge — environ 1 instance simultanée.
Q4_K_M · ~17GBFonctionne bien - Mistral Small 24BMistral · ~24B · 32K ctx · Apache-2.0
Tient en Q4_K_M (~14GB) avec ~7.1GB de marge — environ 1 instance simultanée.
Q4_K_M · ~14GBFonctionne bien - DeepSeek-Coder V2 (class)DeepSeek · ~16B · 128K ctx · DeepSeek License
Tient en Q8_0 (~18GB) avec ~3.1GB de marge — environ 1 instance simultanée.
Q8_0 · ~18GBFonctionne bien - StarCoder2 15BStarCoder · ~15B · 16K ctx · BigCode OpenRAIL-M
Tient en Q8_0 (~17GB) avec ~4.1GB de marge — environ 1 instance simultanée.
Q8_0 · ~17GBFonctionne bien - Qwen2.5 14BQwen · ~14B · 128K ctx · Apache-2.0
Tient en Q8_0 (~16GB) avec ~5.1GB de marge — environ 1 instance simultanée.
Q8_0 · ~16GBFonctionne bien - Qwen3 14BQwen · ~14B · 128K ctx · Apache-2.0
Tient en Q8_0 (~16GB) avec ~5.1GB de marge — environ 1 instance simultanée.
Q8_0 · ~16GBFonctionne bien - Phi-3 Medium (14B)Phi · ~14B · 128K ctx · MIT
Tient en Q8_0 (~15GB) avec ~6.1GB de marge — environ 1 instance simultanée.
Q8_0 · ~15GBFonctionne bien
Construisez un AI Business OS privé sur NVIDIA RTX A5000 24GB
Run your own AI agents on hardware you control — private by design, no per-seat data leaving your premises. BrainOutput helps you pick the right machine and turn it into a working AI Business OS.