BBrainOutput
NVIDIA·GPU

NVIDIA RTX A5000 24GB: especificaciones y compatibilidad con IA local

Tarjeta profesional de 24GB con ECC: una opción estable de workstation para modelos de 32B.

Especificaciones

Memoria
24 GB
Tipo de memoria
GDDR6 ECC
Ancho de banda
768 GB/s
FP16 aprox.
27 TFLOPS
Arquitectura
Ampere
Proceso
Samsung 8nm
Consumo
230 W
Lanzamiento
2021

Modelos que este chip puede ejecutar

Modelos abiertos evaluados para un solo NVIDIA RTX A5000 24GB, primero el de mejor ajuste.

  • Gemma 2 27B
    Gemma · ~27B · 8K ctx · Gemma Terms of Use

    Cabe en Q4_K_M (~17GB) con ~4.1GB de margen — alrededor de 1 instancia simultánea.

    Q4_K_M · ~17GBFunciona bien
  • Gemma 3 27B
    Gemma 3 · ~27B · 128K ctx · Gemma Terms of Use

    Cabe en Q4_K_M (~17GB) con ~4.1GB de margen — alrededor de 1 instancia simultánea.

    Q4_K_M · ~17GBFunciona bien
  • Mistral Small 24B
    Mistral · ~24B · 32K ctx · Apache-2.0

    Cabe en Q4_K_M (~14GB) con ~7.1GB de margen — alrededor de 1 instancia simultánea.

    Q4_K_M · ~14GBFunciona bien
  • DeepSeek-Coder V2 (class)
    DeepSeek · ~16B · 128K ctx · DeepSeek License

    Cabe en Q8_0 (~18GB) con ~3.1GB de margen — alrededor de 1 instancia simultánea.

    Q8_0 · ~18GBFunciona bien
  • StarCoder2 15B
    StarCoder · ~15B · 16K ctx · BigCode OpenRAIL-M

    Cabe en Q8_0 (~17GB) con ~4.1GB de margen — alrededor de 1 instancia simultánea.

    Q8_0 · ~17GBFunciona bien
  • Qwen2.5 14B
    Qwen · ~14B · 128K ctx · Apache-2.0

    Cabe en Q8_0 (~16GB) con ~5.1GB de margen — alrededor de 1 instancia simultánea.

    Q8_0 · ~16GBFunciona bien
  • Qwen3 14B
    Qwen · ~14B · 128K ctx · Apache-2.0

    Cabe en Q8_0 (~16GB) con ~5.1GB de margen — alrededor de 1 instancia simultánea.

    Q8_0 · ~16GBFunciona bien
  • Phi-3 Medium (14B)
    Phi · ~14B · 128K ctx · MIT

    Cabe en Q8_0 (~15GB) con ~6.1GB de margen — alrededor de 1 instancia simultánea.

    Q8_0 · ~15GBFunciona bien

Crea un AI Business OS privado sobre NVIDIA RTX A5000 24GB

Run your own AI agents on hardware you control — private by design, no per-seat data leaving your premises. BrainOutput helps you pick the right machine and turn it into a working AI Business OS.

Explorar el AI Business OS