BBrainOutput
NVIDIA·GPU

NVIDIA RTX 4090: especificaciones y compatibilidad con IA local

El buque insignia de consumo: 24GB y gran ancho de banda ejecutan bien modelos de 32B.

Especificaciones

Memoria
24 GB
Tipo de memoria
GDDR6X
Ancho de banda
1,008 GB/s
FP16 aprox.
165 TFLOPS
Arquitectura
Ada Lovelace
Proceso
TSMC 4N
Consumo
450 W
Lanzamiento
2022

Modelos que este chip puede ejecutar

Modelos abiertos evaluados para un solo NVIDIA RTX 4090, primero el de mejor ajuste.

  • Gemma 2 27B
    Gemma · ~27B · 8K ctx · Gemma Terms of Use

    Cabe en Q4_K_M (~17GB) con ~4.1GB de margen — alrededor de 1 instancia simultánea.

    Q4_K_M · ~17GBFunciona bien
  • Gemma 3 27B
    Gemma 3 · ~27B · 128K ctx · Gemma Terms of Use

    Cabe en Q4_K_M (~17GB) con ~4.1GB de margen — alrededor de 1 instancia simultánea.

    Q4_K_M · ~17GBFunciona bien
  • Mistral Small 24B
    Mistral · ~24B · 32K ctx · Apache-2.0

    Cabe en Q4_K_M (~14GB) con ~7.1GB de margen — alrededor de 1 instancia simultánea.

    Q4_K_M · ~14GBFunciona bien
  • DeepSeek-Coder V2 (class)
    DeepSeek · ~16B · 128K ctx · DeepSeek License

    Cabe en Q8_0 (~18GB) con ~3.1GB de margen — alrededor de 1 instancia simultánea.

    Q8_0 · ~18GBFunciona bien
  • StarCoder2 15B
    StarCoder · ~15B · 16K ctx · BigCode OpenRAIL-M

    Cabe en Q8_0 (~17GB) con ~4.1GB de margen — alrededor de 1 instancia simultánea.

    Q8_0 · ~17GBFunciona bien
  • Qwen2.5 14B
    Qwen · ~14B · 128K ctx · Apache-2.0

    Cabe en Q8_0 (~16GB) con ~5.1GB de margen — alrededor de 1 instancia simultánea.

    Q8_0 · ~16GBFunciona bien
  • Qwen3 14B
    Qwen · ~14B · 128K ctx · Apache-2.0

    Cabe en Q8_0 (~16GB) con ~5.1GB de margen — alrededor de 1 instancia simultánea.

    Q8_0 · ~16GBFunciona bien
  • Phi-3 Medium (14B)
    Phi · ~14B · 128K ctx · MIT

    Cabe en Q8_0 (~15GB) con ~6.1GB de margen — alrededor de 1 instancia simultánea.

    Q8_0 · ~15GBFunciona bien

Dispositivos basados en este chip

Crea un AI Business OS privado sobre NVIDIA RTX 4090

Run your own AI agents on hardware you control — private by design, no per-seat data leaving your premises. BrainOutput helps you pick the right machine and turn it into a working AI Business OS.