BBrainOutput
NVIDIA·Acelerador de centro de datos

NVIDIA L40S 48GB: especificaciones y compatibilidad con IA local

Tarjeta de centro de datos de 48GB: inferencia de escala media a buen precio.

Especificaciones

Memoria
48 GB
Tipo de memoria
GDDR6 ECC
Ancho de banda
864 GB/s
FP16 aprox.
362 TFLOPS
Arquitectura
Ada Lovelace
Proceso
TSMC 4N
Consumo
350 W
Lanzamiento
2023

Modelos que este chip puede ejecutar

Modelos abiertos evaluados para un solo NVIDIA L40S 48GB, primero el de mejor ajuste.

  • Mixtral 8x7B (MoE)
    Mistral · ~47B · 32K ctx · Apache-2.0

    Cabe en Q4_K_M (~28GB) con ~14.2GB de margen — alrededor de 1 instancia simultánea.

    Q4_K_M · ~28GBFunciona bien
  • CodeLlama 34B
    CodeLlama · ~34B · 16K ctx · Llama Community License

    Cabe en Q8_0 (~37GB) con ~5.2GB de margen — alrededor de 1 instancia simultánea.

    Q8_0 · ~37GBFunciona bien
  • Qwen2.5 32B
    Qwen · ~32B · 128K ctx · Apache-2.0

    Cabe en Q8_0 (~34GB) con ~8.2GB de margen — alrededor de 1 instancia simultánea.

    Q8_0 · ~34GBFunciona bien
  • Qwen3 32B
    Qwen · ~32B · 128K ctx · Apache-2.0

    Cabe en Q8_0 (~34GB) con ~8.2GB de margen — alrededor de 1 instancia simultánea.

    Q8_0 · ~34GBFunciona bien
  • DeepSeek-R1 Distill 32B
    DeepSeek · ~32B · 128K ctx · MIT

    Cabe en Q8_0 (~34GB) con ~8.2GB de margen — alrededor de 1 instancia simultánea.

    Q8_0 · ~34GBFunciona bien
  • Qwen2.5-Coder 32B
    Qwen · ~32B · 128K ctx · Apache-2.0

    Cabe en Q8_0 (~34GB) con ~8.2GB de margen — alrededor de 1 instancia simultánea.

    Q8_0 · ~34GBFunciona bien
  • Gemma 2 27B
    Gemma · ~27B · 8K ctx · Gemma Terms of Use

    Cabe en Q8_0 (~29GB) con ~13.2GB de margen — alrededor de 1 instancia simultánea.

    Q8_0 · ~29GBFunciona bien
  • Gemma 3 27B
    Gemma 3 · ~27B · 128K ctx · Gemma Terms of Use

    Cabe en Q8_0 (~29GB) con ~13.2GB de margen — alrededor de 1 instancia simultánea.

    Q8_0 · ~29GBFunciona bien

Dispositivos basados en este chip

Supermicro
Supermicro AI Workstation (L40S)
4 configuraciones
AWS
AWS EC2 (L40S)
2 configuraciones

Crea un AI Business OS privado sobre NVIDIA L40S 48GB

Run your own AI agents on hardware you control — private by design, no per-seat data leaving your premises. BrainOutput helps you pick the right machine and turn it into a working AI Business OS.

Explorar el AI Business OS