NVIDIA L4 24GB: especificaciones y compatibilidad con IA local
Tarjeta de inferencia de 24GB y bajo consumo para un servicio eficiente.
Especificaciones
- Memoria
- 24 GB
- Tipo de memoria
- GDDR6
- Ancho de banda
- 300 GB/s
- FP16 aprox.
- 30 TFLOPS
- Arquitectura
- Ada Lovelace
- Proceso
- TSMC 4N
- Consumo
- 72 W
- Lanzamiento
- 2023
Modelos que este chip puede ejecutar
Modelos abiertos evaluados para un solo NVIDIA L4 24GB, primero el de mejor ajuste.
- CodeLlama 13BCodeLlama · ~13B · 16K ctx · Llama Community License
Cabe en Q8_0 (~14GB) con ~7.1GB de margen — alrededor de 1 instancia simultánea.
Q8_0 · ~14GBFunciona bien - Gemma 3 12BGemma 3 · ~12B · 128K ctx · Gemma Terms of Use
Cabe en Q8_0 (~13GB) con ~8.1GB de margen — alrededor de 1 instancia simultánea.
Q8_0 · ~13GBFunciona bien - Mistral Nemo 12BMistral · ~12B · 128K ctx · Apache-2.0
Cabe en Q8_0 (~13GB) con ~8.1GB de margen — alrededor de 1 instancia simultánea.
Q8_0 · ~13GBFunciona bien - Gemma 2 9BGemma · ~9B · 8K ctx · Gemma Terms of Use
Cabe en FP16 (~19GB) con ~2.1GB de margen — alrededor de 1 instancia simultánea.
FP16 · ~19GBFunciona bien - Llama 3.1 8BLlama · ~8B · 128K ctx · Llama Community License
Cabe en FP16 (~17GB) con ~4.1GB de margen — alrededor de 1 instancia simultánea.
FP16 · ~17GBFunciona bien - Qwen3 8BQwen · ~8B · 128K ctx · Apache-2.0
Cabe en FP16 (~17GB) con ~4.1GB de margen — alrededor de 1 instancia simultánea.
FP16 · ~17GBFunciona bien - Granite 3 8BGranite · ~8B · 128K ctx · Apache-2.0
Cabe en FP16 (~17GB) con ~4.1GB de margen — alrededor de 1 instancia simultánea.
FP16 · ~17GBFunciona bien - DeepSeek-R1 Distill 8BDeepSeek · ~8B · 128K ctx · MIT
Cabe en FP16 (~17GB) con ~4.1GB de margen — alrededor de 1 instancia simultánea.
FP16 · ~17GBFunciona bien
Crea un AI Business OS privado sobre NVIDIA L4 24GB
Run your own AI agents on hardware you control — private by design, no per-seat data leaving your premises. BrainOutput helps you pick the right machine and turn it into a working AI Business OS.