Intel Gaudi 3 128GB: especificaciones y compatibilidad con IA local
Acelerador de IA de 128GB orientado a entrenamiento/inferencia: verifica el encaje del ecosistema.
Algunos detalles aquí son provisional (placeholder). Considera las especificaciones como aproximadas y verifícalas con el fabricante antes de confiar en ellas o comprar.
Especificaciones
- Memoria
- 128 GB
- Tipo de memoria
- HBM2e
- Ancho de banda
- 3,700 GB/s
- FP16 aprox.
- por verificar
- Arquitectura
- Gaudi 3
- Proceso
- TSMC 5nm
- Consumo
- 900 W
- Lanzamiento
- 2024
Modelos que este chip puede ejecutar
Modelos abiertos evaluados para un solo Intel Gaudi 3 128GB, primero el de mejor ajuste.
- Qwen2.5 72BQwen · ~72B · 128K ctx · Qwen License
Cabe en Q8_0 (~78GB) con ~34.6GB de margen — alrededor de 1 instancia simultánea.
Q8_0 · ~78GBFunciona bien - Llama 3.1 70BLlama · ~70B · 128K ctx · Llama Community License
Cabe en Q8_0 (~75GB) con ~37.6GB de margen — alrededor de 1 instancia simultánea.
Q8_0 · ~75GBFunciona bien - Llama 3.3 70BLlama · ~70B · 128K ctx · Llama Community License
Cabe en Q8_0 (~75GB) con ~37.6GB de margen — alrededor de 1 instancia simultánea.
Q8_0 · ~75GBFunciona bien - DeepSeek-R1 Distill Llama 70BDeepSeek · ~70B · 128K ctx · MIT
Cabe en Q8_0 (~75GB) con ~37.6GB de margen — alrededor de 1 instancia simultánea.
Q8_0 · ~75GBFunciona bien - Mixtral 8x7B (MoE)Mistral · ~47B · 32K ctx · Apache-2.0
Cabe en FP16 (~90GB) con ~22.6GB de margen — alrededor de 1 instancia simultánea.
FP16 · ~90GBFunciona bien - CodeLlama 34BCodeLlama · ~34B · 16K ctx · Llama Community License
Cabe en FP16 (~68GB) con ~44.6GB de margen — alrededor de 1 instancia simultánea.
FP16 · ~68GBFunciona bien - Qwen2.5 32BQwen · ~32B · 128K ctx · Apache-2.0
Cabe en FP16 (~64GB) con ~48.6GB de margen — alrededor de 1 instancia simultánea.
FP16 · ~64GBFunciona bien - Qwen3 32BQwen · ~32B · 128K ctx · Apache-2.0
Cabe en FP16 (~64GB) con ~48.6GB de margen — alrededor de 1 instancia simultánea.
FP16 · ~64GBFunciona bien
Crea un AI Business OS privado sobre Intel Gaudi 3 128GB
Run your own AI agents on hardware you control — private by design, no per-seat data leaving your premises. BrainOutput helps you pick the right machine and turn it into a working AI Business OS.