Intel Gaudi 3 128GB: especificações e compatibilidade com IA local
Acelerador de IA de 128GB orientado a treino/inferência — verifique a adequação do ecossistema.
Alguns detalhes aqui são provisório (placeholder). Trate as especificações como aproximadas e verifique-as junto do fabricante antes de confiar nelas ou de comprar.
Especificações
- Memória
- 128 GB
- Tipo de memória
- HBM2e
- Largura de banda
- 3,700 GB/s
- FP16 aprox.
- a verificar
- Arquitetura
- Gaudi 3
- Processo
- TSMC 5nm
- Consumo
- 900 W
- Lançamento
- 2024
Modelos que este chip pode executar
Modelos abertos avaliados para um único Intel Gaudi 3 128GB, o de melhor ajuste primeiro.
- Qwen2.5 72BQwen · ~72B · 128K ctx · Qwen License
Cabe em Q8_0 (~78GB) com ~34.6GB de margem — cerca de 1 instância em simultâneo.
Q8_0 · ~78GBCorre bem - Llama 3.1 70BLlama · ~70B · 128K ctx · Llama Community License
Cabe em Q8_0 (~75GB) com ~37.6GB de margem — cerca de 1 instância em simultâneo.
Q8_0 · ~75GBCorre bem - Llama 3.3 70BLlama · ~70B · 128K ctx · Llama Community License
Cabe em Q8_0 (~75GB) com ~37.6GB de margem — cerca de 1 instância em simultâneo.
Q8_0 · ~75GBCorre bem - DeepSeek-R1 Distill Llama 70BDeepSeek · ~70B · 128K ctx · MIT
Cabe em Q8_0 (~75GB) com ~37.6GB de margem — cerca de 1 instância em simultâneo.
Q8_0 · ~75GBCorre bem - Mixtral 8x7B (MoE)Mistral · ~47B · 32K ctx · Apache-2.0
Cabe em FP16 (~90GB) com ~22.6GB de margem — cerca de 1 instância em simultâneo.
FP16 · ~90GBCorre bem - CodeLlama 34BCodeLlama · ~34B · 16K ctx · Llama Community License
Cabe em FP16 (~68GB) com ~44.6GB de margem — cerca de 1 instância em simultâneo.
FP16 · ~68GBCorre bem - Qwen2.5 32BQwen · ~32B · 128K ctx · Apache-2.0
Cabe em FP16 (~64GB) com ~48.6GB de margem — cerca de 1 instância em simultâneo.
FP16 · ~64GBCorre bem - Qwen3 32BQwen · ~32B · 128K ctx · Apache-2.0
Cabe em FP16 (~64GB) com ~48.6GB de margem — cerca de 1 instância em simultâneo.
FP16 · ~64GBCorre bem
Construa um AI Business OS privado sobre Intel Gaudi 3 128GB
Run your own AI agents on hardware you control — private by design, no per-seat data leaving your premises. BrainOutput helps you pick the right machine and turn it into a working AI Business OS.