Intel Gaudi 3 128GB : spécifications et compatibilité IA locale
Accélérateur d'IA de 128GB visant l'entraînement/l'inférence — vérifiez l'adéquation de l'écosystème.
Certains détails ici sont provisoire (placeholder). Considérez les spécifications comme approximatives et vérifiez-les auprès du fabricant avant de vous y fier ou d’acheter.
Spécifications
- Mémoire
- 128 GB
- Type de mémoire
- HBM2e
- Bande passante
- 3,700 GB/s
- FP16 approx.
- à vérifier
- Architecture
- Gaudi 3
- Gravure
- TSMC 5nm
- Consommation
- 900 W
- Sortie
- 2024
Modèles que cette puce peut exécuter
Modèles ouverts évalués pour une seule Intel Gaudi 3 128GB, du meilleur ajustement d'abord.
- Qwen2.5 72BQwen · ~72B · 128K ctx · Qwen License
Tient en Q8_0 (~78GB) avec ~34.6GB de marge — environ 1 instance simultanée.
Q8_0 · ~78GBFonctionne bien - Llama 3.1 70BLlama · ~70B · 128K ctx · Llama Community License
Tient en Q8_0 (~75GB) avec ~37.6GB de marge — environ 1 instance simultanée.
Q8_0 · ~75GBFonctionne bien - Llama 3.3 70BLlama · ~70B · 128K ctx · Llama Community License
Tient en Q8_0 (~75GB) avec ~37.6GB de marge — environ 1 instance simultanée.
Q8_0 · ~75GBFonctionne bien - DeepSeek-R1 Distill Llama 70BDeepSeek · ~70B · 128K ctx · MIT
Tient en Q8_0 (~75GB) avec ~37.6GB de marge — environ 1 instance simultanée.
Q8_0 · ~75GBFonctionne bien - Mixtral 8x7B (MoE)Mistral · ~47B · 32K ctx · Apache-2.0
Tient en FP16 (~90GB) avec ~22.6GB de marge — environ 1 instance simultanée.
FP16 · ~90GBFonctionne bien - CodeLlama 34BCodeLlama · ~34B · 16K ctx · Llama Community License
Tient en FP16 (~68GB) avec ~44.6GB de marge — environ 1 instance simultanée.
FP16 · ~68GBFonctionne bien - Qwen2.5 32BQwen · ~32B · 128K ctx · Apache-2.0
Tient en FP16 (~64GB) avec ~48.6GB de marge — environ 1 instance simultanée.
FP16 · ~64GBFonctionne bien - Qwen3 32BQwen · ~32B · 128K ctx · Apache-2.0
Tient en FP16 (~64GB) avec ~48.6GB de marge — environ 1 instance simultanée.
FP16 · ~64GBFonctionne bien
Construisez un AI Business OS privé sur Intel Gaudi 3 128GB
Run your own AI agents on hardware you control — private by design, no per-seat data leaving your premises. BrainOutput helps you pick the right machine and turn it into a working AI Business OS.