AMD Instinct MI325X 256GB: especificações e compatibilidade com IA local
Acelerador de 256GB HBM3e — memória muito grande para servir modelos grandes.
Alguns detalhes aqui são provisório (placeholder). Trate as especificações como aproximadas e verifique-as junto do fabricante antes de confiar nelas ou de comprar.
Especificações
- Memória
- 256 GB
- Tipo de memória
- HBM3e
- Largura de banda
- 6,000 GB/s
- FP16 aprox.
- a verificar
- Arquitetura
- CDNA 3
- Processo
- TSMC
- Consumo
- 1,000 W
- Lançamento
- 2024
Modelos que este chip pode executar
Modelos abertos avaliados para um único AMD Instinct MI325X 256GB, o de melhor ajuste primeiro.
- Qwen3 235B-A22B (MoE)Qwen · ~235B · 128K ctx · Apache-2.0
Cabe em Q4_K_M (~130GB) com ~95.3GB de margem — cerca de 1 instância em simultâneo.
Q4_K_M · ~130GBCorre bem - Qwen2.5 72BQwen · ~72B · 128K ctx · Qwen License
Cabe em FP16 (~145GB) com ~80.3GB de margem — cerca de 1 instância em simultâneo.
FP16 · ~145GBCorre bem - Llama 3.1 70BLlama · ~70B · 128K ctx · Llama Community License
Cabe em FP16 (~140GB) com ~85.3GB de margem — cerca de 1 instância em simultâneo.
FP16 · ~140GBCorre bem - Llama 3.3 70BLlama · ~70B · 128K ctx · Llama Community License
Cabe em FP16 (~140GB) com ~85.3GB de margem — cerca de 1 instância em simultâneo.
FP16 · ~140GBCorre bem - DeepSeek-R1 Distill Llama 70BDeepSeek · ~70B · 128K ctx · MIT
Cabe em FP16 (~140GB) com ~85.3GB de margem — cerca de 1 instância em simultâneo.
FP16 · ~140GBCorre bem - Mixtral 8x7B (MoE)Mistral · ~47B · 32K ctx · Apache-2.0
Cabe em FP16 (~90GB) com ~135.3GB de margem — cerca de 2 instâncias em simultâneo.
FP16 · ~90GBCorre bem - CodeLlama 34BCodeLlama · ~34B · 16K ctx · Llama Community License
Cabe em FP16 (~68GB) com ~157.3GB de margem — cerca de 3 instâncias em simultâneo.
FP16 · ~68GBCorre bem - Qwen2.5 32BQwen · ~32B · 128K ctx · Apache-2.0
Cabe em FP16 (~64GB) com ~161.3GB de margem — cerca de 3 instâncias em simultâneo.
FP16 · ~64GBCorre bem
Construa um AI Business OS privado sobre AMD Instinct MI325X 256GB
Run your own AI agents on hardware you control — private by design, no per-seat data leaving your premises. BrainOutput helps you pick the right machine and turn it into a working AI Business OS.