BBrainOutput
AMD·Acelerador de data center

AMD Instinct MI300X 192GB: especificações e compatibilidade com IA local

192GB HBM3 líderes na categoria — modelos grandes num único acelerador.

Especificações

Memória
192 GB
Tipo de memória
HBM3
Largura de banda
5,300 GB/s
FP16 aprox.
a verificar
Arquitetura
CDNA 3
Processo
TSMC 5nm/6nm
Consumo
750 W
Lançamento
2023

Modelos que este chip pode executar

Modelos abertos avaliados para um único AMD Instinct MI300X 192GB, o de melhor ajuste primeiro.

  • Qwen3 235B-A22B (MoE)
    Qwen · ~235B · 128K ctx · Apache-2.0

    Cabe em Q4_K_M (~130GB) com ~39GB de margem — cerca de 1 instância em simultâneo.

    Q4_K_M · ~130GBCorre bem
  • Qwen2.5 72B
    Qwen · ~72B · 128K ctx · Qwen License

    Cabe em FP16 (~145GB) com ~24GB de margem — cerca de 1 instância em simultâneo.

    FP16 · ~145GBCorre bem
  • Llama 3.1 70B
    Llama · ~70B · 128K ctx · Llama Community License

    Cabe em FP16 (~140GB) com ~29GB de margem — cerca de 1 instância em simultâneo.

    FP16 · ~140GBCorre bem
  • Llama 3.3 70B
    Llama · ~70B · 128K ctx · Llama Community License

    Cabe em FP16 (~140GB) com ~29GB de margem — cerca de 1 instância em simultâneo.

    FP16 · ~140GBCorre bem
  • DeepSeek-R1 Distill Llama 70B
    DeepSeek · ~70B · 128K ctx · MIT

    Cabe em FP16 (~140GB) com ~29GB de margem — cerca de 1 instância em simultâneo.

    FP16 · ~140GBCorre bem
  • Mixtral 8x7B (MoE)
    Mistral · ~47B · 32K ctx · Apache-2.0

    Cabe em FP16 (~90GB) com ~79GB de margem — cerca de 1 instância em simultâneo.

    FP16 · ~90GBCorre bem
  • CodeLlama 34B
    CodeLlama · ~34B · 16K ctx · Llama Community License

    Cabe em FP16 (~68GB) com ~101GB de margem — cerca de 2 instâncias em simultâneo.

    FP16 · ~68GBCorre bem
  • Qwen2.5 32B
    Qwen · ~32B · 128K ctx · Apache-2.0

    Cabe em FP16 (~64GB) com ~105GB de margem — cerca de 2 instâncias em simultâneo.

    FP16 · ~64GBCorre bem

Dispositivos baseados neste chip

Gigabyte
Gigabyte MI300X Server
1 configurações

Construa um AI Business OS privado sobre AMD Instinct MI300X 192GB

Run your own AI agents on hardware you control — private by design, no per-seat data leaving your premises. BrainOutput helps you pick the right machine and turn it into a working AI Business OS.

Explorar o AI Business OS