Qwen 3.5 397B-A17B — GB200 NVL72 vs MI355X
GB200 NVL72（NVIDIA Blackwell）与 MI355X（AMD CDNA 4）在 Qwen 3.5 397B-A17B 上的正面 AI 推理基准测试对比。涵盖各类 LLM 工作负载的延迟、吞吐量与成本。使用下方图表控件切换序列、精度和指标——交互方式与主推理图表相同。
在 Qwen 3.5 397B-A17B 上以 82 tok/s/user 交互性运行时，GB200 NVL72 吞吐量为 10432 tok/s/GPU，每百万 token 成本 $0.06；MI355X 吞吐量为 4001 tok/s/GPU，成本 $0.10。GB200 NVL72 每 token 成本低 76%；GB200 NVL72 每 GPU 吞吐量高出 161%。
GB200 NVL72 在 Qwen 3.5 397B-A17B 上以 129 tok/s/user 运行时达到 4736 tok/s/GPU（每百万 token $0.13）；MI355X 达到 2712 tok/s/GPU（$0.15）。GB200 NVL72 每 token 成本低 13%；GB200 NVL72 每 GPU 吞吐量高出 75%。
Qwen 3.5 397B-A17B 在 176 tok/s/user 交互性下的吞吐量：GB200 NVL72 为 2586 tok/s/GPU，MI355X 为 1680。每百万 token 成本分别为 $0.24 和 $0.24。GB200 NVL72 每 token 成本低 2%；GB200 NVL72 每 GPU 吞吐量高出 54%。 （数据反映此 URL 的默认 8k/1k · fp8 选择——如果您在控件中更改序列、精度或模型，下方表格和图表会自动更新。）
| Metric | Interactivity (tok/s/user) | Interactivity (tok/s/user) | Interactivity (tok/s/user) |
|---|---|---|---|
| Throughput (tok/s/gpu) | GB200 NVL72:10432.3MI355X:4000.5 | GB200 NVL72:4735.5MI355X:2711.7 | GB200 NVL72:2586.2MI355X:1680.2 |
| Cost ($/M tok) | GB200 NVL72:$0.059MI355X:$0.103 | GB200 NVL72:$0.133MI355X:$0.150 | GB200 NVL72:$0.238MI355X:$0.244 |
| tok/s/MW | GB200 NVL72:5578793MI355X:1914116 | GB200 NVL72:2532365MI355X:1297479 | GB200 NVL72:1383021MI355X:803933 |
| Concurrency | GB200 NVL72:~1052MI355X:~22 | GB200 NVL72:~107MI355X:~9 | GB200 NVL72:~36MI355X:~8 |
推理性能
不同模型、硬件配置和服务参数下的推理性能指标。