Qwen 3.5 397B-A17B — GB200 NVL72 vs H100
GB200 NVL72（NVIDIA Blackwell）与 H100（NVIDIA Hopper）在 Qwen 3.5 397B-A17B 上的正面 AI 推理基准测试对比。涵盖各类 LLM 工作负载的延迟、吞吐量与成本。使用下方图表控件切换序列、精度和指标——交互方式与主推理图表相同。
Qwen 3.5 397B-A17B 在 70 tok/s/user 交互性下的吞吐量：GB200 NVL72 为 11175 tok/s/GPU，H100 为 1371。每百万 token 成本分别为 $0.05 和 $0.26。GB200 NVL72 每 token 成本低 381%；GB200 NVL72 每 GPU 吞吐量高出 715%。
GB200 NVL72 / H100 在 Qwen 3.5 397B-A17B 上以 104 tok/s/user 运行：7878 / 1075 tok/s/GPU，$0.08 / $0.33 每百万 token。GB200 NVL72 每 token 成本低 330%；GB200 NVL72 每 GPU 吞吐量高出 633%。
在 36–172 tok/s/user 交互性区间的高端，即 Qwen 3.5 397B-A17B 上以 138 tok/s/user 运行时：GB200 NVL72 达到 4007 tok/s/GPU（$0.15/百万 token），H100 达到 941（$0.41/百万）。GB200 NVL72 每 token 成本低 169%；GB200 NVL72 每 GPU 吞吐量高出 326%。 （数据反映此 URL 的默认 8k/1k · fp8 选择——如果您在控件中更改序列、精度或模型，下方表格和图表会自动更新。）
| Metric | Interactivity (tok/s/user) | Interactivity (tok/s/user) | Interactivity (tok/s/user) |
|---|---|---|---|
| Throughput (tok/s/gpu) | GB200 NVL72:11174.9H100:1370.8 | GB200 NVL72:7878.1H100:1075.2 | GB200 NVL72:4007.0H100:940.6 |
| Cost ($/M tok) | GB200 NVL72:$0.055H100:$0.264 | GB200 NVL72:$0.078H100:$0.335 | GB200 NVL72:$0.151H100:$0.407 |
| tok/s/MW | GB200 NVL72:5975892H100:1000563 | GB200 NVL72:4212881H100:784834 | GB200 NVL72:2142774H100:686577 |
| Concurrency | GB200 NVL72:~1305H100:~20 | GB200 NVL72:~483H100:~11 | GB200 NVL72:~72H100:~9 |
推理性能
不同模型、硬件配置和服务参数下的推理性能指标。