选择图表

推理成本总览

一眼对比各活跃模型在 MI355X、B200、B300、GB200 与 GB300 上的表现。

GPU 租赁成本 / 每百万输出 token · 8K→1K · @75 tok/s/用户 · ↓ 越低越好

数据库快照截至 7月30日

基于最佳观测平台服务包络线计算的各活跃模型每百万输出 token 成本；优先采用推测解码与 FP4。
模型	B200 · 基准	MI355X	B300	GB200	GB300	详情
DeepSeek V4 Pro 1.6T	约 $7.15。根据已验证的基准运行结果估算。7月12日 vLLM · FP4	约 $6.18。根据已验证的 8P+8D 运行结果估算。比 B200 便宜 14%7月27日 MoRI SGLang · FP4	约 $1.51。根据已验证的 8P+8D 与 4P+8D 运行结果估算。比 B200 便宜 79%7月30日 Dynamo SGLang · FP4	约 $0.96。根据已验证的 40P+16D 与 32P+16D 运行结果估算。比 B200 便宜 87%6月24日 Dynamo SGLang · FP4	约 $1.11。根据已验证的 16P+8D 与 8P+8D 运行结果估算。比 B200 便宜 84%6月3日 Dynamo SGLang · FP4	查看详情
Kimi K3 2.8T	暂无 8K/1K 结果					查看详情
Kimi K2.5/2.6/2.7-Code 1T	约 $3.53。根据已验证的基准运行结果估算。6月7日 vLLM · FP4 · 标准解码	约 $5.87。根据已验证的基准运行结果估算。比 B200 昂贵 66%7月5日 vLLM · FP4 · 标准解码	约 $2.91。根据已验证的基准运行结果估算。比 B200 便宜 17%6月7日 vLLM · FP4 · 标准解码	约 $3.62。根据已验证的 12P+16D 与 4P+16D 运行结果估算。与 B200 成本基本持平6月21日 Dynamo vLLM · FP4 · 标准解码	约 $3.57。根据已验证的 8P+24D 与 4P+32D 运行结果估算。与 B200 成本基本持平6月20日 Dynamo vLLM · FP4 · 标准解码	查看详情
MiniMax M3 428B	约 $0.83。根据已验证的基准运行结果估算。7月29日 vLLM · FP4	约 $1.55。根据已验证的基准运行结果估算。比 B200 昂贵 86%7月2日 vLLM · FP4	约 $1.03。根据已验证的基准运行结果估算。比 B200 昂贵 23%7月29日 vLLM · FP4	约 $2.38。根据已验证的 4P+16D 运行结果估算。比 B200 昂贵 185%7月29日 Dynamo vLLM · FP8 · 标准解码	约 $2.90。根据已验证的 2P+8D 与 2P+16D 运行结果估算。比 B200 昂贵 247%7月29日 Dynamo vLLM · FP8 · 标准解码	查看详情
GLM5.2	暂无 8K/1K 结果					查看详情
Qwen3.5 397B	约 $0.78。根据已验证的基准运行结果估算。7月5日 SGLang · FP4	约 $1.13。根据已验证的基准运行结果估算。比 B200 昂贵 46%7月16日 SGLang · FP4	约 $0.74。根据已验证的基准运行结果估算。比 B200 便宜 5%7月4日 SGLang · FP4	约 $0.76。根据已验证的 24P+16D 与 16P+16D 运行结果估算。与 B200 成本基本持平7月26日 Dynamo SGLang · FP8	约 $0.84。根据已验证的 28P+16D 与 24P+16D 运行结果估算。比 B200 昂贵 8%7月30日 Dynamo SGLang · FP8	查看详情

DeepSeek V4 Pro 1.6T
B200
约 $7.15。根据已验证的基准运行结果估算。7月12日
vLLM · FP4
MI355X
约 $6.18。根据已验证的 8P+8D 运行结果估算。比 B200 便宜 14%7月27日
MoRI SGLang · FP4
B300
约 $1.51。根据已验证的 8P+8D 与 4P+8D 运行结果估算。比 B200 便宜 79%7月30日
Dynamo SGLang · FP4
GB200
约 $0.96。根据已验证的 40P+16D 与 32P+16D 运行结果估算。比 B200 便宜 87%6月24日
Dynamo SGLang · FP4
GB300
约 $1.11。根据已验证的 16P+8D 与 8P+8D 运行结果估算。比 B200 便宜 84%6月3日
Dynamo SGLang · FP4
查看详情
Kimi K3 2.8T
暂无 8K/1K 结果
查看详情
Kimi K2.5/2.6/2.7-Code 1T
B200
约 $3.53。根据已验证的基准运行结果估算。6月7日
vLLM · FP4 · 标准解码
MI355X
约 $5.87。根据已验证的基准运行结果估算。比 B200 昂贵 66%7月5日
vLLM · FP4 · 标准解码
B300
约 $2.91。根据已验证的基准运行结果估算。比 B200 便宜 17%6月7日
vLLM · FP4 · 标准解码
GB200
约 $3.62。根据已验证的 12P+16D 与 4P+16D 运行结果估算。与 B200 成本基本持平6月21日
Dynamo vLLM · FP4 · 标准解码
GB300
约 $3.57。根据已验证的 8P+24D 与 4P+32D 运行结果估算。与 B200 成本基本持平6月20日
Dynamo vLLM · FP4 · 标准解码
查看详情
MiniMax M3 428B
B200
约 $0.83。根据已验证的基准运行结果估算。7月29日
vLLM · FP4
MI355X
约 $1.55。根据已验证的基准运行结果估算。比 B200 昂贵 86%7月2日
vLLM · FP4
B300
约 $1.03。根据已验证的基准运行结果估算。比 B200 昂贵 23%7月29日
vLLM · FP4
GB200
约 $2.38。根据已验证的 4P+16D 运行结果估算。比 B200 昂贵 185%7月29日
Dynamo vLLM · FP8 · 标准解码
GB300
约 $2.90。根据已验证的 2P+8D 与 2P+16D 运行结果估算。比 B200 昂贵 247%7月29日
Dynamo vLLM · FP8 · 标准解码
查看详情
GLM5.2
暂无 8K/1K 结果
查看详情
Qwen3.5 397B
B200
约 $0.78。根据已验证的基准运行结果估算。7月5日
SGLang · FP4
MI355X
约 $1.13。根据已验证的基准运行结果估算。比 B200 昂贵 46%7月16日
SGLang · FP4
B300
约 $0.74。根据已验证的基准运行结果估算。比 B200 便宜 5%7月4日
SGLang · FP4
GB200
约 $0.76。根据已验证的 24P+16D 与 16P+16D 运行结果估算。与 B200 成本基本持平7月26日
Dynamo SGLang · FP8
GB300
约 $0.84。根据已验证的 28P+16D 与 24P+16D 运行结果估算。比 B200 昂贵 8%7月30日
Dynamo SGLang · FP8
查看详情

优先顺序：推测解码 FP4 → 推测解码 FP8 → 标准解码 FP4 → 标准解码 FP8。

成本 = 3 年期租赁 $/GPU/小时 ÷ 每张已部署 GPU 的输出 tok/s。所有百分比均相对 B200。

方向性平台对比：各单元格取该平台最佳观测包络线，日期、引擎、精度与解码方式可能不同。

分离式结果的分母同时计入预填充与解码 GPU。

∞ = 无可比结果

各档位数值采用最佳观测平台服务包络线；≈ 表示根据已验证运行结果估算。不会外推。

DeepSeek V4 Pro 1.6T

Kimi K3 2.8T

Kimi K2.5/2.6/2.7-Code 1T

MiniMax M3 428B

GLM5.2