选择图表

推理成本总览

一眼对比各活跃模型在 MI355X、B200、B300、GB200 与 GB300 上的表现。

GPU 租赁成本 / 每百万输出 token · 8K→1K · @100 tok/s/用户 · ↓ 越低越好

数据库快照截至 7月30日

基于最佳观测平台服务包络线计算的各活跃模型每百万输出 token 成本；优先采用推测解码与 FP4。
模型	B200 · 基准	MI355X	B300	GB200	GB300	详情
DeepSeek V4 Pro 1.6T	约 $11.31。根据已验证的基准运行结果估算。7月12日 vLLM · FP4	约 $10.28。根据已验证的基准运行结果估算。比 B200 便宜 9%7月14日 SGLang · FP4	约 $3.62。根据已验证的 4P+16D 与 4P+24D 运行结果估算。比 B200 便宜 68%7月30日 Dynamo SGLang · FP4	约 $1.19。根据已验证的 24P+16D 与 16P+16D 运行结果估算。比 B200 便宜 89%6月24日 Dynamo SGLang · FP4	约 $1.73。根据已验证的 8P+8D 与 4P+8D 运行结果估算。比 B200 便宜 85%6月3日 Dynamo SGLang · FP4	查看详情
Kimi K3 2.8T	暂无 8K/1K 结果					查看详情
Kimi K2.5/2.6/2.7-Code 1T	约 $5.49。根据已验证的基准运行结果估算。6月7日 vLLM · FP4 · 标准解码	无法达到 @100	约 $3.38。根据已验证的基准运行结果估算。比 B200 便宜 38%6月7日 vLLM · FP4 · 标准解码	约 $5.46。根据已验证的 4P+32D 运行结果估算。与 B200 成本基本持平6月21日 Dynamo vLLM · FP4 · 标准解码	约 $7.23。根据已验证的 4P+32D 运行结果估算。比 B200 昂贵 32%6月20日 Dynamo vLLM · FP4 · 标准解码	查看详情
MiniMax M3 428B	约 $1.12。根据已验证的基准运行结果估算。7月29日 vLLM · FP4	约 $1.83。根据已验证的基准运行结果估算。比 B200 昂贵 63%7月2日 vLLM · FP4	约 $1.00。根据已验证的 4P+4D 与 2P+4D 运行结果估算。比 B200 便宜 10%7月26日 Dynamo vLLM · FP4	约 $3.79。根据已验证的 4P+16D 运行结果估算。比 B200 昂贵 239%7月29日 Dynamo vLLM · FP8 · 标准解码	约 $4.26。根据已验证的 2P+16D 运行结果估算。比 B200 昂贵 281%7月29日 Dynamo vLLM · FP8 · 标准解码	查看详情
GLM5.2	暂无 8K/1K 结果					查看详情
Qwen3.5 397B	约 $0.94。根据已验证的基准运行结果估算。7月5日 SGLang · FP4	约 $1.34。根据已验证的基准运行结果估算。比 B200 昂贵 43%7月16日 SGLang · FP4	约 $0.92。根据已验证的基准运行结果估算。与 B200 成本基本持平7月4日 SGLang · FP4	约 $0.98。根据已验证的 16P+16D 与 12P+16D 运行结果估算。与 B200 成本基本持平7月26日 Dynamo SGLang · FP8	约 $1.06。根据已验证的 16P+16D 与 12P+16D 运行结果估算。比 B200 昂贵 12%7月30日 Dynamo SGLang · FP8	查看详情

DeepSeek V4 Pro 1.6T
B200
约 $11.31。根据已验证的基准运行结果估算。7月12日
vLLM · FP4
MI355X
约 $10.28。根据已验证的基准运行结果估算。比 B200 便宜 9%7月14日
SGLang · FP4
B300
约 $3.62。根据已验证的 4P+16D 与 4P+24D 运行结果估算。比 B200 便宜 68%7月30日
Dynamo SGLang · FP4
GB200
约 $1.19。根据已验证的 24P+16D 与 16P+16D 运行结果估算。比 B200 便宜 89%6月24日
Dynamo SGLang · FP4
GB300
约 $1.73。根据已验证的 8P+8D 与 4P+8D 运行结果估算。比 B200 便宜 85%6月3日
Dynamo SGLang · FP4
查看详情
Kimi K3 2.8T
暂无 8K/1K 结果
查看详情
Kimi K2.5/2.6/2.7-Code 1T
B200
约 $5.49。根据已验证的基准运行结果估算。6月7日
vLLM · FP4 · 标准解码
MI355X
无法达到 @100
B300
约 $3.38。根据已验证的基准运行结果估算。比 B200 便宜 38%6月7日
vLLM · FP4 · 标准解码
GB200
约 $5.46。根据已验证的 4P+32D 运行结果估算。与 B200 成本基本持平6月21日
Dynamo vLLM · FP4 · 标准解码
GB300
约 $7.23。根据已验证的 4P+32D 运行结果估算。比 B200 昂贵 32%6月20日
Dynamo vLLM · FP4 · 标准解码
查看详情
MiniMax M3 428B
B200
约 $1.12。根据已验证的基准运行结果估算。7月29日
vLLM · FP4
MI355X
约 $1.83。根据已验证的基准运行结果估算。比 B200 昂贵 63%7月2日
vLLM · FP4
B300
约 $1.00。根据已验证的 4P+4D 与 2P+4D 运行结果估算。比 B200 便宜 10%7月26日
Dynamo vLLM · FP4
GB200
约 $3.79。根据已验证的 4P+16D 运行结果估算。比 B200 昂贵 239%7月29日
Dynamo vLLM · FP8 · 标准解码
GB300
约 $4.26。根据已验证的 2P+16D 运行结果估算。比 B200 昂贵 281%7月29日
Dynamo vLLM · FP8 · 标准解码
查看详情
GLM5.2
暂无 8K/1K 结果
查看详情
Qwen3.5 397B
B200
约 $0.94。根据已验证的基准运行结果估算。7月5日
SGLang · FP4
MI355X
约 $1.34。根据已验证的基准运行结果估算。比 B200 昂贵 43%7月16日
SGLang · FP4
B300
约 $0.92。根据已验证的基准运行结果估算。与 B200 成本基本持平7月4日
SGLang · FP4
GB200
约 $0.98。根据已验证的 16P+16D 与 12P+16D 运行结果估算。与 B200 成本基本持平7月26日
Dynamo SGLang · FP8
GB300
约 $1.06。根据已验证的 16P+16D 与 12P+16D 运行结果估算。比 B200 昂贵 12%7月30日
Dynamo SGLang · FP8
查看详情

优先顺序：推测解码 FP4 → 推测解码 FP8 → 标准解码 FP4 → 标准解码 FP8。

成本 = 3 年期租赁 $/GPU/小时 ÷ 每张已部署 GPU 的输出 tok/s。所有百分比均相对 B200。

方向性平台对比：各单元格取该平台最佳观测包络线，日期、引擎、精度与解码方式可能不同。

分离式结果的分母同时计入预填充与解码 GPU。

∞ = 无可比结果

各档位数值采用最佳观测平台服务包络线；≈ 表示根据已验证运行结果估算。不会外推。

DeepSeek V4 Pro 1.6T

Kimi K3 2.8T

Kimi K2.5/2.6/2.7-Code 1T

MiniMax M3 428B

GLM5.2