InferenceX
EN

推理成本总览

一眼对比各活跃模型在 MI355X、B200、B300、GB200 与 GB300 上的表现。

GPU 租赁成本 / 每百万输出 token · 8K→1K · @50 tok/s/用户 · ↓ 越低越好

数据库快照截至 7月30日

  • DeepSeek V4 Pro 1.6T

    B200
    约 $1.69。根据已验证的基准运行结果估算。6月12日
    TRTLLM · FP4
    MI355X
    约 $2.01。根据已验证的基准运行结果估算。比 B200 昂贵 19%7月28日
    ATOM¹ · FP4
    B300
    约 $1.01。根据已验证的 24P+8D 与 16P+8D 运行结果估算。比 B200 便宜 40%7月30日
    Dynamo SGLang · FP4
    GB200
    约 $4.55。根据已验证的 8P+8D 与 8P+32D 运行结果估算。比 B200 昂贵 170%5月19日
    Dynamo vLLM · FP4
    GB300
    约 $0.88。根据已验证的 24P+8D 与 16P+8D 运行结果估算。比 B200 便宜 48%6月3日
    Dynamo SGLang · FP4
    查看详情

  • Kimi K2.5/2.6/2.7-Code 1T

    B200
    约 $0.85。根据已验证的 4P+8D 与 4P+20D 运行结果估算。7月22日
    Dynamo TRTLLM · FP4 · 标准解码
    MI355X
    约 $1.65。根据已验证的基准运行结果估算。比 B200 昂贵 95%7月12日
    ATOM¹ · FP4 · 标准解码
    B300
    约 $2.75。根据已验证的基准运行结果估算。比 B200 昂贵 224%6月7日
    vLLM · FP4 · 标准解码
    GB200
    约 $0.63。根据已验证的 16P+16D 与 24P+32D 运行结果估算。比 B200 便宜 26%6月20日
    Dynamo TRTLLM · FP4 · 标准解码
    GB300
    约 $0.77。根据已验证的 32P+32D 与 20P+32D 运行结果估算。比 B200 便宜 9%6月22日
    Dynamo TRTLLM · FP4 · 标准解码
    查看详情

  • MiniMax M3 428B

    B200
    约 $1.01。根据已验证的基准运行结果估算。7月29日
    vLLM · FP8
    MI355X
    约 $0.67。根据已验证的基准运行结果估算。比 B200 便宜 34%7月3日
    ATOM¹ · FP4
    B300
    约 $0.78。根据已验证的基准运行结果估算。比 B200 便宜 23%7月29日
    vLLM · FP4
    GB200
    约 $1.21。根据已验证的 8P+16D 与 4P+16D 运行结果估算。比 B200 昂贵 19%7月29日
    Dynamo vLLM · FP8 · 标准解码
    GB300
    约 $1.23。根据已验证的 4P+8D 与 6P+16D 运行结果估算。比 B200 昂贵 21%7月29日
    Dynamo vLLM · FP8 · 标准解码
    查看详情

  • Qwen3.5 397B

    B200
    约 $0.54。根据已验证的基准运行结果估算。6月24日
    TRTLLM · FP4
    MI355X
    约 $0.90。根据已验证的基准运行结果估算。比 B200 昂贵 67%7月16日
    SGLang · FP4
    B300
    约 $0.59。根据已验证的基准运行结果估算。比 B200 昂贵 9%7月4日
    SGLang · FP4
    GB200
    约 $0.66。根据已验证的 32P+16D 运行结果估算。比 B200 昂贵 23%7月26日
    Dynamo SGLang · FP8
    GB300
    约 $0.59。根据已验证的 24P+16D 与 20P+16D 运行结果估算。比 B200 昂贵 9%6月25日
    Dynamo SGLang · FP4 · 标准解码
    查看详情

优先顺序：推测解码 FP4 → 推测解码 FP8 → 标准解码 FP4 → 标准解码 FP8。

成本 = 3 年期租赁 $/GPU/小时 ÷ 每张已部署 GPU 的输出 tok/s。所有百分比均相对 B200。

方向性平台对比：各单元格取该平台最佳观测包络线，日期、引擎、精度与解码方式可能不同。

分离式结果的分母同时计入预填充与解码 GPU。

∞ = 无可比结果

各档位数值采用最佳观测平台服务包络线；≈ 表示根据已验证运行结果估算。不会外推。