DeepSeek V4 Pro 1.6T
8K/1K
B200
Dynamo SGLang · FP4
MI355X
$0.280比 B200 昂贵 60%
SGLang · FP4
B300
$0.282比 B200 昂贵 61%
SGLang · FP4
GB200 NVL72
$0.864比 B200 昂贵 393%
Dynamo vLLM · FP4
GB300 NVL72
$0.771比 B200 昂贵 340%
Dynamo SGLang · FP4STP
推理每百万 token 成本
超大规模云（hyperscaler）成本 ↓ 越低越好 来源：InferenceX 与 SemiAnalysis Market July 2026 AI Cloud TCO Model
| 模型 · 场景 | B200 · 基准 | MI355X | B300 | GB200 NVL72 | GB300 NVL72 |
|---|---|---|---|---|---|
DeepSeek V4 Pro 1.6T8K/1K | Dynamo SGLang · FP4 | $0.280比 B200 昂贵 60% SGLang · FP4 | $0.282比 B200 昂贵 61% SGLang · FP4 | $0.864比 B200 昂贵 393% Dynamo vLLM · FP4 | $0.771比 B200 昂贵 340% Dynamo SGLang · FP4 · STP |
DeepSeek V4 Pro 1.6T长上下文多轮真实智能体场景（AgentX） | vLLM · FP4 | $0.019比 B200 昂贵 42% MoRI SGLang · FP4 | $0.056比 B200 昂贵 306% SGLang · FP4 | $0.021比 B200 昂贵 53% Dynamo SGLang · FP4 | $0.014比 B200 昂贵 5% Dynamo vLLM · FP4 |
Kimi K3 2.8T长上下文多轮真实智能体场景（AgentX） | Dynamo vLLM · FP4 | 无精确 @75 结果 | $0.138比 B200 昂贵 9% vLLM · FP4 | $0.168比 B200 昂贵 33% Dynamo vLLM · FP4 | $0.048比 B200 便宜 62% Dynamo vLLM · FP4 |
Kimi K2.5/2.6/2.7-Code 1T8K/1K | Dynamo TRTLLM · FP4 · STP | $0.186比 B200 便宜 5% ATOM¹ · FP4 · STP | $0.255比 B200 昂贵 30% vLLM · FP4 · STP | $0.117比 B200 便宜 40% Dynamo TRTLLM · FP4 · STP | $0.123比 B200 便宜 38% Dynamo TRTLLM · FP4 · STP |
MiniMax M3 428B8K/1K | vLLM · FP4 | $0.064比 B200 昂贵 15% ATOM¹ · FP4 | $0.074比 B200 昂贵 34% vLLM · FP4 | $0.185比 B200 昂贵 234% Dynamo vLLM · FP8 · STP | $0.212比 B200 昂贵 281% Dynamo vLLM · FP8 · STP |
MiniMax M3 428B长上下文多轮真实智能体场景（AgentX） | TRTLLM · FP4 | $0.007比 B200 便宜 27% ATOM¹ · FP4 | $0.008比 B200 便宜 11% TRTLLM · FP4 | $0.012比 B200 昂贵 33% Dynamo vLLM · FP4 | 无精确 @75 结果 |
GLM5.2长上下文多轮真实智能体场景（AgentX） | SGLang · FP8 | $0.023比 B200 便宜 61% SGLang · FP4 | 无精确 @75 结果 | 无精确 @75 结果 | 无精确 @75 结果 |
Qwen3.5 397B8K/1K | TRTLLM · FP4 | $0.061比 B200 昂贵 42% SGLang · FP4 | $0.045与 B200 成本基本持平 SGLang · FP4 | $0.223比 B200 昂贵 415% Dynamo SGLang · FP8 · STP | $0.042与 B200 成本基本持平 Dynamo TRTLLM · FP4 · STP |
Qwen3.5 397B长上下文多轮真实智能体场景（AgentX） | SGLang · FP8 | $0.006比 B200 便宜 52% SGLang · FP4 | $0.008比 B200 便宜 40% SGLang · FP4 | $0.006比 B200 便宜 52% Dynamo SGLang · FP4 | 无精确 @75 结果 |
- 查看详情
DeepSeek V4 Pro 1.6T
长上下文多轮真实智能体场景（AgentX）
查看详情B200vLLM · FP4MI355X$0.019比 B200 昂贵 42%MoRI SGLang · FP4B300$0.056比 B200 昂贵 306%SGLang · FP4GB200 NVL72$0.021比 B200 昂贵 53%Dynamo SGLang · FP4GB300 NVL72$0.014比 B200 昂贵 5%Dynamo vLLM · FP4Kimi K3 2.8T
长上下文多轮真实智能体场景（AgentX）
查看详情B200Dynamo vLLM · FP4MI355X无精确 @75 结果B300$0.138比 B200 昂贵 9%vLLM · FP4GB200 NVL72$0.168比 B200 昂贵 33%Dynamo vLLM · FP4GB300 NVL72$0.048比 B200 便宜 62%Dynamo vLLM · FP4Kimi K2.5/2.6/2.7-Code 1T
8K/1K
查看详情B200Dynamo TRTLLM · FP4STPMI355X$0.186比 B200 便宜 5%ATOM¹ · FP4STPB300$0.255比 B200 昂贵 30%vLLM · FP4STPGB200 NVL72$0.117比 B200 便宜 40%Dynamo TRTLLM · FP4STPGB300 NVL72$0.123比 B200 便宜 38%Dynamo TRTLLM · FP4STPMiniMax M3 428B
8K/1K
查看详情B200vLLM · FP4MI355X$0.064比 B200 昂贵 15%ATOM¹ · FP4B300$0.074比 B200 昂贵 34%vLLM · FP4GB200 NVL72$0.185比 B200 昂贵 234%Dynamo vLLM · FP8STPGB300 NVL72$0.212比 B200 昂贵 281%Dynamo vLLM · FP8STPMiniMax M3 428B
长上下文多轮真实智能体场景（AgentX）
查看详情B200TRTLLM · FP4MI355X$0.007比 B200 便宜 27%ATOM¹ · FP4B300$0.008比 B200 便宜 11%TRTLLM · FP4GB200 NVL72$0.012比 B200 昂贵 33%Dynamo vLLM · FP4GB300 NVL72无精确 @75 结果GLM5.2
长上下文多轮真实智能体场景（AgentX）
查看详情B200SGLang · FP8MI355X$0.023比 B200 便宜 61%SGLang · FP4B300无精确 @75 结果GB200 NVL72无精确 @75 结果GB300 NVL72无精确 @75 结果Qwen3.5 397B
8K/1K
查看详情B200TRTLLM · FP4MI355X$0.061比 B200 昂贵 42%SGLang · FP4B300$0.045与 B200 成本基本持平SGLang · FP4GB200 NVL72$0.223比 B200 昂贵 415%Dynamo SGLang · FP8STPGB300 NVL72$0.042与 B200 成本基本持平Dynamo TRTLLM · FP4STPQwen3.5 397B
长上下文多轮真实智能体场景（AgentX）
查看详情B200SGLang · FP8MI355X$0.006比 B200 便宜 52%SGLang · FP4B300$0.008比 B200 便宜 40%SGLang · FP4GB200 NVL72$0.006比 B200 便宜 52%Dynamo SGLang · FP4GB300 NVL72无精确 @75 结果
— = 无结果。∞ = 缺少 B200 基线。
若某款芯片不支持 FP4 推测解码，则采用次优的可用配置。