DeepSeek V4 Pro 1.6T
8K/1K
B200
Dynamo SGLang · FP4
MI355X
无法达到 @150
B300
$0.694与 B200 成本基本持平
TRTLLM · FP4
GB200 NVL72
$1.133比 B200 昂贵 66%
Dynamo SGLang · FP4
GB300 NVL72
$0.525比 B200 便宜 23%
Dynamo SGLang · FP4
推理每百万 token 成本
超大规模云（hyperscaler）成本 ↓ 越低越好 来源：InferenceX 与 SemiAnalysis Market July 2026 AI Cloud TCO Model
| 模型 · 场景 | B200 · 基准 | MI355X | B300 | GB200 NVL72 | GB300 NVL72 |
|---|---|---|---|---|---|
DeepSeek V4 Pro 1.6T8K/1K | Dynamo SGLang · FP4 | 无法达到 @150 | $0.694与 B200 成本基本持平 TRTLLM · FP4 | $1.133比 B200 昂贵 66% Dynamo SGLang · FP4 | $0.525比 B200 便宜 23% Dynamo SGLang · FP4 |
DeepSeek V4 Pro 1.6T长上下文多轮真实智能体场景（AgentX） | SGLang · FP4 | $0.068比 B200 昂贵 25% SGLang · FP4 | $0.081比 B200 昂贵 50% vLLM · FP4 | $0.043比 B200 便宜 21% Dynamo SGLang · FP4 | 无精确 @150 结果 |
Kimi K3 2.8T长上下文多轮真实智能体场景（AgentX） | 无法达到 @150 | 无法达到 @150 | 无法达到 @150 | $0.527缺少可比较的 B200 基线 Dynamo vLLM · FP4 | $0.091缺少可比较的 B200 基线 Dynamo vLLM · FP4 |
Kimi K2.5/2.6/2.7-Code 1T8K/1K | Dynamo TRTLLM · FP4 · STP | 无法达到 @150 | $1.444比 B200 昂贵 50% vLLM · FP4 · STP | $1.041比 B200 昂贵 8% Dynamo TRTLLM · FP4 · STP | $1.209比 B200 昂贵 25% Dynamo TRTLLM · FP4 · STP |
MiniMax M3 428B8K/1K | vLLM · FP4 | $0.102与 B200 成本基本持平 ATOM¹ · FP4 | $0.123比 B200 昂贵 21% vLLM · FP4 | $0.904比 B200 昂贵 791% Dynamo vLLM · FP8 · STP | $0.268比 B200 昂贵 164% Dynamo vLLM · FP8 |
MiniMax M3 428B长上下文多轮真实智能体场景（AgentX） | TRTLLM · FP4 | $0.010比 B200 便宜 22% ATOM¹ · FP4 | $0.015比 B200 昂贵 19% TRTLLM · FP4 | 无精确 @150 结果 | $0.025比 B200 昂贵 93% Dynamo vLLM · FP4 |
GLM5.2长上下文多轮真实智能体场景（AgentX） | SGLang · FP4 | 无精确 @150 结果 | $0.063比 B200 昂贵 6% SGLang · FP4 | $0.071比 B200 昂贵 19% Dynamo SGLang · FP4 | $0.064比 B200 昂贵 8% Dynamo SGLang · FP4 |
Qwen3.5 397B8K/1K | SGLang · FP4 | $0.107比 B200 昂贵 38% SGLang · FP4 | $0.075与 B200 成本基本持平 SGLang · FP4 | $0.239比 B200 昂贵 209% Dynamo SGLang · FP8 | $0.057比 B200 便宜 26% Dynamo TRTLLM · FP4 |
Qwen3.5 397B长上下文多轮真实智能体场景（AgentX） | SGLang · FP4 | $0.013比 B200 昂贵 34% SGLang · FP4 | $0.015比 B200 昂贵 59% SGLang · FP4 | 无精确 @150 结果 | 无精确 @150 结果 |
- 查看详情
DeepSeek V4 Pro 1.6T
长上下文多轮真实智能体场景（AgentX）
查看详情B200SGLang · FP4MI355X$0.068比 B200 昂贵 25%SGLang · FP4B300$0.081比 B200 昂贵 50%vLLM · FP4GB200 NVL72$0.043比 B200 便宜 21%Dynamo SGLang · FP4GB300 NVL72无精确 @150 结果Kimi K3 2.8T
长上下文多轮真实智能体场景（AgentX）
查看详情B200无法达到 @150MI355X无法达到 @150B300无法达到 @150GB200 NVL72$0.527缺少可比较的 B200 基线Dynamo vLLM · FP4GB300 NVL72$0.091缺少可比较的 B200 基线Dynamo vLLM · FP4Kimi K2.5/2.6/2.7-Code 1T
8K/1K
查看详情B200Dynamo TRTLLM · FP4STPMI355X无法达到 @150B300$1.444比 B200 昂贵 50%vLLM · FP4STPGB200 NVL72$1.041比 B200 昂贵 8%Dynamo TRTLLM · FP4STPGB300 NVL72$1.209比 B200 昂贵 25%Dynamo TRTLLM · FP4STPMiniMax M3 428B
8K/1K
查看详情B200vLLM · FP4MI355X$0.102与 B200 成本基本持平ATOM¹ · FP4B300$0.123比 B200 昂贵 21%vLLM · FP4GB200 NVL72$0.904比 B200 昂贵 791%Dynamo vLLM · FP8STPGB300 NVL72$0.268比 B200 昂贵 164%Dynamo vLLM · FP8MiniMax M3 428B
长上下文多轮真实智能体场景（AgentX）
查看详情B200TRTLLM · FP4MI355X$0.010比 B200 便宜 22%ATOM¹ · FP4B300$0.015比 B200 昂贵 19%TRTLLM · FP4GB200 NVL72无精确 @150 结果GB300 NVL72$0.025比 B200 昂贵 93%Dynamo vLLM · FP4GLM5.2
长上下文多轮真实智能体场景（AgentX）
查看详情B200SGLang · FP4MI355X无精确 @150 结果B300$0.063比 B200 昂贵 6%SGLang · FP4GB200 NVL72$0.071比 B200 昂贵 19%Dynamo SGLang · FP4GB300 NVL72$0.064比 B200 昂贵 8%Dynamo SGLang · FP4Qwen3.5 397B
8K/1K
查看详情B200SGLang · FP4MI355X$0.107比 B200 昂贵 38%SGLang · FP4B300$0.075与 B200 成本基本持平SGLang · FP4GB200 NVL72$0.239比 B200 昂贵 209%Dynamo SGLang · FP8GB300 NVL72$0.057比 B200 便宜 26%Dynamo TRTLLM · FP4Qwen3.5 397B
长上下文多轮真实智能体场景（AgentX）
查看详情B200SGLang · FP4MI355X$0.013比 B200 昂贵 34%SGLang · FP4B300$0.015比 B200 昂贵 59%SGLang · FP4GB200 NVL72无精确 @150 结果GB300 NVL72无精确 @150 结果
— = 无结果。∞ = 缺少 B200 基线。
若某款芯片不支持 FP4 推测解码，则采用次优的可用配置。