DeepSeek V4 Pro 1.6T
8K/1K
B200
TRTLLM · FP4
MI355X
无法达到 @200
B300
$1.392比 B200 便宜 9%
TRTLLM · FP4
GB200 NVL72
$5.922比 B200 昂贵 287%
Dynamo SGLang · FP4
GB300 NVL72
$1.797比 B200 昂贵 17%
Dynamo TRTLLM · FP4
推理每百万 token 成本
超大规模云（hyperscaler）成本 ↓ 越低越好 来源：InferenceX 与 SemiAnalysis Market July 2026 AI Cloud TCO Model
| 模型 · 场景 | B200 · 基准 | MI355X | B300 | GB200 NVL72 | GB300 NVL72 |
|---|---|---|---|---|---|
DeepSeek V4 Pro 1.6T8K/1K | TRTLLM · FP4 | 无法达到 @200 | $1.392比 B200 便宜 9% TRTLLM · FP4 | $5.922比 B200 昂贵 287% Dynamo SGLang · FP4 | $1.797比 B200 昂贵 17% Dynamo TRTLLM · FP4 |
DeepSeek V4 Pro 1.6T长上下文多轮真实智能体场景（AgentX） | 无法达到 @200 | 无法达到 @200 | 无法达到 @200 | 无精确 @200 结果 | 无法达到 @200 |
Kimi K3 2.8T长上下文多轮真实智能体场景（AgentX） | 无法达到 @200 | 无法达到 @200 | 无法达到 @200 | 无法达到 @200 | $0.181缺少可比较的 B200 基线 Dynamo vLLM · FP4 |
Kimi K2.5/2.6/2.7-Code 1T8K/1K | 无法达到 @200 | 无法达到 @200 | 无法达到 @200 | 无法达到 @200 | 无法达到 @200 |
MiniMax M3 428B8K/1K | vLLM · FP4 | $0.154比 B200 昂贵 18% ATOM¹ · FP4 | $0.168比 B200 昂贵 29% vLLM · FP4 | 无法达到 @200 | $0.487比 B200 昂贵 275% Dynamo vLLM · FP8 |
MiniMax M3 428B长上下文多轮真实智能体场景（AgentX） | TRTLLM · FP4 | $0.019比 B200 便宜 5% ATOM¹ · FP4 | $0.024比 B200 昂贵 18% TRTLLM · FP4 | 无精确 @200 结果 | $0.039比 B200 昂贵 97% Dynamo vLLM · FP4 |
GLM5.2长上下文多轮真实智能体场景（AgentX） | SGLang · FP8 | 无精确 @200 结果 | $0.170比 B200 昂贵 21% SGLang · FP8 | 无精确 @200 结果 | 无精确 @200 结果 |
Qwen3.5 397B8K/1K | SGLang · FP4 | $0.145比 B200 昂贵 42% SGLang · FP4 | $0.106与 B200 成本基本持平 SGLang · FP4 | $0.365比 B200 昂贵 257% Dynamo SGLang · FP8 | $0.066比 B200 便宜 36% Dynamo TRTLLM · FP4 |
Qwen3.5 397B长上下文多轮真实智能体场景（AgentX） | SGLang · FP8 | $0.017比 B200 便宜 35% SGLang · FP4 | $0.019比 B200 便宜 28% SGLang · FP4 | 无精确 @200 结果 | 无精确 @200 结果 |
- 查看详情
DeepSeek V4 Pro 1.6T
长上下文多轮真实智能体场景（AgentX）
查看详情B200无法达到 @200MI355X无法达到 @200B300无法达到 @200GB200 NVL72无精确 @200 结果GB300 NVL72无法达到 @200Kimi K3 2.8T
长上下文多轮真实智能体场景（AgentX）
查看详情B200无法达到 @200MI355X无法达到 @200B300无法达到 @200GB200 NVL72无法达到 @200GB300 NVL72$0.181缺少可比较的 B200 基线Dynamo vLLM · FP4Kimi K2.5/2.6/2.7-Code 1T
8K/1K
查看详情B200无法达到 @200MI355X无法达到 @200B300无法达到 @200GB200 NVL72无法达到 @200GB300 NVL72无法达到 @200MiniMax M3 428B
8K/1K
查看详情B200vLLM · FP4MI355X$0.154比 B200 昂贵 18%ATOM¹ · FP4B300$0.168比 B200 昂贵 29%vLLM · FP4GB200 NVL72无法达到 @200GB300 NVL72$0.487比 B200 昂贵 275%Dynamo vLLM · FP8MiniMax M3 428B
长上下文多轮真实智能体场景（AgentX）
查看详情B200TRTLLM · FP4MI355X$0.019比 B200 便宜 5%ATOM¹ · FP4B300$0.024比 B200 昂贵 18%TRTLLM · FP4GB200 NVL72无精确 @200 结果GB300 NVL72$0.039比 B200 昂贵 97%Dynamo vLLM · FP4GLM5.2
长上下文多轮真实智能体场景（AgentX）
查看详情B200SGLang · FP8MI355X无精确 @200 结果B300$0.170比 B200 昂贵 21%SGLang · FP8GB200 NVL72无精确 @200 结果GB300 NVL72无精确 @200 结果Qwen3.5 397B
8K/1K
查看详情B200SGLang · FP4MI355X$0.145比 B200 昂贵 42%SGLang · FP4B300$0.106与 B200 成本基本持平SGLang · FP4GB200 NVL72$0.365比 B200 昂贵 257%Dynamo SGLang · FP8GB300 NVL72$0.066比 B200 便宜 36%Dynamo TRTLLM · FP4Qwen3.5 397B
长上下文多轮真实智能体场景（AgentX）
查看详情B200SGLang · FP8MI355X$0.017比 B200 便宜 35%SGLang · FP4B300$0.019比 B200 便宜 28%SGLang · FP4GB200 NVL72无精确 @200 结果GB300 NVL72无精确 @200 结果
— = 无结果。∞ = 缺少 B200 基线。
若某款芯片不支持 FP4 推测解码，则采用次优的可用配置。