DeepSeek V4 Pro 1.6T
8K/1K
B200
Dynamo SGLang · FP4
MI355X
$0.496比 B200 昂贵 96%
ATOM¹ · FP4
B300
$0.365比 B200 昂贵 45%
SGLang · FP4
GB200 NVL72
$2.668比 B200 昂贵 958%
Dynamo vLLM · FP4
GB300 NVL72
$0.180比 B200 便宜 29%
Dynamo SGLang · FP4
推理每百万 token 成本
超大规模云（hyperscaler）成本 ↓ 越低越好 来源：InferenceX 与 SemiAnalysis Market July 2026 AI Cloud TCO Model
| 模型 · 场景 | B200 · 基准 | MI355X | B300 | GB200 NVL72 | GB300 NVL72 |
|---|---|---|---|---|---|
DeepSeek V4 Pro 1.6T8K/1K | Dynamo SGLang · FP4 | $0.496比 B200 昂贵 96% ATOM¹ · FP4 | $0.365比 B200 昂贵 45% SGLang · FP4 | $2.668比 B200 昂贵 958% Dynamo vLLM · FP4 | $0.180比 B200 便宜 29% Dynamo SGLang · FP4 |
DeepSeek V4 Pro 1.6T长上下文多轮真实智能体场景（AgentX） | SGLang · FP4 | $0.029比 B200 便宜 23% MoRI SGLang · FP4 | $0.083比 B200 昂贵 120% SGLang · FP4 | $0.025比 B200 便宜 33% Dynamo SGLang · FP4 | $0.018比 B200 便宜 51% Dynamo TRTLLM · FP4 |
Kimi K3 2.8T长上下文多轮真实智能体场景（AgentX） | Dynamo vLLM · FP4 | 无精确 @100 结果 | $0.173比 B200 昂贵 5% vLLM · FP4 | $0.260比 B200 昂贵 58% Dynamo vLLM · FP4 | $0.058比 B200 便宜 65% Dynamo vLLM · FP4 |
Kimi K2.5/2.6/2.7-Code 1T8K/1K | Dynamo TRTLLM · FP4 · STP | $0.263比 B200 便宜 17% ATOM¹ · FP4 · STP | $0.369比 B200 昂贵 17% vLLM · FP4 · STP | $0.355比 B200 昂贵 12% Dynamo TRTLLM · FP4 · STP | $0.438比 B200 昂贵 39% Dynamo TRTLLM · FP4 · STP |
MiniMax M3 428B8K/1K | vLLM · FP4 | $0.075与 B200 成本基本持平 ATOM¹ · FP4 | $0.088比 B200 昂贵 19% vLLM · FP4 | $0.295比 B200 昂贵 300% Dynamo vLLM · FP8 · STP | $0.104比 B200 昂贵 41% Dynamo vLLM · FP8 |
MiniMax M3 428B长上下文多轮真实智能体场景（AgentX） | TRTLLM · FP4 | $0.013比 B200 昂贵 25% vLLM · FP4 | $0.009比 B200 便宜 10% TRTLLM · FP4 | $0.014比 B200 昂贵 33% Dynamo vLLM · FP4 | $0.020比 B200 昂贵 96% Dynamo vLLM · FP4 |
GLM5.2长上下文多轮真实智能体场景（AgentX） | SGLang · FP4 | $0.068比 B200 昂贵 54% SGLang · FP8 | $0.041比 B200 便宜 7% SGLang · FP4 | $0.063比 B200 昂贵 45% Dynamo SGLang · FP4 | 无精确 @100 结果 |
Qwen3.5 397B8K/1K | TRTLLM · FP4 | $0.075比 B200 昂贵 37% SGLang · FP4 | $0.055与 B200 成本基本持平 SGLang · FP4 | $0.360比 B200 昂贵 559% Dynamo SGLang · FP8 · STP | $0.042比 B200 便宜 24% Dynamo TRTLLM · FP4 |
Qwen3.5 397B长上下文多轮真实智能体场景（AgentX） | SGLang · FP4 | $0.007与 B200 成本基本持平 SGLang · FP4 | $0.011比 B200 昂贵 45% SGLang · FP4 | $0.007与 B200 成本基本持平 Dynamo SGLang · FP4 | $0.012比 B200 昂贵 70% Dynamo SGLang · FP4 |
- 查看详情
DeepSeek V4 Pro 1.6T
长上下文多轮真实智能体场景（AgentX）
查看详情B200SGLang · FP4MI355X$0.029比 B200 便宜 23%MoRI SGLang · FP4B300$0.083比 B200 昂贵 120%SGLang · FP4GB200 NVL72$0.025比 B200 便宜 33%Dynamo SGLang · FP4GB300 NVL72$0.018比 B200 便宜 51%Dynamo TRTLLM · FP4Kimi K3 2.8T
长上下文多轮真实智能体场景（AgentX）
查看详情B200Dynamo vLLM · FP4MI355X无精确 @100 结果B300$0.173比 B200 昂贵 5%vLLM · FP4GB200 NVL72$0.260比 B200 昂贵 58%Dynamo vLLM · FP4GB300 NVL72$0.058比 B200 便宜 65%Dynamo vLLM · FP4Kimi K2.5/2.6/2.7-Code 1T
8K/1K
查看详情B200Dynamo TRTLLM · FP4STPMI355X$0.263比 B200 便宜 17%ATOM¹ · FP4STPB300$0.369比 B200 昂贵 17%vLLM · FP4STPGB200 NVL72$0.355比 B200 昂贵 12%Dynamo TRTLLM · FP4STPGB300 NVL72$0.438比 B200 昂贵 39%Dynamo TRTLLM · FP4STPMiniMax M3 428B
8K/1K
查看详情B200vLLM · FP4MI355X$0.075与 B200 成本基本持平ATOM¹ · FP4B300$0.088比 B200 昂贵 19%vLLM · FP4GB200 NVL72$0.295比 B200 昂贵 300%Dynamo vLLM · FP8STPGB300 NVL72$0.104比 B200 昂贵 41%Dynamo vLLM · FP8MiniMax M3 428B
长上下文多轮真实智能体场景（AgentX）
查看详情B200TRTLLM · FP4MI355X$0.013比 B200 昂贵 25%vLLM · FP4B300$0.009比 B200 便宜 10%TRTLLM · FP4GB200 NVL72$0.014比 B200 昂贵 33%Dynamo vLLM · FP4GB300 NVL72$0.020比 B200 昂贵 96%Dynamo vLLM · FP4GLM5.2
长上下文多轮真实智能体场景（AgentX）
查看详情B200SGLang · FP4MI355X$0.068比 B200 昂贵 54%SGLang · FP8B300$0.041比 B200 便宜 7%SGLang · FP4GB200 NVL72$0.063比 B200 昂贵 45%Dynamo SGLang · FP4GB300 NVL72无精确 @100 结果Qwen3.5 397B
8K/1K
查看详情B200TRTLLM · FP4MI355X$0.075比 B200 昂贵 37%SGLang · FP4B300$0.055与 B200 成本基本持平SGLang · FP4GB200 NVL72$0.360比 B200 昂贵 559%Dynamo SGLang · FP8STPGB300 NVL72$0.042比 B200 便宜 24%Dynamo TRTLLM · FP4Qwen3.5 397B
长上下文多轮真实智能体场景（AgentX）
查看详情B200SGLang · FP4MI355X$0.007与 B200 成本基本持平SGLang · FP4B300$0.011比 B200 昂贵 45%SGLang · FP4GB200 NVL72$0.007与 B200 成本基本持平Dynamo SGLang · FP4GB300 NVL72$0.012比 B200 昂贵 70%Dynamo SGLang · FP4
— = 无结果。∞ = 缺少 B200 基线。
若某款芯片不支持 FP4 推测解码，则采用次优的可用配置。