GLM 5.2 · B300 · 精度对比
B300: FP4 vs FP8 精度对比
在 B300（NVIDIA Blackwell）上对比 FP4 与 FP8 精度对 GLM 5.2 推理的影响。涵盖各类 LLM 工作负载的吞吐量、延迟与成本。使用下方图表控件切换序列和指标——交互方式与主推理图表相同。
当前精度组合没有可用的插值对比数据。请使用下方图表控件选择一个两种精度均有基准测试数据的序列。
推理性能
不同模型、硬件配置和服务参数下的推理性能指标。
厂商:
部署模式:
投机解码:
在 B300（NVIDIA Blackwell）上对比 FP4 与 FP8 精度对 GLM 5.2 推理的影响。涵盖各类 LLM 工作负载的吞吐量、延迟与成本。使用下方图表控件切换序列和指标——交互方式与主推理图表相同。
不同模型、硬件配置和服务参数下的推理性能指标。