GLM 5.2 · MI355X · 精度对比
MI355X: FP4 vs FP8 精度对比
在 MI355X（AMD CDNA 4）上对比 FP4 与 FP8 精度对 GLM 5.2 推理的影响。涵盖各类 LLM 工作负载的吞吐量、延迟与成本。使用下方图表控件切换序列和指标——交互方式与主推理图表相同。
当前精度组合没有可用的插值对比数据。请使用下方图表控件选择一个两种精度均有基准测试数据的序列。
推理性能
不同模型、硬件配置和服务参数下的推理性能指标。
厂商:
部署模式:
投机解码:
在 MI355X（AMD CDNA 4）上对比 FP4 与 FP8 精度对 GLM 5.2 推理的影响。涵盖各类 LLM 工作负载的吞吐量、延迟与成本。使用下方图表控件切换序列和指标——交互方式与主推理图表相同。
不同模型、硬件配置和服务参数下的推理性能指标。