使用案例厂商宣传2026-07-15 08:00
LMSYS 与 SGLang 团队为 GLM-5.2 NVFP4 推出推理优化,8×B300 单 batch 解码超 500 TPS
LMSYS 与 SGLang 团队针对智谱 GLM-5.2 NVFP4 模型在 Grace Blackwell 硬件上推出多项优化。运行时方面,Spec V2 重叠调度消除 GPU 气泡,端到端 TPS 提升 11%;IndexShare MTP 在 draft 步骤间复用 DSA indexer 的 top-k,长上下文下 draft 步骤成本降低约 1.9 倍。内核方面,TopK-V2 将 TopK 视为选择问题,80K ISL 下平均延迟从 40.7 µs 降至 17.5 µs(2.33× 加速),1M ISL 下从 372.1 µs 降至 36.6 µs(10.17× 加速)。优化后 8×B300 单 batch 解码吞吐超…
来源
本页是 RebornArk 收录的摘要与标注,不是原文转载。完整表述以来源页面为准。
同一来源的其他动态
- 2026-10-16SGLang 原生支持 Reflection 的 Beam 并驱动其生产 API
- 2026-10-15SGLang 为 816B 开源多模态 MoE 模型 Muse Spark Open 提供 Day-0 支持
- 2026-08-29Infer-forge:围绕 SGLang 的 Harness、Loop 与 Graph 工程
- 2026-08-28MiniMax-H3 在 8×H200 上基准测试:无损加速 1.95×,最高 6.24×(SSIM 0.76–0.91)
- 2026-08-22Ling-3.0-flash 在 4 块 Blackwell GPU 上如何将批处理 1 解码延迟降低 54%
- 2026-08-22SGLang 推出 Weight Cache Daemon,实现亚秒级引擎重启