使用案例厂商宣传2026-08-12 08:00
统一 Radix 缓存:为混合模型前缀缓存构建单一树结构
LMSYS 团队提出 Unified Radix Cache,用单一 token 键控 radix 拓扑统一管理混合模型的 FULL、SWA 和 MAMBA 组件缓存,各组件独立执行路径、滑动窗口和检查点复用语义。
来源
本页是 RebornArk 收录的摘要与标注,不是原文转载。完整表述以来源页面为准。
同一来源的其他动态
- 2026-10-16SGLang 原生支持 Reflection 的 Beam 并驱动其生产 API
- 2026-10-15SGLang 为 816B 开源多模态 MoE 模型 Muse Spark Open 提供 Day-0 支持
- 2026-08-29Infer-forge:围绕 SGLang 的 Harness、Loop 与 Graph 工程
- 2026-08-28MiniMax-H3 在 8×H200 上基准测试:无损加速 1.95×,最高 6.24×(SSIM 0.76–0.91)
- 2026-08-22Ling-3.0-flash 在 4 块 Blackwell GPU 上如何将批处理 1 解码延迟降低 54%
- 2026-08-22SGLang 推出 Weight Cache Daemon,实现亚秒级引擎重启