功能更新厂商宣传2026-08-22 08:00
SGLang 推出 Weight Cache Daemon,实现亚秒级引擎重启
SGLang 团队推出 Weight Cache Daemon,通过 CUDA IPC 零拷贝映射将模型权重加载从约 495 秒降至约 0.63 秒(约 785 倍加速),端到端启动时间减少 93.9%。该守护进程在 GPU 内存中持久化后量化权重,支持多实例共享和亚秒级主备切换,是 Fast Engine Recovery Framework 的第一阶段。
来源
本页是 RebornArk 收录的摘要与标注,不是原文转载。完整表述以来源页面为准。
同一来源的其他动态
- 2026-10-16SGLang 原生支持 Reflection 的 Beam 并驱动其生产 API
- 2026-10-15SGLang 为 816B 开源多模态 MoE 模型 Muse Spark Open 提供 Day-0 支持
- 2026-08-29Infer-forge:围绕 SGLang 的 Harness、Loop 与 Graph 工程
- 2026-08-28MiniMax-H3 在 8×H200 上基准测试:无损加速 1.95×,最高 6.24×(SSIM 0.76–0.91)
- 2026-08-22Ling-3.0-flash 在 4 块 Blackwell GPU 上如何将批处理 1 解码延迟降低 54%
- 2026-08-21Mooncake 如何为 Miles 强化学习系统实现高效批量 Rollout 数据传输