功能更新厂商宣传2026-08-22 08:00

SGLang 推出 Weight Cache Daemon,实现亚秒级引擎重启

SGLang 团队推出 Weight Cache Daemon,通过 CUDA IPC 零拷贝映射将模型权重加载从约 495 秒降至约 0.63 秒(约 785 倍加速),端到端启动时间减少 93.9%。该守护进程在 GPU 内存中持久化后量化权重,支持多实例共享和亚秒级主备切换,是 Fast Engine Recovery Framework 的第一阶段。

来源

L

LMSYS Blog

lmsys.org

收录于 2026-10-15 23:56

打开原文 ↗

本页是 RebornArk 收录的摘要与标注,不是原文转载。完整表述以来源页面为准。

同一来源的其他动态