使用案例厂商宣传2026-08-29 08:00

Infer-forge:围绕 SGLang 的 Harness、Loop 与 Graph 工程

Infer-forge 是一套围绕 SGLang 推理优化的内部工程系统,通过 MonoRepo、Harness、Task Loop 与 Task Graph 四种结构,将部署点约束链(模型、SLO、拓扑、运行时、加速平台)转化为可复现、可审计的工程流程。

来源

L

LMSYS Blog

lmsys.org

收录于 2026-10-15 23:55

打开原文 ↗

本页是 RebornArk 收录的摘要与标注,不是原文转载。完整表述以来源页面为准。

同一来源的其他动态