使用案例厂商宣传2026-10-03 05:09

Baseten 工程师实测:LLM 生成的推理引擎比 vLLM 快最多 90%

Baseten 工程师参考 MetaInfer 论文,让 Claude Code(Fable 5)为 Qwen-3.6-35B-A3B(NVFP4,单张 B200)自动构建推理引擎 VibeQwen,单流解码比 vLLM 0.25.1 快 90%,首 token 从 28ms 降至 12ms,并发 32 时吞吐高 71%。

来源

B

Baseten 工程博客(网页)

baseten.co

收录于 2026-10-04 10:14

打开原文 ↗

本页是 RebornArk 收录的摘要与标注,不是原文转载。完整表述以来源页面为准。