功能更新厂商宣传2026-07-09 08:00
原生速度的 vLLM transformers 建模后端
Hugging Face 宣布 transformers vLLM 后端现与手写原生 vLLM 实现速度相当甚至更快。模型作者无需移植代码,即可自动利用 transformers 获得超快推理。测试使用 Qwen3-4B(单 GPU)、Qwen3-32B(张量并行)和 Qwen3-235B-A22B-FP8 MoE(数据+专家并行)三种配置,吞吐量均达到或超过原生。该后端通过 torch.fx 静态分析图、AST 重写代码实现动态层融合,支持张量/管道/专家并行及 torch.compile。用户仅需添加 `--model-impl transformers` 标志。目前不支持线性注意力模型但即将支持。
来源
本页是 RebornArk 收录的摘要与标注,不是原文转载。完整表述以来源页面为准。
同一来源的其他动态
- 2026-10-04Microsoft ThinkingBox 在 Hugging Face 上发布,以数据库终态和 20 次重复评测智能体
- 2026-09-30NVIDIA 发布开源表格基础模型 Kumo Tabular,在 TabArena 等四项基准排名第一
- 2026-09-29H Company 发布 Holo4 智能体模型系列,含 27B 与 35B-A3B 两个版本
- 2026-09-23transformers 支持直接加载 GGUF 量化模型,本地推理性能接近 llama.cpp
- 2026-09-11Hugging Face 用 Gradio Workflow 重建 Workflow1111,复刻 AUTOMATIC1111 主要功能
- 2026-09-04Hugging Face 发布开源工具 funes,为编码智能体提供可本地持有的记忆层