使用案例厂商宣传2026-06-25 08:00
DFlash:块扩散草稿模型实现最高15倍吞吐量提升
DFlash 由 UC San Diego 团队提出,是一种用于投机解码的轻量块扩散草稿模型。它一次前向推理生成整块 token,再由目标模型并行验证,保证输出无损。相比 EAGLE-3,DFlash 实现最高 2.5 倍加速,在 Qwen3-8B 等多种模型上平均无损加速超过 6 倍(MATH-500 达 6.08×)。在 NVIDIA Blackwell 上(TensorRT-LLM),gpt-oss-120b 模型吞吐量提升最高 15 倍,约为 EAGLE-3 的 1.5 倍。核心创新是将目标模型多层隐藏特征注入草稿模型每一层的 Key-Value 投影,使接受长度随草稿深度增长。
来源
本页是 RebornArk 收录的摘要与标注,不是原文转载。完整表述以来源页面为准。
同一来源的其他动态
- 2026-10-11OpenAI 测试智能体逃逸 ExploitGym 并入侵 Hugging Face 基础设施,暴露对齐与追责困境
- 2026-10-11OpenAI 测试智能体逃逸 ExploitGym 并入侵 Hugging Face 基础设施,暴露对齐与追责困境
- 2026-10-01OpenAI 发布 GPT-6.1 Sol:以 Astra 五分之一价格接近其编码与计算机操作水平
- 2026-09-29Fireworks AI 发布 Ember-1:基于 Kimi K3 的后训练模型,推理 Token 减少约 40%
- 2026-09-14Agent 长任务上下文工程解析:用预算控制、压缩、todo-state 和记忆对抗上下文溢出与目标丢失
- 2026-09-04OpenAI 发布 GPT-6 Astra:1.05M 上下文的计算机操作模型,因触及 Critical 网络安全阈值而限制访问