超越下一个 token 预测：扩散语言模型与自回归语言模型的性能对比研究

苹果机器学习研究团队系统对比了扩散语言模型（DLMs）与自回归语言模型（ARMs）的性能表现。ARMs 虽在多项 NLP 任务上精度领先，但因逐 token 生成的顺序依赖导致算术强度较低。DLMs 作为新兴范式展现出潜力，研究对其性能特征进行了详细刻画。