微型语言模型中干扰权重的特征刻画

Anthropic 训练了一个单层 transformer，通过将模型分解为 token、位置、特征和 logits 间的虚拟权重，首次在训练过的 transformer 内直接演示了干扰权重的存在及其对训练损失的影响。