Gated DeltaNet

143: 阿里、Kimi都在用的DeltaNet是什么？|与杨松琳聊线性注意力新改进

2025年11月30日 · 1:27:20

本期《晚点聊》邀请DeltaNet核心贡献者、MIT在读博士及开源小组FLA发起者杨松琳，解释线性注意力机制和DeltaNet从提出到被业界采用的演进脉络。她指出，DeltaNet源自2021年的论文《Linear Transformers Are Secretly Fast Weight Programmers》，它用Delta Rule强化模型的上下文检索能力，但当时缺少short convolution、输出门控等现代架构元素，也没有高效的并行实现，因此长期不受关注；直到她2024年提出《Parallelizing Linear Transformers with the Delta Rule》等算法，才让DeltaNet可以高效训练和扩展。节目中她也回应了最新行业动向：阿里Qwen 3.0 Next在注意力层混合了Gated DeltaNet与Gated Attention，Kimi Linear的KDA则是对Gated DeltaNet的改进，将粗粒度衰减细化为每个维度独立；而MiniMax M2从M1使用的线性注意力退回Full Attention，原因是线性注意力在多跳推理、状态追踪等Agentic能力上表现欠佳。杨松琳认为，线性注意力在推理效率和状态追踪上有独特价值，即便算力无限，它在高质量数据有限时也能凭借归纳偏更高效地学习；而稀疏注意力虽然单层表达更接近Full Attention，但KV cache不减少，长文本下仍是瓶颈。她还分享了自己从算法出身自学CUDA、受FlashAttention启发发起FLA开源社区的经历，以及未来可能将稀疏注意力和线性注意力混合（如DSA+KDA）的构想。