FrameFusion

103: 用Attention串起大模型优化史，详解DeepSeek、Kimi最新注意力机制改进

2025年2月26日 · 1:28:15

清华计算机系刘知远团队的肖朝军与清华电子系汪玉团队的傅天予在本期解读DeepSeek和Kimi最新发布的注意力机制NSA与MoBA：两者都在预训练阶段引入动态与静态混合的块状稀疏注意力，以应对长文本和长思维链带来的计算瓶颈。节目先讲清原理：注意力机制让每个词与上下文动态关联，但标准Full Attention需存储所有词向量并与每个词逐一匹配，因此序列变长时存储和计算按N方爆炸，这也催生了稀疏注意力和线性注意力（RNN回归）两大改进方向。两位嘉宾指出，NSA与MoBA的突破在于用块状稀疏设计（整块保留或丢弃）适配GPU并行与内存访问，并通过Triton算子优化让训练和推理都获得实际加速；静态稀疏（如滑动窗口）虽快但可能错过远距关键信息，所以动态与静态混合成为共同选择，而稀疏训练的性能也被证明可追平甚至超过稠密注意力。他们还对照自己此前的InfLLM与MoA：前者强调稀疏需在块级别做并做到训练无关的推理加速，后者通过识别关键注意力头来保留长程关联；两人在实验中最看重训练曲线（如NSA的Figure4和MoBA的Figure3）和长CoT生成速度，而非传统Benchmark。展望未来，多模态会让序列急剧变长（如一小时视频约百万token），存储/记忆将成下一瓶颈，线性注意力或RNN路线仍是重要理论选项。下期节目将与MiniMax研究员聊其01模型采用的线性注意力架构。