Mamba

104: 我给线性注意力找“金主”，字节 say No，MiniMax say Yes

2025年3月3日 · 1:26:50

主播曼祺与MiniMax高级研究总监钟怡然聊全球首个把线性注意力做到4560亿参数级的大模型MiniMax-01；钟怡然称这证明线性注意力可以scale up，但业界仍非共识。这也是MiniMax首次开源，目的是展示架构创新并吸引人才。她解释线性注意力通过调整QKV矩阵计算顺序将复杂度从二次降到线性；MiniMax-01每7层线性注意力混1层Softmax注意力，弥补纯线性注意力召回缺陷，100万Token序列下比全Softmax注意力快2700倍，且混合架构效果优于纯Transformer。她还回顾了自己从2021年押注这个“看起来很美好的泡泡”的经历：自称是全球最懂线性注意力的一批人，找“金主”时字节say no，MiniMax say yes；创始人闫俊杰以约50%把握拍板投入公司超80%研发资源，团队此前做了3700次预训练测试验证可扩展性。她认为稀疏注意力如NSA、Mobile有损且上限低，DeepSeek的NSA只是把稀疏注意力工程化提速；而线性注意力是无损优化，序列越长优势越大。MiniMax计划4月发布整合线性架构、原生多模态和强化学习的深度推理模型。节目最后聊到她的AGI愿景——能持续自我学习的模型，以及DeepSeek爆火后研发加班追赶推理模型的节奏。

103: 用Attention串起大模型优化史，详解DeepSeek、Kimi最新注意力机制改进

2025年2月26日 · 1:28:15

清华计算机系刘知远团队的肖朝军与清华电子系汪玉团队的傅天予在本期解读DeepSeek和Kimi最新发布的注意力机制NSA与MoBA：两者都在预训练阶段引入动态与静态混合的块状稀疏注意力，以应对长文本和长思维链带来的计算瓶颈。节目先讲清原理：注意力机制让每个词与上下文动态关联，但标准Full Attention需存储所有词向量并与每个词逐一匹配，因此序列变长时存储和计算按N方爆炸，这也催生了稀疏注意力和线性注意力（RNN回归）两大改进方向。两位嘉宾指出，NSA与MoBA的突破在于用块状稀疏设计（整块保留或丢弃）适配GPU并行与内存访问，并通过Triton算子优化让训练和推理都获得实际加速；静态稀疏（如滑动窗口）虽快但可能错过远距关键信息，所以动态与静态混合成为共同选择，而稀疏训练的性能也被证明可追平甚至超过稠密注意力。他们还对照自己此前的InfLLM与MoA：前者强调稀疏需在块级别做并做到训练无关的推理加速，后者通过识别关键注意力头来保留长程关联；两人在实验中最看重训练曲线（如NSA的Figure4和MoBA的Figure3）和长CoT生成速度，而非传统Benchmark。展望未来，多模态会让序列急剧变长（如一小时视频约百万token），存储/记忆将成下一瓶颈，线性注意力或RNN路线仍是重要理论选项。下期节目将与MiniMax研究员聊其01模型采用的线性注意力架构。