Kimi

179: 蒸馏风暴：一场无人公开谈论的技术竞赛

2026年8月16日 · 49:33

《晚点聊》主播高洪浩与《晚点 LatePost》科技报道负责人程曼祺在本期中拆解AI模型蒸馏：它并非简单抄答案，而是有门槛的复杂系统工程。围绕字节跳动，节目披露张一鸣在内部会上反对蒸馏，理由是只能逼近难超越，且会让组织依赖捷径、丧失长期探索动力；程曼祺也分析Seed 2.1可能曾用蒸馏，字节在讨论后仍决定不走这条路。节目梳理了蒸馏出圈的关键节点——OpenAI o1开启推理模型与DeepSeek-R1发布推动规模扩大，并详解大规模蒸馏的账号与数据管线know-how、隐藏行为的难度，以及学生模型理论上可超越教师但代价是组织激励偏向确定性路径。此外，节目提及Anthropic曾点名DeepSeek、Kimi、MiniMax和阿里千问疑似蒸馏，并讨论蒸馏对商业模式的冲击：更便宜的智能让许多任务‘够用’，V4和Grok这类高性价比模型正在‘斩杀’高价低能的模型。

176: 姚顺雨，来到腾讯300天

2026年7月31日 · 1:39:26

本期《晚点聊》与主笔高洪浩复盘姚顺雨空降腾讯、改造混元大模型团队的300天，核心判断是她在刘炽平（Martin）支持下快速换掉预训练、后训练、测评、Infra等关键岗位，引入原DeepSeek的萧学峰、张弛等人，以接近300B参数的小尺寸混元3作为首秀，目的不是登顶而是让团队磨合、重振士气。她本人也被评价为不像纯技术Leader，而是重视组织，经常找一线同学和实习生要反馈。姚顺雨为何选择腾讯而非字节？她认为下半场的关键是找到值得解决的问题，腾讯拥有社交、办公、内容、游戏等最丰富的Context（场景与数据），字节的DAU虽大但画像同质化。高洪浩还披露混元与微信自研WeLM“没有很直接的关系”，张小龙因极度在意隐私和数据可控更倾向自研，两套模型大概率长期并存，刘炽平希望腾讯面对AI能“拧成一股绳”，这仍是联邦制腾讯的长期变数。节目也讲了Kimi K3发布后混元内部的声音分化：一派认为后来者可用更先进架构和数据居上，另一派质疑小模型的意义；同时腾讯把元宝、WorkBuddy、IMA等AI原生产品集中到CSIG，混元通过后训练团队与游戏、新闻业务合作，并建设全公司共用的强化学习平台。最后讨论大模型竞争：第一梯队模型是否足以定义胜负、从程序员到更广泛白领的商业化拐点何时到来，以及今年下半年可能的泡沫转折。

163: 详解DeepSeekV4：Infra巨鲸、百万上下文走进现实、极致效率优化

2026年4月30日 · 1:33:52

本集晚点聊详解DeepSeek V4，SGLang核心开发者赵晨阳（RadixArk工程师）和UCLA博士生刘益枫判定：它并非范式创新，而是沿R1的“测试时扩展”范式，用混合稀疏注意力、Muon优化器、mHC、FP4等互相耦合的工程优化，让百万上下文从理论进入实用。V4放弃了V3的MLA架构，改用滑动窗口+CSA稀疏压缩+HCA稠密压缩的层间分工，换来激活参数占比仅3%、单token推理FLOPs仅V3.2的27%、KV cache占用仅10%的极致效率；但两人也指出，解决同一问题的token消耗反而增加，有“高压水枪浇花”式的浪费。他们具体拆解了四个新特性：Muon优化器已成为检验工程能力的试金石，V4将Kimi Muon Lite的0.2系数改为0.18；mHC是DeepSeek对Hyper-Connection的稳定化改造；Infra侧TileLang降低新kernel开发成本，FP4训练让采样和部署一致，实现真正的物理提速。此外，DeepSeek这次不再披露训练成本，两人认为最终训练成本只是冰山一角；发布延期源于四个新feature耦合导致组合爆炸，但团队流动率极低。节目还讨论了DeepSeek内部评测中9%工程师不会将V4 Pro作为编程首选，以及中美模型路线分化：美国公司追新能力、高定价，中国公司追性价比和工程极限。关于评测，他们认为benchmark会过时饱和，evaluation才是永恒追求；V4也未提出新的能力域，但它的极致压缩和低单token成本，可能成为后续开源模型的起点。

158: V4发布前的DeepSeek：人才竞争、组织特点和独特的AGI目标|Solo

2026年4月6日 · 30:44

梁文锋领导的DeepSeek正因人才竞争、期权定价模糊和AGI目标分歧而经历人员变动，但这家不到200人的实验室仍保持不加班、重原创的独特氛围。主播程曼祺在节目中梳理了近期核心研究员离职：王炳轩被腾讯姚顺雨挖走，魏昊然、郭达雅可能加入大厂，阮冲去了自动驾驶公司元荣启行；直接诱因包括腾讯实习日薪被曝达5500元、字节Seed曾开出4000元，而DeepSeek无明确估值使期权价值难预期，MiniMax和智谱上市后股价翻五六倍也形成财富效应对比。更底层的张力是目标分歧：梁文锋重视国产生态（如换用Tailon算子库）和原创探索（GENIUS、Prover、OCR等），不单纯卷性能，这与他“每天高质量输出难超6～8小时、反对加班”的理念一致，却与外界期待其每次出手都像R1一样惊艳并不匹配。组织上，DeepSeek保持扁平，梁文锋直接带基模架构团队，周会向其他组开放，小团队可自发立项；产品端仅小几十人，至今未涉及AI编程、OpenClaw等热门方向，但梁文锋从2025年秋起强调产品化和商业化，3月招聘已首次提到要招agent产品经理。关于V4，节目称其或于4月开源，至少包括接近300B和500～600B的版本；但同时DeepSeek在OpenClaw模型消耗量中整体排第12（剔除免费模型后进前十），迭代频率低于智谱、MiniMax和Kimi。梁文锋本人几乎不融资、不见投资人，曾长期住酒店、现在租房，也不参与团建，被熟悉的人评价为“特别能抵抗噪音”；节目最后呼吁以平常心看待这家公司。

156: 与 Henry 的「AI季报 26Q1」：OpenClaw、OpenAI vs Anthropic的三重对阵、自进化

2026年3月31日 · 1:52:13

本期《晚点聊》26Q1 AI季报中，硅谷投资人、MoE Capital创始合伙人Henry Yin与主播程曼祺复盘了OpenClaw的爆红、OpenAI与Anthropic的三重对抗和AI自我进化等浪潮，核心判断是：编码智能体正从模型竞争转向系统与生态竞争。他们指出OpenClaw是“AI的iPhone时刻”——通过本地运行、接入聊天App、定时任务和长期记忆，它让AI真正“干活”，成为个人Agent的灯塔；但它也有成本高、不稳定和安全风险，例如Meta对齐负责人因上下文压缩导致安全指令丢失、被agent疯狂删邮件的“生死时速”。Henry还解释了OpenClaw为什么在中国比美国更出圈：飞书、微信等聊天优先生态和便宜的国产开源模型，让它与MiniMax、Kimi等形成天然组合。围绕OpenAI与Anthropic，节目对比了Codex与Claude Code、Opus 4.6与GPT-5.4，称Anthropic收入三个月从90亿美元增至190亿美元，Claude Code年化收入25亿美元超过Cursor的20亿美元，而OpenAI已内部反思“因支线任务分心”。他们还讨论了Andrej Karpathy的AutoResearch：AI在没有人类干预下自主优化训练代码，使GPT-2级模型训练时间缩短约20%，让自进化更贴近现实；同时探讨了持续学习（记忆vs权重更新）、世界模型和新的创业机会。最后，Henry分享了硅谷科技大裁员——Amazon裁1.6万人、Block裁40%、Meta计划裁20%且以全员Token消耗量衡量效率，并展望下季度DeepSeek-V4等看点。

150: 【年末AI回顾】从模型到应用、从技术到商战，拽住洪流中的意义之线|Solo

2026年2月9日 · 1:58:22

曼祺在晚点聊年终特辑中单口复盘2025年AI：1月20日DeepSeek R1与Kimi K1.5同日发布，R1以开源、详细技术报告和557万美元训练成本破圈，推动模型转向Agentic、原生多模态与Coding能力，Claude Code被视为通用Agent，应用进入Agent元年，但Sora App三十天留存率低于8%。巨头之战中，字节跳动豆包成为中国首个日活破亿的AI产品，阿里千问App重做生活助手，腾讯引入姚顺雨改革混元组织并借DeepSeek翻身；春节营销豆包上春晚、元宝发10亿红包、千问撒30亿红包。创业公司方面，智谱与MiniMax先后上市，市值分别为794亿和1284亿元人民币，但收入与美国头部公司差两三个数量级；具身智能25年融资735亿元，宇树人形机器人销量超5500台，数据、VLA模型与本体仍是瓶颈，落地方向有研发、表演、工业、家庭和陪伴。模型研究还在寻找下一个学习范式，伊利亚、哈萨比斯主张从大脑获灵感，AI for Science方面深势科技用机器学习加速科学发现。AI硬件方面，AI眼镜被视为潜在入口，但显示、续航和重量未解；深圳系公司如影石、拓竹以垂直品类和供应链优势成为另一极，AI硬件更可能是多样化而非单一入口。最后谈AI中的人：硅谷天价薪酬与万人裁员并存，中国大厂在麦麦平台上激进扩招AI岗，主持人曼祺也反思AI并未解放自己，意义感或许要从工作转向体验与创造。

143: 阿里、Kimi都在用的DeltaNet是什么？|与杨松琳聊线性注意力新改进

2025年11月30日 · 1:27:20

本期《晚点聊》邀请DeltaNet核心贡献者、MIT在读博士及开源小组FLA发起者杨松琳，解释线性注意力机制和DeltaNet从提出到被业界采用的演进脉络。她指出，DeltaNet源自2021年的论文《Linear Transformers Are Secretly Fast Weight Programmers》，它用Delta Rule强化模型的上下文检索能力，但当时缺少short convolution、输出门控等现代架构元素，也没有高效的并行实现，因此长期不受关注；直到她2024年提出《Parallelizing Linear Transformers with the Delta Rule》等算法，才让DeltaNet可以高效训练和扩展。节目中她也回应了最新行业动向：阿里Qwen 3.0 Next在注意力层混合了Gated DeltaNet与Gated Attention，Kimi Linear的KDA则是对Gated DeltaNet的改进，将粗粒度衰减细化为每个维度独立；而MiniMax M2从M1使用的线性注意力退回Full Attention，原因是线性注意力在多跳推理、状态追踪等Agentic能力上表现欠佳。杨松琳认为，线性注意力在推理效率和状态追踪上有独特价值，即便算力无限，它在高质量数据有限时也能凭借归纳偏更高效地学习；而稀疏注意力虽然单层表达更接近Full Attention，但KV cache不减少，长文本下仍是瓶颈。她还分享了自己从算法出身自学CUDA、受FlashAttention启发发起FLA开源社区的经历，以及未来可能将稀疏注意力和线性注意力混合（如DSA+KDA）的构想。

127: 与真格戴雨森 25 AI 中场复盘：OpenAI的IMO金牌、Kimi K2翻盘、Agent普及和抢人大战

2025年7月21日 · 1:54:55

本期《晚点聊》中，主播程曼祺与真格基金管理合伙人戴雨森复盘2025年年中AI进展：OpenAI用未公开的通用大语言模型首次达到IMO国际奥赛金牌水准（6题做对5题），戴雨森认为这验证了推理时扩展定律、说明强化学习也能攻克难以验证的证明题，被OpenAI研究员Sébastien Bubeck称为'登月时刻'；而OpenAI的ChatGPT Agent虽不惊艳，却标志Agent形态成为共识，也证明'壳'（应用）的价值被低估——模型进步与应用进化可能都在加速。他提出应用价值三层论：模型只提供底层智能，Context（组织与个人上下文）和环境工具须由应用提供，这正是Manus、Genspark等创业公司的机会。 他盘点各家公司走向：K2（月之暗面）已是目前最好的开源模型，OpenRouter编程类目调用量几天内从第10升至第5；DeepSeek R2要等新基模V4；字节Seed分设Edge、Focus、Base；Google回归第一梯队，Anthropic自造Claude Code加入应用层。被高估的是机器人进厂速度——特斯拉已下调Optimus产量预期；被低估的是模型能力进化速度、应用价值与优秀团队韧性。他还谈到硅谷抢人大战由Meta主导、腾讯成国内挖人最猛者，并预计Agent应用需要新的L3原生模型，以自己每月近1000美元的AI订阅费说明生产力场景token消耗将远超娱乐类。 面对未来，他持续好奇如何衡量智能边界——当模型已能解决IMO证明题、HLE得分从年初个位数涨到20多分，人类的评估体系正在失效；他也担心效率与公平的张力：当个人拥有巨大生产力，人与人差距会被急剧拉大。他推荐契合AI创业者心态的游戏《33号远征队》，并说自己年内最想验证的是L3模型能否让Agent任务一次做到七八十分以上。

104: 我给线性注意力找“金主”，字节 say No，MiniMax say Yes

2025年3月3日 · 1:26:50

主播曼祺与MiniMax高级研究总监钟怡然聊全球首个把线性注意力做到4560亿参数级的大模型MiniMax-01；钟怡然称这证明线性注意力可以scale up，但业界仍非共识。这也是MiniMax首次开源，目的是展示架构创新并吸引人才。她解释线性注意力通过调整QKV矩阵计算顺序将复杂度从二次降到线性；MiniMax-01每7层线性注意力混1层Softmax注意力，弥补纯线性注意力召回缺陷，100万Token序列下比全Softmax注意力快2700倍，且混合架构效果优于纯Transformer。她还回顾了自己从2021年押注这个“看起来很美好的泡泡”的经历：自称是全球最懂线性注意力的一批人，找“金主”时字节say no，MiniMax say yes；创始人闫俊杰以约50%把握拍板投入公司超80%研发资源，团队此前做了3700次预训练测试验证可扩展性。她认为稀疏注意力如NSA、Mobile有损且上限低，DeepSeek的NSA只是把稀疏注意力工程化提速；而线性注意力是无损优化，序列越长优势越大。MiniMax计划4月发布整合线性架构、原生多模态和强化学习的深度推理模型。节目最后聊到她的AGI愿景——能持续自我学习的模型，以及DeepSeek爆火后研发加班追赶推理模型的节奏。

103: 用Attention串起大模型优化史，详解DeepSeek、Kimi最新注意力机制改进

2025年2月26日 · 1:28:15

清华计算机系刘知远团队的肖朝军与清华电子系汪玉团队的傅天予在本期解读DeepSeek和Kimi最新发布的注意力机制NSA与MoBA：两者都在预训练阶段引入动态与静态混合的块状稀疏注意力，以应对长文本和长思维链带来的计算瓶颈。节目先讲清原理：注意力机制让每个词与上下文动态关联，但标准Full Attention需存储所有词向量并与每个词逐一匹配，因此序列变长时存储和计算按N方爆炸，这也催生了稀疏注意力和线性注意力（RNN回归）两大改进方向。两位嘉宾指出，NSA与MoBA的突破在于用块状稀疏设计（整块保留或丢弃）适配GPU并行与内存访问，并通过Triton算子优化让训练和推理都获得实际加速；静态稀疏（如滑动窗口）虽快但可能错过远距关键信息，所以动态与静态混合成为共同选择，而稀疏训练的性能也被证明可追平甚至超过稠密注意力。他们还对照自己此前的InfLLM与MoA：前者强调稀疏需在块级别做并做到训练无关的推理加速，后者通过识别关键注意力头来保留长程关联；两人在实验中最看重训练曲线（如NSA的Figure4和MoBA的Figure3）和长CoT生成速度，而非传统Benchmark。展望未来，多模态会让序列急剧变长（如一小时视频约百万token），存储/记忆将成下一瓶颈，线性注意力或RNN路线仍是重要理论选项。下期节目将与MiniMax研究员聊其01模型采用的线性注意力架构。