Kimi K3

178: 与田渊栋聊 RSI：模型自进化如何到来？

2026年8月7日 · 1:29:02

田渊栋做客《晚点聊》谈他联合创立的 Recursive SuperIntelligence（缩写同为 RSI）如何让 AI 自我进化：这家公司刚完成6.5亿美元融资、估值超46亿美元，他认为 RSI 比 coding agent 大得多，完全自动化短期不会到来。他讲述从去年用 GPT-5 合写论文到决定创业的过程，称模型已强到「不用再招实习生」，并对比十年前 AutoML：现在大模型能理解 AI 本身，搜索空间不再由人定义。关于公司6月初的 First Steps，他说系统在 NanoChat 的 BPB 与 Speedrun、英伟达 SOL-ExecBench 算子优化上取得 SOTA：Speedrun 比社区两年成绩再快约两秒，算子优化比专注 GPU 的以色列团队 Double AI 高10%；他也评价 Anthropic《When AI builds itself》更多是提效而非递归自进化。对「领先者会越甩越远」的假设，他提出变量：智能提升可能是阶梯式跳跃而非平滑曲线，若 scaling law 不是全部，初创公司仍有空间；他还谈到大公司超过150人后变慢，RSI 目前缺数据、算力与可解释性。他坚持可解释性是关键，相信 AI 研究终将变成科学，但承认这是少数派观点。

177: 详解Kimi K3：强到冲击Anthropic估值的模型什么样？

2026年8月3日 · 1:55:18

《晚点聊》由曼祺主持，邀请RadixArk与SGLang创始成员赵晨阳、华盛顿大学博士生曾致远，从Infra与算法两条线拆解Kimi K3：这款近3T参数的开放权重模型以混合注意力架构逼近并部分超越Claude Opus 4.8等闭源前沿，同时引发对Anthropic估值的冲击与开源安全辩论。节目指出，K3用KDA线性注意力与MLA全局注意力按3:1混合，靠循环状态压缩历史，在百万上下文下获得6.3倍解码加速；其Quantile Balancing以分位数估计替代固定步长调整，支撑896个路由专家中选16个的极端稀疏负载均衡，Per-head Muon则通过逐注意力头正交化提升大规模训练稳定性。后训练部分，K3先用MOPD多教师在线蒸馏合并9个领域专家模型，既降低合版压力又提升迭代速度；在Kimi CodeBench 2.0上，K3得分仅低最强模型4分，成本却只有对方的38%。嘉宾还拆解了Attention Residuals如何让深层模型选择性读取浅层信息，以及Kernel Development Agent如何让早期checkpoint自主优化内核，甚至为国产GPGPU写Kernel。讨论也点明，K3开放了权重、MuonEP、Flash KDA和agent-inv，但未开源RL环境、知识图谱任务系统与原始专家checkpoint——权重是一次训练的产物，环境才是能反复产生下一代权重的'流水线'，构成开源模型真正的护城河。最后，嘉宾判断开源模型短期内仍难超越闭源，因为OpenAI与Anthropic内部最强模型通常比已发布版本领先半代到一代，但KDA这类线性注意力混合架构已证明'条条大路通罗马'。