# 178: 与田渊栋聊 RSI：模型自进化如何到来？ 晚点聊 LateTalk · 2026-08-07 田渊栋做客《晚点聊》谈他联合创立的 Recursive SuperIntelligence（缩写同为 RSI）如何让 AI 自我进化：这家公司刚完成6.5亿美元融资、估值超46亿美元，他认为 RSI 比 coding agent 大得多，完全自动化短期不会到来。他讲述从去年用 GPT-5 合写论文到决定创业的过程，称模型已强到「不用再招实习生」，并对比十年前 AutoML：现在大模型能理解 AI 本身，搜索空间不再由人定义。关于公司6月初的 First Steps，他说系统在 NanoChat 的 BPB 与 Speedrun、英伟达 SOL-ExecBench 算子优化上取得 SOTA：Speedrun 比社区两年成绩再快约两秒，算子优化比专注 GPU 的以色列团队 Double AI 高10%；他也评价 Anthropic《When AI builds itself》更多是提效而非递归自进化。对「领先者会越甩越远」的假设，他提出变量：智能提升可能是阶梯式跳跃而非平滑曲线，若 scaling law 不是全部，初创公司仍有空间；他还谈到大公司超过150人后变慢，RSI 目前缺数据、算力与可解释性。他坚持可解释性是关键，相信 AI 研究终将变成科学，但承认这是少数派观点。 ## Questions this episode answers ### 为什么递归自进化（RSI）在2024年突然成为热门研究方向？ 田渊栋认为主要因为coding agent能力大幅提升，模型本身能充当研究员，发现自身弱点并加以优化，形成了“模型让模型更强”的闭环。他本人用GPT-5合写论文后，感觉模型能力已可替代实习生，加速了研究循环，促使他创业。此后多家前沿实验室也公开跟进，使RSI成为共识性方向。 [5:53](https://latetalk.podhood.com/36f9f4f0-f108-4682-8925-e858490318ed?t=353000) ### 现在的递归自进化（RSI）和十年前的AutoML有什么本质区别？ 田渊栋指出，上一代AutoML需要人深度定义搜索空间，AI只在其中搜索解。如今大语言模型对AI架构本身有理解，能部分代替人定义问题，让解空间变得更大且更智能。RSI的关键是让AI自己发现解空间的结构和方法，而非像过去那样由研究员手动设定所有细节。 [15:41](https://latetalk.podhood.com/36f9f4f0-f108-4682-8925-e858490318ed?t=941000) ### Recursive SuperIntelligence公司发布的第一批成果具体是什么？显示了什么能力？ 他们用自研系统在三个benchmark上取得SOTA：NanoChat 5分钟训练中BPB降低；NanoChat Speedrun比社区两年最佳成绩提升2秒；在算子优化中性能超过专业团队Double AI 10%，而团队并无GPU专家，证明RSI的通用系统可高效解决训练加速、效率提升和Infra优化问题。 [45:59](https://latetalk.podhood.com/36f9f4f0-f108-4682-8925-e858490318ed?t=2759000) ## Key moments - **[0:00] 开场** - [4:20] 田渊栋：Recursive SuperIntelligence的目标是用AI自我进化、迭代新范式 - [5:08] 田渊栋：RSI概念从今年4、5月开始慢慢变热，成为共识 - **[5:47] 自进化契机** - [5:53] 田渊栋：RSI变热主要因为coding agent变强和模型能力提升 - [7:15] 田渊栋：大模型目前还替代不了顶尖研究员 - [7:50] 田渊栋用GPT-5合写论文后，觉得模型能力已强到不用再招实习生 - [8:37] 田渊栋：“也许5年之后我就被取代了，与其自己被取代，不如我就开公司” - [9:01] 田渊栋：不亲手实践、亲身去体验，感觉不到模型能力的变化 - [10:27] 田渊栋：不hands on就无法真正知道模型内部发生了什么 - **[15:27] 今昔与竞逐** - [15:41] 田渊栋：相比10年前AutoML，现在RSI区别在于大模型能建模高层知识 - [17:44] 田渊栋预测：完全自动化不一定会很快发生，递归会先发生 - [19:27] 田渊栋：模型可能会让自己越来越强，进而产生更强AI scientist - [20:45] Anthropic vs. RSI: 田渊栋认为Anthropic的RSI文章主要还是提效，未达递归自进化 - [22:04] 田渊栋：Anthropic和RSI公司方向相似，但AI research问题更难 - [24:24] 田渊栋：之前找我聊过的人都跑路了，包括Anthropic的高管 - **[27:14] 能力与假设** - [27:37] 田渊栋：RSI比coding agent要大得多，光有coding支点未必能做RSI - [30:17] 田渊栋：做AI Scientist需要品味、抽象能力和创造力 - [33:37] 田渊栋：如何理解模型涌现是难题，过去多种理论尝试都未满意 - [35:56] 田渊栋：RSI不像无人车只有0或100，而是有许多阶梯，每步都有实用价值 - [38:26] 渐进式 vs. 跳跃式: 田渊栋认为智能提升可能有平台期，初创公司有机会 - [39:51] 田渊栋：RSI系统会有S型曲线增长，每个平台对应一个突破 - **[45:51] 落地成果** - [45:51] 田渊栋介绍第一步成果：三个benchmark上验证了自动化AI研究系统 - [50:47] 田渊栋：成果数字虽小但意义大，算子优化战胜专业GPU工程师团队 - [51:55] 田渊栋：我是组里最懂算子优化的人，但我其实没做过算子优化 - **[54:44] 挑战与安全** - [54:46] Q: RSI领域急缺什么？ 田渊栋：数据方法和算力，都还在探索期 - [55:42] Q: 算力对RSI有多重要？ 田渊栋：算力是重要部分，但也要想办法减少消耗 - [57:13] Q: RSI实现后有什么风险？ 田渊栋：担心AI自我进化后变得疯狂 - [58:59] 田渊栋：“训练AI像训练狗一样，AI没法进化出自我意识” - [59:37] 田渊栋：“我是少数派，大部分人已经绝望了，但我认为一定有好的principle能运转模型” - [1:04:14] 田渊栋：AI终将变成科学，类似从地谷到开普勒到牛顿的历程 - **[1:04:45] 信念与历程** - [1:05:05] 田渊栋：下一个牛顿可能是AI，所以要利用所有计算资源和大脑做RSI - [1:05:29] Q: 图灵奖会颁给系统吗？ 田渊栋：那时图灵奖可能不重要了，因为知识发现会很快 - [1:08:32] 田渊栋转折点：从Google无人车工程转向Meta研究，因为工程无聊且没前景 - [1:10:28] 田渊栋：高级别的人拒绝学习深度学习，年轻人更容易接受 - [1:12:32] 田渊栋：Waymo永远在说还有5年，现在旧金山已经有无人车了 - [1:14:50] 田渊栋：一直保持一手研究，每年至少一篇一作论文 - **[1:24:36] 尾声** ## Speakers - **曼祺** (host) - **田渊栋** (guest) ## Topics 模型自进化 ## Mentioned Anthropic (company), Double AI (company), Google (company), Meta (company), Mirandil (company), Mobileye (company), NVIDIA (company), OpenAI (company), Recursive SuperIntelligence (company), Sakala AI (company), TML (company), Waymo (company), XAI (company), Claude (product), GM562 (product), GPT (product), Kimi K3 (product), Llama (product), NanoChat (product), NanoGPT (product) ## Transcript ### 开场 **田渊栋** [0:06] 这个时候我觉得 ， 就是说 ，也许 5 年之后我就被取代了 。 那么这个时间可能已经快到了 。 那么在这种情况下， 与其自己被取代 ，不如我就开公司 。 **曼祺** [0:15] 就 RSI 非常需要 coding 和 agentic 的能力 ， 然后这两个能力本身其实对这些前沿的模型公司来说 ， 它已经是它的主项 。 **田渊栋** [0:24] 嗯 ， 我觉得 RSI 比 coding agent 要大得多 ， 然后它的难度 ， 然后它的那个可能的路径 ， 比现在 coding agent 要大很多 。 **曼祺** [0:31] 所以你觉得 ， 就光有这个支点 ，其实不见得你就能做好 RSI。 你觉得有生之年会看到图灵奖颁给一个系统吗 ？ **田渊栋** [0:40] 我觉得如果到那个时候 ， 可能图灵奖也不是很重要 。 我可能是少数派吧 ， 就是说因为大部分人可能已经觉得绝望了 。 但是我觉得不是这样子 ， 我觉得一定是有一个好的 principle， 能够让这个模型运转起来 。 就是我觉得它以后终将变成科学 。 **曼祺** [0:54] 欢迎收听 《 晚点聊 》。 我是曼祺 。在 171 期节目二季度 AI 季报中， 我们重点聊了 RSI 递归自进化 。 那之后不久的 6 月底 ， 我采访了从去年开始就在这个方向探索的创业者之一田渊栋 。他参与创立的 Recursive SuperIntelligence 的缩写也是 RSI， 这家公司的估值目前已超过 46 亿美元 。 这期节目录制时， 还没有发生一些后续的事件 ， 比如 OpenAI 一举解决了 10 个数学难题 ，TML 的联创之一翁荔重新回到 OpenAI， 据报道她将探索的方向就是 RSI。 关于 RSI，有一个极有诱惑力也十分危险的假设 ， 就是率先达到这个状态的公司 ， 会把其他人越甩越远 。 这个推演成立吗 ？ 我们接着深情我们本期节目吧 。 **田渊栋** [1:43] 这个时候我觉得 ， 就是说 ，也许 5 年之后我就被取代了 。 那么这个时间可能已经快到了 。 那么在这种情况下， 与其自己被取代 ，不如我就开公司 。 **曼祺** [1:52] 就 RSI 非常需要 coding 和 agentic 的能力 ， 然后这两个能力本身其实对这些前沿的模型公司来说 ， 它已经是它的主项 。 **田渊栋** [2:01] 嗯 ， 我觉得 RSI 比 coding agent 要大得多 ， 然后它的难度 ， 然后它的那个可能的路径 ， 比现在 coding agent 要大很多 。 **曼祺** [2:08] 所以你觉得 ， 就光有这个支点 ，其实不见得你就能做好 RSI。 你觉得有生之年会看到图灵奖颁给一个系统吗 ？ **田渊栋** [2:17] 我觉得如果到那个时候 ， 可能图灵奖也不是很重要 。 我可能是少数派吧 ， 就是说因为大部分人可能已经觉得绝望了 。 但是我觉得不是这样子 ， 我觉得一定是有一些 ，有一个好的 principle， 能够让这个模型运转起来 。 就是我觉得它以后终将变成科学 。 **曼祺** [2:31] 欢迎收看 《 晚点聊 》。 我是曼祺 。 今天的嘉宾是 Recursive SuperIntelligence 的联创田渊栋 。 这家公司在经过 4 个月的隐身研发之后， 刚刚于 6 月初官宣 A 轮融资 6.5 亿美元 ， 估值来到 46.5 亿美元 。他们做的事儿和公司的名字缩写一样 ，RSI，Recursive Self-Improvement， 递归自进化 。 这是一个去年还相对小众 ，而到今年二季度被硅谷频繁讨论的热门前瞻方向 。Anthropic 刚在 6 月初发布了文章 《When AI builds itself》， 副标题就是我们在 RSI 方向上的进展和探索 。OpenAI 也再次明确了时间表 ， 说在今年 9 月要做出 AI 研究实习生 ，在 2028 年 3 月之前要实现真正自动化的 AI 研究员 。 我们和田渊栋一起聊了 RSI 是什么 ， 为什么这个领域在现在变得火热 ，以及他们在 6 月中旬刚刚释放的第一阶段的具体成果 ， 还有那个关于 RSI 的有诱惑力也十分危险的假设 。 率先达到这个状态的公司 ， 会把其他人甩得越来越远 。 这个逻辑成立吗 ？ 我们正式进入本期节目吧 。 终于见到了田老师了 。 之前我们都是在线上聊的 。 **田渊栋** [3:52] 嗯 ， 对对对 。 **曼祺** [3:53] 然后上次采访是去年 5 月嘛 ， 当时我们聊的是你的科幻小说 《 破晓之钟 》。 **田渊栋** [3:58] 对 。 **曼祺** [3:58] 然后这次再聊 ， 我觉得是科幻已经照进现实 。 因为这期间有一个比较大的变化 ， 就是您和很多其他的顶尖研究员一起创立了 Recursive SuperIntelligence 这家公司 ， 然后你们在做的一些事儿也跟你当时的科幻设想 ， 我觉得有一些契合的地方 。 你可以先和我们的观众简单地用几句话介绍一下， 就是这家新的公司是做什么的 ？ **田渊栋** [4:20] 对 ， 这家公司呢叫 Recursive SuperIntelligence。 它的目的呢 ， 就是说能不能找到用 AI 来自我进化 、 自我迭代的方法 ， 然后找到新的模式 ， 新的那个范式啊 ， 新的模型 ， 新的训练的这个逻辑 ， 然后得到更好的那个 AI。 是这样的一个逻辑 。 **曼祺** [4:39] 对 ，因为你们的名字 Recursive 就是递归的这个意思 ， 然后它的缩写 SuperIntelligence 就是 RSI 嘛 。 那和现在硅谷讨论特别多的一个概念 ， 它也叫 RSI， 是一样的 。 那个是 Recursive Self-Improvement， 就是递归自进化 。 **田渊栋** [4:53] 对对 。其实我们这 Recursive SuperIntelligence 意思也就是 Recursive 那个 Self-Improvement。 对 ， 所以说意思上来说是非常接近的 。 因为这个概念应该说从今年的 4 月 、5 月份开始慢慢变得比较火 。 就是我们在成立这公司的时候呢 ， 应该说大部分人还没有想过这个概念 。 但是随着就是大家的就是这种意识啊和那个思考 ， 就慢慢慢慢成为一个 ， 应该说慢慢成为共识吧 。 对 ， 大家发现这个模型已经比较厉害了 。 那个模型能够发现一些就是模型自己的一些问题 。 那通过这个方式呢 ，其实可以存在一种可能性 ， 就是用 AI 找到 AI 自己模型的问题 ， 然后让 AI 带领这个模型变得越来越强 。 **曼祺** [5:36] 我觉得正好也可以讲讲这个背景啊 。RSI 也是我想和您深入讨论的一个话题 。 也就像你说的 ， 最近这一段时间 ， 我觉得它在这儿越来越成为一个相对共识性的趋势了 。 然后另一方面就是 ，RSI 其实这个想法本身并不是那么新 ， 它之前也一直都有 。 ### 自进化契机 **田渊栋** [5:53] 对对对 。 **曼祺** [5:54] 就为什么最近这段时间发生了什么变化 ， 或者有什么因素导致大家在讨论 ？ **田渊栋** [5:59] 我觉得主要一个还是因为就是 coding agent 变强了 。 另外一个呢 ， 就是说模型本身的能力也在提升 。 模型能力提升到一定程度之后， 就是模型对 AI 自己的这个模型的认知 ， 它有一些比较强的这个突破了之后呢 ， 就是你可以用模型来充当研究员 。 **曼祺** [6:17] 模型充当研究员 。 **田渊栋** [6:18] 让它来找到这个模型的现在模型的弱点 ， 然后去做更好的优化 。 那么这样的话呢 ， 这个闭环就会产生 。 因为产生闭环之后呢 ， 那么下一次这个模型变得更强 ， 对吧 ？ **曼祺** [6:30] 所以递归就是这个循环往前推进的意思 。 **田渊栋** [6:32] 啊 ， 对对对 。 但是这个要求条件是这个模型本身已经够足够强了 。 如果模型本身不够足够强的话呢 ， 那这个很难 。 **曼祺** [6:41] 其实去年 5 月我们聊的时候 ， 我们当时就是顺着这个科幻小说是延展讨论的一个话题 ，AI 会不会取代顶尖的 AI 研究员 。 **田渊栋** [6:49] 对 。 **曼祺** [6:49] 当时你觉得这个短期内是比较难的 。 因为 AI 研究员他可以从少量的数据里面就获得一些精准而细节的联系 。 **田渊栋** [6:58] 对对 。 **曼祺** [6:58] 但是大模型 ， 至少当时的大模型 ， 它还是要学很多大量复杂的数据 ， 然后通过统计得到一种表达 。 那到后来年底的时候 ，因为 11 月我们当时也就是在聊了一下嘛 ， 那会儿就已经在筹备这个新的公司了 。 所以这个过程中间是你本身自己的思路是有一些什么变化吗 ？ **田渊栋** [7:15] 首先第一点 ， 我还是现在还是认为就是大模型还是替代不了顶尖研究员 。 **曼祺** [7:20] 还是替代不了 。 **田渊栋** [7:20] 目前还是不行 。 只是说是那个模型的能力已经到一定程度之后呢 ， 你就觉得它确实可以用 ， 就是我们确实可以用模型来做一些就是研究的工作 。 我觉得这个是重要的 。 而且确实存在一种可能性 ， 就是模型会变得越来越强 ， 然后最终产生更好的 、 更强的那个能力 。 这个是可能的 。其中一个契机呢 ， 就是说那个应该说在 5 月份之后， 大概在 8 月份的时候呢 ， 我用当时 GPT-5 嘛 ， 对吧 ？ 我和 GPT-5 合作做了一篇文章 。 对 ， 就是最近的一篇就是 Groking 的一些文章 。 对 ， 那篇文章呢 ， 就是说我会意识到 ， 就是我在做完之后我其实意识到这一点 ， 就是模型的能力呢 ， 已经基本上强到让我觉得我可以不用招实习生的水平 。 对 ，因为有很多的想法和思路 ， 完全可以通过我跟模型对话来实现 。 那么通过这个方式呢 ， 就是我可以给模型一些具体的那个细节 ， 一些比较细的这个方向 ， 让它去找到新的想法 、 新的思路 、 证明新的定理 。 那么然后我这边可以写代码呀 ， 可以做一些那个实验 ， 然后把东西做出来 。 那么现在写代码都不用人了 ， 对吧 ？ 写代码都可以让 AI 来做 。 所以应该说就是这个 loop 就开始有转起来的趋势 。 这个时候我觉得就是说 ，也许 5 年之后我就被取代了 。 那么这个时间可能已经快到了 。 那么在这种情况下， 与其自己被取代 ，不如我就开公司 ， 我就做这事情去 。 **曼祺** [8:44] 所以去年 8 月你看到这个迹象之后， 首先我想知道就当时这种想法有多少人有啊 ？ 因为你说到今年 4、5 月越来越多人讨论嘛 。 **田渊栋** [8:53] 对 。 **曼祺** [8:53] 那在去年， 可能差不多大半年前是什么样的一个情况 ？ 以及后来你怎么找到一些跟你想法比较相似的人一起来做这个公司 ？ **田渊栋** [9:01] 嗯 ， 我觉得是这样 ， 就是这个事情呢 ， 你不亲手实践 、 亲身去体验呢 ， 你是感觉不到的 ， 对吧 ？ 就是如果你不一定把这个模型当成一个实习生 ， 或者把模型就当成一个聊天对象的话 ， 你是感觉不到这个变化的 。 所以要等到就是你把模型真的把它当成一个 ， 就是聊天当成一个对象 ， 然后可以跟它去合作 ， 可以跟它去做一篇文章的时候呢 ， 把文章送到我做完了 ， 你会觉得这个模型确实能力已经比我想象的要高很多 。 **曼祺** [9:32] 就你的意思是可能到回到那个时间 ， 这么做的人不见得很多 。 **田渊栋** [9:36] 就现在我们也见到这样的一个情况嘛 ， 就是说有一些人， 就比如说特别是那些比较 senior 的人 ，他们一般来说不会去思考太细节的东西 ， 对吧 ？ 就是他们可能会考虑一些比较 high level 的 、 比较高层次的一些想法和建议 ， 对吧 ？ 不会真的把模型拿过来就做一个非常具体的项目 。 但另外一方面呢 ， 就是一些比较刚从学校毕业的一些学生 ， 可能把模型呢作为一些就是执行上的工具 ，不会去做一些比较难的问题 。 所以这样两边其实是有一个 gap 在里面的 。 **曼祺** [10:11] 这个也 q 到了我们上次聊的一个话题 。 **田渊栋** [10:13] 对 。 **曼祺** [10:13] 因为当时我们聊到了你有连着两年有在写年终总结嘛 。 有一年， 我记得应该是二三年的时候年终总结 ， 好像说了一些就你觉得怎么带团队的一些经验 。 **田渊栋** [10:23] 对 。 **曼祺** [10:23] 那到了后面一年， 其实你就变了 。 你说的就是你想更 hands on。 **田渊栋** [10:27] 因为其实大模型就在有一段时间之内 ， 就是你会发现你不 hands on 的话 ， 你就没有办法去真的知道这个模型内部发生了什么 ， 然后那个整个系统发生了什么 。 你不知道这些东西的时候呢 ， 你指挥的方向就会出现偏差 。 那么这个偏差的方向呢 ，其实很难获得反馈 。 因为在传统的这个研究过程中嘛 ， 一般来说是一个比较 senior 的导师可能跟学生们说 ， 我们要做一个方向 。 然后呢 ， 这个导师本身呢 ， 可能不会真的去喷代码 ，不会真的喷数据 。 但是呢 ， 这个方向让学生们真的去做这事情 。 然后学生把这事情做完之后呢 ， 然后反馈给导师 ， 说这个事情是对的还是不对的 。 很多时候呢 ， 学生跟老师说 ， 这个事情没做好 ， 这个事情呢 ，不 work。 为什么不 work 呢 ？ 是因为有 12345 这种困难 。 导师会说 ， 我这个 idea 一定是对的 ， 然后去让学生继续去挖掘 。 总有两种可能 。 一种可能就是说学生发现了导师说的是对的 ， 然后呢 ， 把事情做成了 。 还有一种可能呢 ，是导师的想法其实并不对 ，但是学生呢 ， 证明这件事情是不对的 ， 然后呢 ， 找到下一个方向继续做 。 一般来说 ， 这个逻辑本身是应该说至少要有几个月的时间 。 就是这个也是一般的一个科研项目的一个周期 。 **曼祺** [11:40] 这也是一个 loop。 **田渊栋** [11:41] 这是个 loop。 但这个 loop 的问题是 ， 导师不直接跟那个具体的实验打交道 。 那么这样的话呢 ， 导师从跟学生讨论 ， 然后给学生一些指导 ， 然后学生把指导呢做出来 ， 然后得到反馈之后跟导师汇报 ， 这个过程呢 ， 一般来说你至少需要几天的时间 。 有一个数字 。 就意味着就是大概是以天为周期进行这个问题的这个科研探索 。 就是说你可能需要几周甚至几个月才能把事情做成 。 但是现在有 AI 之后呢 ， 应该说特别是有非常强的 AI 之后， 这个时间被压缩到几分钟 ， 甚至更短的时间 。 **曼祺** [12:21] 你就说验证一次的循环 。 **田渊栋** [12:23] 对对对 ， 验证一次 。 比如说极少到几分钟时间 。 就是特别是对一些比较简单的项目来说 ， 就是很多时候你有个想法之后， 你大概告诉 AI，AI 很快的把代码写出来 ， 然后跑完之后告诉你这个结果 。 很多时候就是也许你写完之后出去喝个口水 ， 喝个茶 ， 然后跟别人聊两句 ， 或者开个会 。 开完会之后， 你结果已经有了 。 结果有了之后， 那你就可以看到自己的问题在哪里 ， 然后可以有下一步的循环 。 **曼祺** [12:49] 就是你在描述你最开始看到 RSI 的这个方向和前进的时候 ， 就让我想到就是稍微岔开一点的一个问题 ， 就是什么样的人他能最早的去看到这个信号 。其实你描述的是又有比较多的经验 ，他对什么问题是难的 、 是重要的有判断 ， 同时在那个时间点他又是非常一手的在做一些事情 。 **田渊栋** [13:10] 是的 ，是的 。 这样的人是很容易敏感的感觉到就是当前风向的变化 。 **曼祺** [13:15] 所以这个人有可能也不是特别年轻 ，是吗 ？ 他和现在就是 AI 叙事里面 ，因为现在会有一种观念会觉得说你特别年轻 ， 你来什么东西你都可以很快的学起来 ， 然后以前的一些经验可能是负经验 ，是没有那么有用的 ， 还不太一样 。 **田渊栋** [13:29] 对 ， 可能还不太一样 。 因为我觉得以前是因为就是说在 coding agent 还没有普及之前 ， 或者还没有达到这个人类能力之前 ， 就年轻人很有市场的一个原因呢 ， 主要是还是因为年轻人他的冲劲比较足 ， 然后呢 ， 这个决策 ， 这个执行能力很快 。 很多时候其实不要想太多嘛 ， 就是说 OK， 我上来就该干 。 **曼祺** [13:51] 对 ， 干就完了 。 **田渊栋** [13:52] 干了就完了嘛 ， 对吧 ？ 基本上我应该觉得过去的三年里面都是这样子 。 对 ， 就是从大语言模型出来之后， 基本上年轻人很多时候是有这样的优势的 。 因为并不需要想太多 ， 我们就 skill up，skill，skill，skill，skill， 然后就完了 。 这是非常简单的事情 。 所以通过这个方式呢 ，其实应该说大语言模型得以快速发展 。 **曼祺** [14:14] 所以你觉得 RSI 这个风潮来了之后， 反而是可以让以往的一些经验积累 ， 包括你沉淀的各种直觉判断 ， 或者说技术品位有更好的发挥的 。 **田渊栋** [14:24] 对的 ， 我觉得是的 。 **曼祺** [14:25] 那天平又会摆到就是怎么说 ， 更有经验 、 更年长的一群研究员这边 。 **田渊栋** [14:30] 对 ，有可能是这样子 ， 就可能是这样 。 当然了 ， 就是说这个也是有很多的争议的 ， 这个只是我的一个观点 。 因为确实现在那个 coding agent 来了之后呢 ，有很多的就是以前从来不写过代码的 ， 就是或者说已经当了比如说 10 年的就是经理或者总监的人， 突然开始写代码了 。他们就觉得这个爷的青春又回来了 。 对 ， 所以确实有很多的那个人会有这种感觉 。 因为可能以前有想法 ，但是没有时间去实现 ， 然后团队也没有这个时间和精力呢去完成就是上面的人的这个每一个想法和思路 。 这样的话呢 ，其实这些人的经验呢 ，其实很难被发挥出来 。 但是现在有 AI agent 之后呢 ， 应该说这个变化发生 ， 就是对比发生变化 ， 对吧 ？ 以前可能需要人去执行 ， 那么现在呢 ， 就执行的那个重任现在落在了 AI 身上， 然后人更多的是判断 ， 然后逻辑上的一个指导 ， 还有这个大方向的一个把握 ， 还有研究的这个品位 ， 这些东西是重要的 。 **曼祺** [15:27] 那回到就是 RSI 这个主题啊 ，其实像 10 年前 Google 做的一个工作 AutoML， 它也有一个类似的想法 ， 就是它也是在用 AI 去优化 AI。 ### 今昔与竞逐 **曼祺** [15:36] 你觉得现在的 RSI 和小 10 年前的像 AutoML 这种类似的尝试 ， 它的区别是什么 ？ **田渊栋** [15:41] 我觉得区别其实很大了 。 因为我们上一波也是做过了 ， 对吧 ？ 我有很多文章也是做那个就是 architecture search， 架构搜索 ， 还有文章呢 ， 比如说做那个 AI guided optimization，AI guided design，AI 辅助这个设计啊 ， 这些方向 。 所以我觉得就是上一波的问题就主要在于就是我们没有一个模型能够建模人类的高层的知识 ， 高层的这个思路 ， 这个是没有的 。 就是上一代的时候是很多时候是让研究员来定义这个搜索空间的大小 ， 搜索空间的那个行为 ， 然后呢 ， 让 AI 写成 ， 做成一个算法 ， 去找到更好的那个解 。 那么但是现在呢 ， 就是因为这一波大语言模型来了之后呢 ， 然后它能达到这个程度 ， 就是让这个模型本身对这个 AI， 或对这个 AI 本身 ， 或者对这个架构本身是有理解的 。 那么这个理解呢 ， 可以部分代替人类的一些那个定义问题的工作 。 那么这样的话呢 ，其实让这解空间变得非常大 ，而且应该说比较智能 。 不像以前就是你需要人去定义这个解空间 。 **曼祺** [16:43] 那它的一个区别是在于人参与的多少的变化吗 ？ **田渊栋** [16:47] 是的 ，是的 。 就是说以前可能说就是人需要深度参与的解空间的每一个细节 ， 然后 AI 比较笨 ， 只有在这空间里面去搜索 。 但是现在呢 ， 更大的问题是怎么样最大限度上发挥这个 AI 的能力 ， 能让它自己找到这个解空间的那个结构 ， 自己找到这个解空间的一个比较好的一个方法去解它 。 这个是可能更重要的一个事情 。 **曼祺** [17:10] 就您说到这个也涉及到就对 RSI 的理解和定义啊 。 **田渊栋** [17:13] 对 。 **曼祺** [17:14] 因为很多时候大家提起 RSI， 比如说 OpenAI 也会说他们自己要做 AI intern， 然后说到 28 年 3 月要实现真正的自动化的 AI 研究员 。 它都是和自动化联系在一起的 。 它好像都是指向说把人从这个 loop 里给解放出来 。 但是另一方面就是递归自进化 ， 就它递归的这一部分 ， 我理解它又是有一个循环上升的这个意思 。 所以就是你觉得这两个东西 ， 就是递归和人不在这个 loop 里面 ， 它是一件事是一起发生的 ， 还是它会有一点区别 ？ **田渊栋** [17:44] 我觉得完全自动化呢 ，不一定很快会发生 。 就是说我觉得自动化的程度呢 ， 很多时候是因为看就是人在上面会做什么样的工作 ，而且就做的工作它的层级是什么 ， 什么程度 ， 这个是最重要的 。 对 ，因为就比如说吧 ， 你现在有 AI 了之后， 有这个大语言模型之后呢 ，有些程度的工作其实不需要人去做了 ，但是呢 ， 更高一级的工作还是需要人去做 ，而且对更高一级的工作要求更高了 。 所以这个时候呢 ，其实某种程度上来说 ， 人是减少了他的时间 ，但是呢 ， 人可能需要更多脑力去做一些就是更高层次的工作 。 所以人还在这个 loop 里面 ， 只是这个 loop 的 level 更高一点 。 **曼祺** [18:22] 所以你觉得递归是有可能会先发生的 。 **田渊栋** [18:24] 我觉得递归会先发生 。 就完全自动 ， 我觉得现在还看不到 。 就是跟我以前的 AI 代替不了顶尖人类研究员的观点是一致的 。 **曼祺** [18:32] 那你觉得递归和自动化这两件事哪个更重要 ？ **田渊栋** [18:35] 我觉得这个事情不存在重要不重要的问题 ， 就是说一定是按照就是模型能力会慢慢慢慢的发展 。 对吧 ？ 你可能会发现完全自动是不行的 ， 还是需要人的一些指导 。 那么这个时候自然而然就有递归的一个结果 。 **曼祺** [18:49] 对 ，因为讨论到这个问题 ，也是就是在最近确实和很多人在聊这个概念嘛 。 然后有一种观点就是觉得递归这个事更重要 ，是因为你一旦这个循环跑到一定程度之后， 掌握这些循环的组织或者人或者团队 ， 它就有可能进入一个加速度 。 **田渊栋** [19:08] 加速越来越快的阶段 。 **曼祺** [19:09] 然后它就会可能把别人就甩得越来越远 ， 对吧 ？ 比如说 Anthropic 和 OpenAI 也许就有这种可能性 。 **田渊栋** [19:15] 对 ，是有这种可能性 。 对 ，因为就是模型可能会让自己变得越来越强 ， 变得越来越强之后呢 ， 这个模型能理解更深的东西 ， 然后接下来就会有更强的那个 AI agent，AI 那个 scientist。 那么有这之后呢 ， 它会发现自己更大的问题 ， 然后就可以迭代上去 。 但这个讲的更多是就是这个范式的一个转变 ， 对吧 ？ 跟人在不在这个 loop 里面其实关系不大 。 **曼祺** [19:36] 所以你也是觉得这个循环的加速本身是 。 **田渊栋** [19:39] 这个是可能的 ， 这是可能的 。 对 ，但是呢 ， 它在什么程度上可能 ， 然后我们需要做到什么程度让 AI 变得很强才可能 ， 这个事情呢 ， 还是需要做探索 。 **曼祺** [19:49] 最近就是这个方向很热闹啊 。 除了刚才我说到 OpenAI，他们有一个时间表关于我怎么去产生真正自动的 AI 研究员 ，但是他那个说的比较笼统 。 然后 Anthropic 是在今年 6 月 ，他们发了一个长文叫 《When AI builds itself》， 就是当 AI 来建造自己 。 你觉得这篇文章副标题就是我们在 RSI 方向上的进展和实践 。 不知道你看了这篇文章没有 ？ 你没有一些 。 **田渊栋** [20:13] 我大概看了一下， 看了一下 。其实就是应该说还是刚才我们聊的那个差不多的那个想法 ， 就是 AI 能够让 AI 自我进化 ， 自我迭代 ， 然后越做越好 。 **曼祺** [20:22] 它里面讲了一些他们内部具体的一些进展啊 ， 比如说他说 4 月的时候 ，Claude 的 AI agent 端到端的独立完成了一个开放式的 AI 安全研究 。 **田渊栋** [20:30] 对对对 。 **曼祺** [20:31] 说它累计工作了 800 个小时 。 **田渊栋** [20:33] 对 。 **曼祺** [20:33] 然后把一个 weak to strong 的性能差距缩小了 97%。 如果是人来干的话 ， 是一周可以缩小 23%。 这好像更多是一个提效 。 这到了我们刚才说的递归自进化的程度吗 ？ **田渊栋** [20:45] 应该还没有吧 。 就是我其实看了一下这个博客啊 ， 就是说基本上还是提效 。 就是说你看它的具体的解法嘛 ， 就是说找到一些各种各样的方案 ， 让这个 weak to strong 的 generalization 能够做得更好 。 对 ， 然后它有很多 ， 它有指标嘛 ， 通过这种方式把这指标提上去 ， 对吧 ？ 那么里面的这种方法呢 ， 应该说比如说把里面的 representation 拿出来 ， 然后做些分析 ， 然后想办法把它那个把这个模型做得更强啊 ， 大概是这样的一个逻辑 。 但这些算法本身呢 ， 应该说还是比较常规的 。 它基本上把很多常规的想法和思路放在一起 ， 然后放在一起之后呢 ， 然后最后它是分数能往上提 。 因为有分数之后呢 ， 你才能做自我进化 。 因为现在除了分数之外， 你没有其他办法能够那个能衡量这个模型现在能力有多强 ， 或者这个这个这个这个 safety improvement 最后它的效果好不好 。 所以一定还是要靠那个分数 。 所以分数一般是会具体体现为提效 ， 或者说提高速度 ， 或者减少 latency 这样的一个指标 。 所以这个应该说是就是说自进化的一个第一层吧 。 **曼祺** [21:48] 就你觉得在第一阶段它确实就是这样展现的 ， 拆成子任务 ， 然后看子任务上 AI 自己是不是越来越好 。 **田渊栋** [21:55] 是是是是是 。 这个是一般 ， 这一般会这样子 。 **曼祺** [21:59] 你觉得 Anthropic 和 OpenAI 他们理解的递归自进化和你们有什么相同和区别 ？ **田渊栋** [22:04] 应该说大的方向上都是差不多的 。 我不觉得有什么特别大的一个区别 。 就是可能有一些不一样的地方是 ， 你像 Anthropic 那个文章 ， 对吧 ？ 就是它这么写的话呢 ， 基本上感觉上是 ， 就是说特别是在代码上有自进化这个能力 。 但是呢 ， 我觉得更难的地方呢 ，是研究上的问题 。 就是说 AI research 这个方向应该说跟代码之间还是有差距的 。Anthropic 之前的一些工作其实他们都是展示出来 ， 就是说如果对一个已有的项目 ， 我们能不能让它自进化自动做好 。 比如说从头开始写一个 Linux， 或者从头开始写一个 CI 编译器 。 那么这个东西都是说应该说是有路径的 ， 对吧 ？ 那么我们都知道怎么写 ， 只是说这工作太繁杂 ， 太繁重 ， 太累了 ， 然后很难去让人或让团队去把它写出来 。 但是这个问题本身是有章可循的 。 但是呢 ， 就是说很多就比较难的 AI research problem 呢 ，其实应该说人都不知道怎么做 。 有很多的这个很难的一些一些比较要突破性的进展 ， 或者突破性的发现的东西 。 那么这个东西呢 ，其实应该说是应该说现在 AI 还是很难做 。 **曼祺** [23:10] 除了两家最受关注的 Frontier Lab， 就是 OpenAI 和 Anthropic 之外， 这个领域现在也有些新的公司在尝试 ， 就你们之外的 。 **田渊栋** [23:17] 对 。 **曼祺** [23:17] 有一个是 6 月 25 日才刚刚官宣的 ， 叫 Mirandil， 然后他们是种子轮融了 2 亿美元 。 **田渊栋** [23:25] 对对对 。 **曼祺** [23:26] 这团队应该是来自 DeepMind 和 Anthropic。 另外就是之前更早成立的 Sakala AI，他们也是在 6 月刚刚成立了一个 RSI 的新的 team。 **田渊栋** [23:35] 对对对 。 **曼祺** [23:35] 在东京 。 这些更多的尝试 ， 一个是就是你觉得可能反映了行业的什么变化 ， 一个是你从他们的一些表达里面看到了什么有意思的东西呢 ？ **田渊栋** [23:44] 我觉得他们基本上还是高层次来说还是一样的 ， 就是做这个递归自我进化嘛 。 这方向上总的是应该说是比较接近的 。 应该说就是像那个 Mandril 那边 ， 就是像 Anthropic 的那个创始人， 应该说之前也跟我聊过 。 **曼祺** [24:01] 你说的是更早之前在筹备创业的时候 。 **田渊栋** [24:04] 对对对 ，也没有说找我 ， 只是说是当时问我要不要来 ， 或者说就是说要不要去 Anthropic 看看 。 对 ， 当时他还在 Anthropic 的时候 。 **曼祺** [24:13] 就是那会儿你从 Meta 就要可能要出来的时候 。 **田渊栋** [24:16] 对对对 。 **曼祺** [24:16] Anthropic 也有一个邀约相当于 。 **田渊栋** [24:18] 对对对 ， 就聊聊嘛 。 当时也聊过一次 ， 聊过一次 。 对 ， 后来就很有意思的是 ， 后来他就走了 。 对 ， 所以我之前也跟大家说 ， 我说跟我聊过的那些人都跑路了 ， 包括 Anthropic， 就是他 。 **曼祺** [24:31] 所以相当于你们看到了相同的方向之后， 你们都觉得出来做 ， 就重新有一个 lab 来做这个事可能是更好的 。 **田渊栋** [24:36] 对 ， 我觉得是有可能会这样这种情况 。 因为一个是就是说现在 OpenAI 和 Anthropic 其实已经算大公司了 ，有很多人在里面 ， 对吧 ？ 所以 。 **曼祺** [24:45] Anthropic 现在没有 OpenAI 多 ， 对吧 ？ **田渊栋** [24:47] 肯定没有 OpenAI 多 ， 肯定没有 。 **曼祺** [24:48] 两三千人吧 ， 差不多 。 **田渊栋** [24:49] 对 ， 还是 ，但是还是应该说 ， 呃 ， 然后另外一方面就是说像这两家公司应该说现在都要冲这个 IPO， 对吧 ？ 那对他们来说最重要的是要把手上的业务做好 。 手上的业务是什么 ？Coding agent， 对吧 ？ 如果 Coding agent 上能够赚很多钱 ， 能够让这个事情做得比较好的话呢 ， 那他们可能会优先把这个事情先做好 ， 对吧 ？ 那么所以有可能他看到了这一点 ， 所以觉得你还是自己出来比较好 ，因为 RSI 这个方向毕竟来说是比较远的 ， 没有那么近 。 **曼祺** [25:20] 你说还有其他公司的人找你也出来了 ，他们出来之后新做的公司现在是已经浮出水面了 ， 还是有些仍然在水下 ？ **田渊栋** [25:28] 没有没有没有 。 我当时说的是就是说有些人是作为大厂的一个高管来找我问一下能不能 ， 我要调个跳槽 ， 调那边去 。 所以很多时候他们都走了 。 就很多人就是像苹果有走了 ， 对吧 ？Amazon 的人也走了 。 有些人也出来创业的 ， 像 Amazon 那边的那个 ，有一个那个 San Francisco lab 的头 ，David 他也出来了 。 对 ，但是现在他们出来做什么我现在不知道 。 **曼祺** [25:52] 那你当时也和大公司其实也聊了你想就是继续做的 RSI 的这个方向 。 **田渊栋** [25:57] 大公司的时候 ， 基本上你跟大公司聊的时候 ， 你很难去决定你能做什么方向 。 很多时候就是跟大公司聊 ， 大公司会说啊 ， 我们想做这个 。 对 ，他们当时会有自己的一个想法 ，他们希望我加入之后呢 ， 能够给他们提供助力 。 **曼祺** [26:13] 所以去年秋天的时候 ， 就是你和这些公司交流啊 ， 确实在当时没有很多人会提到说想做这个 ， 对吧 ？ **田渊栋** [26:20] 对 ， 当时 RSI 还不是一个大众的认可 ，但 RSI 还是一个小众方向 。 **曼祺** [26:24] 我觉得现在至少在一些宣称和表态上， 我觉得还看起来是变成一些公司的重点了 。 就是 OpenAI 和 Anthropic 都是有这个现象的 。 而且我就是跟一些这些 lab 的人聊嘛 ， 我觉得他们自己确实 ， 就里面的人啊 ，他们也很关注这个方向 。 所以你觉得像 OpenAI 和 Anthropic 他们对这个事有多重视 ，有多认真啊 ？ **田渊栋** [26:45] 这个我不好说吧 ， 对吧 ？ 至少现在大家在说这事 ， 只是就是怎么样能够让这个事最终能成呢 ？ 其实应该说是更难的问题 ， 对吧 ？ 现在可能大家讲的还是一个概念 ， 一个是就是怎么样把这事情做成 ， 怎么样那个觉得这件事情有多重要 ， 然后它是不是将来的方向 ， 至于怎么把事情做成 ， 或者说什么是具体的一个 metric， 现在大家讲的不多 。 **曼祺** [27:08] 你觉得这有可能会成为他们继 coding agent 之后的下一个主线吗 ？ **田渊栋** [27:12] 这个我不知道 ， 这个要看 ， 我也要问他们 。 ### 能力与假设 **曼祺** [27:14] 因为有这样一种推论的逻辑啊 ， 就是他们会认为说这个东西就 RSI 非常需要 coding 和 agentic 的能力 ， 然后这两个能力本身其实对这些前沿的模型公司来说 ， 它已经是它的主线了 。 所以 RSI 可能就是在这个主线往下延伸的下一个方向上 。 就从这个逻辑来推论了 ， 它有可能是它的主线 。 不知道你怎么看这种想法 。 **田渊栋** [27:37] 我觉得 RSI 比 coding agent 要大得多 。 **曼祺** [27:40] 要大得多 。 **田渊栋** [27:40] 对对 ， 我不觉得 ， 就 coding agent 它只是一个执行者 。 **曼祺** [27:44] 你的意思是说它的 ， 它需要解决的问题 ， 它的问题 。 **田渊栋** [27:48] 对 ， 它的问题 ， 然后它的难度 ， 然后它的那个可能的路径比现在 coding agent 要大很多 。 **曼祺** [27:53] 所以你不是指的市场规模 ， 还是也包括那一部分 ？ **田渊栋** [27:56] 我觉得不是 ， 市场规模当然是一部分 ， 还有一部分就是包括就是研究上的一些可能的方向和逻辑 。 **曼祺** [28:02] 所以你觉得就光有这个支点 ，其实不见得你就能做好 RSI。 **田渊栋** [28:07] 是的 ， 我觉得是这样子 。 因为其实很简单 ，因为对 coding agent 来说 ， 一个是大家已经有可以用的 coding agent， 对吧 ？ 就是大家都用 ， 比如说 Claude Code 的 Codex， 然后最近的一些开源模型效果也很好 。 这个方向就是在做一些基本功能的情况下， 它也都已经做得还挺不错的了 。 那么也就是说 ，而且因为有开源模型的存在 ， 所以就是说这件事情变成所有人都有了这个能力 。 **曼祺** [28:31] 那你觉得开源模型的能力和 Anthropic 还有 OpenAI 的能力还是比肩的吗 ？ 比如说像 GM562， 像 Kimi 167 这些 。 **田渊栋** [28:39] 我觉得肯定还是有差距的 ， 差距还是有一些 ，但是应该在接近中 。 **曼祺** [28:45] 你自己的体感是越来越近了 。 **田渊栋** [28:46] 我自己体感就是 ， 当然了 ， 就是至少跟 Opus 4.7 相比 ， 你觉得就是 GM562 还是挺不错的了 。 **曼祺** [28:53] 那和 4.6 比 。 **田渊栋** [28:55] 4.64 已经差不多吧 。 **曼祺** [28:56] 4.64 已经差不多 。 因为有一种体感是会觉得 4.7 还不如 4.6 好用 。 **田渊栋** [29:01] 我没有那么大的感觉 ，但是我感觉上是 4.6 和 4.7、4.8 没有太大区别 。 **曼祺** [29:07] 没有太大区别 。 **田渊栋** [29:07] 对 。 **曼祺** [29:07] 只有版本号的区别 。 **田渊栋** [29:09] 可能唯一的区别就是说 4.8 它的 contact window 变长了 ， 所以这样的话用起来更舒服一点 。 因为像 4.6 你在用的时候 ， 用到一半突然跟我说啊 ， 我要 compact 这个 history， 然后你就等半天 ， 等半天之后它重新 reset 了之后， 你再去问它以前的一些事情 ， 它就不记得了 。 这个是它一个比较大的问题 。4.8 相对来说没有这个限制的话呢 ， 用起来会更舒服一点 。 **曼祺** [29:32] 所以在你自己现在的实际使用中， 像 GLM5.2 这样的模型 ， 你觉得是已经很够用了 。 **田渊栋** [29:39] 我应该说还可以吧 。 应该说我也用过了 ， 我其实也就是最近刚从那个国内回来 ， 紧急用了一下 。 **曼祺** [29:47] 紧急用了一下 。 **田渊栋** [29:48] 因为大家都觉得它好嘛 。 对 ， 我肯定要试一试 。 一个是这样 ， 就是它还是比较擅长做一些比较执行上的一些工作 。 对 ，而且执行上工作能做得不错 ，有一些事情它经过一些思考可以做得还不可以 。 但有些时候呢 ， 它可能会陷入死循环 ， 或者说有一些各种各样的这种毛刺吧 。 但是总的来说应该说还是挺好的 。 **曼祺** [30:08] 你刚才提到就是 RSI， 它整个要比 coding 要大得多嘛 。 你觉得它除了 coding 之外， 可能它还需要一些什么样的能力呢 ？ **田渊栋** [30:17] 我觉得一个很重要的能力呢 ， 就是说你要做 AI Scientist， 你要做人的这个能力的话 ， 就是人类那个研究员的这个品味啊 ， 对吧 ？ 它的方向的这个感觉和理解 ， 还有就是说对一些问题的一个抽象能力 ， 这东西应该说现在模型都不太有 。 **曼祺** [30:34] 这个东西它如果总结下的话 ， 它在模型里是属于什么能力 ？ 属于推理 ， 属于 reasoning 吗 ？ **田渊栋** [30:40] 对 ， 这当然是推理能力了 ，但是应该说很难去形容这种东西 。 **曼祺** [30:44] 就也不是说 reasoning 就能包含的 ， 你觉得 。 **田渊栋** [30:47] 对对对 ， 它比 reasoning 更大 。 **曼祺** [30:48] 在人的能力里面 ， 它属于哪一种 ？ **田渊栋** [30:52] 因为推理能力可以有很多种嘛 ， 推理这个词非常广泛 。 **曼祺** [30:55] 不是说你说你想要的那种能力 ，在人的能力中可能属于哪一种 ？ **田渊栋** [30:59] 这在人的能力中就是说大部分人也并不是有的 ， 就是有一些很强的这个研究员 ，他有这个能力 。 **曼祺** [31:05] 这是创造力吗 ？ **田渊栋** [31:06] 对 ， 应该说创造力 。 应该这么说 ， 就是说可以把一些概念从一些纷繁复杂的这个表象中抽取出来 ，并且加以总结 ， 加以思考 ， 然后继续再应用于新的问题上这样的能力 。 **曼祺** [31:20] 其实就是你之前说到的 ， 从少量的样本里就可以看到精准而细节的联系 。 **田渊栋** [31:25] 对对对 ，但这个能力应该说现在模型还很难具备 。 **曼祺** [31:29] 其实这是对人来说真正的 growth king 的 。 **田渊栋** [31:32] 对的 ， 这是应该说是人跟大模型相比 ， 人比较大的就是一个优势 。 就是因为大模型现在能力很强 ， 还是因为有大量数据嘛 ， 对吧 ？ 所以对于那些非常常见的数据 ， 然后说是重复的领域工作 ， 这些工作来说 ， 大模型有无穷无尽的数据 ， 所以它可以学会 。 但是对那些就是数据量很少的 ， 就是或者说像科学家这样开创性的这个领域 ， 就是问题应该说是层出不穷的 ， 然后你每次做实验 ， 然后每次探索都会发现新的问题 。 那么这个时候呢 ， 这些问题的这个理解呢 ， 就是它的项目数据很少 。 那么这样的话 ， 你要让 AI 去做 ， 恐怕是比较难 。 **曼祺** [32:15] 你觉得就是计算机科学 ， 或者具体到 AI 这个领域 ， 它本身在学科特性上， 相比于其他一些自然科学 ， 会不会它本身就数据更富集 ， 更不需要你说的那种能力 ， 它也能往前推 ？ **田渊栋** [32:26] 计算机科学你看嘛 ， 计算机科学理论也很大 ， 它也有工程的上面很多能力呢 ，其实应该说是大家已经反复实践过了 。 那么这些能力其实应该说 AI 已经有了 。 **曼祺** [32:36] 对 ， 就可能不太需要你刚才说的这种灵光乍现的东西 ， 它也能往前走 。 **田渊栋** [32:40] 对的对的对的对的对的 。 还有一些能力 ， 比如说像应用研究的能力 ， 就是比如说你把你按照这个某个固定的这个逻辑 ， 或者某个固定的那个计算方案 ， 或者说是个思维方式解决一些问题的能力 ， 这个能力 AI 现在也是有的 。 就比如说你让 AI 去解一道数学题 ， 对吧 ？ 那么对数学题来说 ， 这道数学题肯定就相似题目已经出现很多次了 。 那么 AI 就能够学会这个里面的这个模式 ， 然后找到更好的解 。 但是有很多问题 ， 你就很难去找到固定的模式 ， 或者这个模式应该说是以前没曾出现过的 ， 这些问题就是 AI 就很难去找到答案 。 **曼祺** [33:16] 对 ，因为我想问的就是 ， 至少在第一个阶段 ， 就不说 AI for 其他的自然科学 ， 就在 AI for AI 的这个阶段 ，AI 学科里面实际上它有很多这种情况的问题吗 ？ 就是我需要在很少的样本里 ， 我就找到一些可能没有固定模式的新的 。 **田渊栋** [33:30] 是啊 ， 就是一个非常明显的这个例子嘛 ， 就是说比如说像 growth king， 像就是怎么样理解模型本身的那些问题 。 那么模型本身有学习能力 ， 然后它怎么从数据中学到这个模式 ， 然后怎么把这个模式拓展到其他方向 。 那么这个问题本身 ， 一个它没有现有数据集 ，因为如果你有数据集的话 ， 这问题就解决了 。 没有数据集 ， 然后对这问题的这个理解的方式都不一样 。其实应该说就是怎么样去理解 AI， 怎么能够就是认识世界 ， 怎么能够发现这个新的 pattern， 怎么产生涌现呢 ？ 应该说有很多很多人做了很多尝试 ， 比如说 2013 年、14 年开始 ， 就是大模型或者说深入学习一开始的时候 ， 就有很多很多那个做理论的人 ，他们想用各种方式去解释它 ， 比如说物理上， 比如说做这个重整化群 ， 对吧 ？ 然后物理上还有像那个什么那个 spin glass， 就是什么那个自旋玻璃 ，他们有人用过 。 对 ， 还有比如说数学上的一些方法 ， 比如说之前有过很火的 ， 像那个 neurotension kernel， 就是什么神经正切核 ， 对吧 ？ 这些方法就是他们有很多不同的观点 ， 还有贝叶斯的方法来解决 ， 对吧 ？ 还有像高斯过程的方法来解决 。 那么有很多很多方式去研究这个模型是怎么样产生这个涌现呢 ？ 怎么样学习东西的 。 那么这些角度应该说是都尝试过 ，但是都没有特别满意的结果 。 如果你要真的找到一个新的对于 AI 的这个理解 ， 那么这个理解可能是跟其他的方向都不一样 。 对 ， 这个时候你要让那个 AI 去找 ， 让 AI 去发现 ， 这个时候呢 ， 你就很难就是通过照搬已有的这个逻辑 ， 套到 AI 上来完成 。 **曼祺** [35:12] 这里我的一个问题就是 ， 您看从 13 年到 14 年这么多尝试 ， 它都没有去很好的能解释 AI，但好像另一方面这也不影响 AI 在图飞猛进的发展 。 **田渊栋** [35:23] 对的对的 ， 我没有说这件事情会影响 AI 的推进发展 ， 我只是说就是作为一个 AI Scientist 的这个工作来说 ， 对吧 ？ 如果比如举个例子 ， 我要让 AI Scientist 去研究 ， 去理解这个 AI 是怎么运作的 ， 那么这个问题本身就是个难问题 。 因为过去的人都试过 ，而且那个用的 pattern 都是不一样的 。 **曼祺** [35:42] 对 ，因为我是在想 ， 就是回到你们公司的目标 ， 或者 RSI 的这个目标嘛 。 就这个目标 ， 它说让 AI 自进化 ， 或者说 AI 帮助 AI 进化得更快 ， 这件事情上 ，是不是我不用处理一些特别深的理论问题 ， 我可能也能实现这个目标 。 **田渊栋** [35:56] 是的 ， 这就是 AI RSI 好的地方 。 因为对 RSI 来说呢 ， 就是它不是那种像无人车那样 ， 要么是 0， 要么是 100，而是这个非常有很多阶梯的 。 因为你 RSI 处理阶段就能够做很多事情 ， 就比如说你刚才说那个优化各种那个算法 ， 然后提高性能 ， 这个部分 RSI 也能做了 ，但是它本身也有效果 ，也有一些实际用处 。 所以说你它的第一级台阶本身就有很多实用的价值 。 等到它到第二级台阶的时候呢 ， 它可能有更深的东西能挖出来 ， 那么可能实用价值会更大 。 那么最终呢 ， 可能我们会有一个非常难的 ， 非常高的一个目标 ， 比如说我们希望 AI 成为像爱因斯坦或者牛顿这样的大脑 。 那么这样大脑可以通过很少样本获得很深的知识 。 那么如果这件事情成了 ， 那么应该说那个 AI 就非常非常厉害了 。 但这件事情呢 ， 就是是个非常难的问题 。 就算我们没有做出来的话呢 ， 本身这个东西的应用呢 ，也是有很多的 。 **曼祺** [36:54] 那回到就是我们刚才这一轮话题的起点 ，是说在 coding 之外，RSI 还需要什么能力 ？ 你刚说有一个就是类似于 growth king 的这种人， 其实可以产生某种灵感和联想的这种能力 。 还有什么你觉得 ？ **田渊栋** [37:07] 对 ， 我觉得这个是重要的 。 对 ， 还有就是说一些就是 agentic 的 behavior 嘛 ， 对吧 ？ 这个也是要的 。 就是说你 AI 怎么用 ， 动用工具啊 ， 怎么动用各种各样的那个已有的知识 ， 然后获取新知识 ， 然后获取各种那个把这些事情放在一起 ， 完成任务这样的能力 ， 对吧 ？ **曼祺** [37:25] 那这个能力其实某种程度上可以说是核心的公司 。 **田渊栋** [37:30] 已经有了 。 **曼祺** [37:31] 对 ， 已经在探索 ， 已经在往前推的 。 **田渊栋** [37:32] 对对对 。 **曼祺** [37:33] 所以对新公司来说 ， 我觉得好的一面是你们有很多能力是可以直接用 。 **田渊栋** [37:36] 是的 。 **曼祺** [37:37] 然后可能会有压力的一面就是 ，因为他们也有这些能力嘛 ， 所以他们可能也会往这个方向推 。 **田渊栋** [37:43] 对 ，但是这样能力应该说很多开源模型 ， 或者说很多那个已有的那个解决方案已经在那了 ， 对吧 ？ 所以就这些能力 ， 它有多大程度会左右最后的 RSI 的结果 ，其实他们应该说每个人想法是不一样的 。 对 ， 还有一些能力 ， 当然说你怎么去收集信息 ， 然后把从信息中找到一个最重要的那个信号 。 那么这个部分应该说就之前做 deep research 这些方向上也已经有很多工作 。 **曼祺** [38:08] 我的一个感受就是 ， 最近这段时间硅谷非常热衷的讨论 RSI， 它有一个假设 ， 就是谁最先达到这个状态 ， 就会把其他人甩得越来越远 。 而且这件事是有一个窗口的 ， 就可能你过了一个时间 ， 你还达不到的话 ， 你就无缘这个决赛圈了 。 你觉得这个逻辑它有什么漏洞吗 ？ **田渊栋** [38:26] 这个逻辑呢 ， 应该说还是比较正确的 。 但是呢 ， 应该说有这种可能性 ， 就是说对于 AI 来说 ， 如果它没有突破性进展的话呢 ， 所有人 AI 都差不多 ， 对吧 ？ 就是说它不是那种渐进式的这种一点点往上走的 ， 它可能是那种突破式的往上走的这种路径 。 比如说所有人在没有达到某个 level 的这个模型之前 ， 大家都差不多 ， 都还是不错的 ，但是也许有一两个人产生突破了 。 那么突破了之后呢 ， 它会达到下一个层次 。 那个层次上的 AI， 它的能力呢 ，是远远高于前面层次的 AI 的 。 那么这样这种情况下呢 ， 就是说那个整个 level 会提得更快一点 。 对 ， 所以它可能不是渐进式的 。 它的一个推论就是说 ，其实也许还是有一定空间给初创公司的 。 因为如果是渐进式的 ， 如果你觉得现在这个 skilling law 这条路线就一定能通向这个 RSI， 那么初创公司是没有什么机会的 。 为什么呢 ？ 因为现在 OpenAI 和 Anthropic 都已经做得很好了 。 那么他们如果加入 RSI，他们是不是一直往前走 ， 一直往前走 ，他们永远比别人可能更快 。 **曼祺** [39:28] 我理解你说的意思 ， 它其实就是一个加速度 ， 你可以一直往前冲 。 **田渊栋** [39:32] 或者我可以举这样的例子嘛 ， 就是说比如说嘛 ， 一个 RSI 这个系统 ， 对吧 ？ 这个系统肯定会让效果变得越来越好 ， 对吧 ？ 就是说你看 ， 从这个系统开始出发 ， 它会有个 S 型曲线 ， 一开始涨得很快 ， 然后呢 ，因为有些瓶颈会停下来 ， 就会到平台期 ， 直到下一个突破出现 ， 然后再次出现 S 型曲线再上去 ， 这样的一个过程 。 对 ， 这样就是 S 型之后平台 ， 然后 S 型之后再平台 ， 再平台 ， 这样 。 所以你每个平台应该都对应一个突破 。 所以如果你没有达到这个突破的话呢 ， 那大家做得再好的话 ， 就可能在这个就是无限的就是逼近那个之前那个效果的上界 。 **曼祺** [40:08] 你对它接下来的这个发展是直接这样往上的 ， 还是它是渐进式的有平台的 ？ **田渊栋** [40:14] 我觉得是有平台的 。 你发现了新的东西 ， 新的想法 ， 那么你这个用这想法产生的模型会变得更强 。 然后变得更强之后呢 ， 你才会有更好的想法去做 。 那么就是它是一个阶段是跳跃的 。 **曼祺** [40:27] 你觉得这个想法现在它主流吗 ？ **田渊栋** [40:31] 现在应该还不是很主流吧 。 对 ，但是我觉得这当然是完全取决于就是大家对于 skilling law 有多大的信任感 。 如果大家觉得 skilling law 百分之百是对的 ， 那么就是说其实并不存在这样的平台期 。 就是说我只要大家堆算力 ， 堆计算资源 ， 堆那个各种东西 ， 我们的能力就会越来越强 。 那么这样的话 ， 这个递归自我进化这件事情就一定是一个非常平滑的过程 。 我比你快一点 ， 我就一定比你快更多 ， 快更多 ， 然后就会上去 。 那么这样的话呢 ， 任何一个初创公司不可能追上 OpenAI 或 Anthropic，因为他们已经在更前面 ， 然后他追得更快 。 对 ，但是我觉得就是不是这样 ， 就是 skilling law 可能不是全部吧 。 就它可能是对的 ， 只是说它需要百分之百 ，不需要很多很多样本 ， 它很周时之数集的 。 所以就是说你需要十倍的计算资源 ， 十倍的数据 ， 十倍的这个各种东西 ， 然后最终能够达到就是线性的增长 。 那么这样十倍的这个资源 ，其实应该说现在已经开始有瓶颈了 。 **曼祺** [41:33] 所以哪怕这个理论它是对的 ，但是它也有一些别的现实上的限制 。 **田渊栋** [41:38] 对 ， 这个限制应该说是很大的限制 。 就是说你不可能让全世界 ， 整个地球的电力都供应给你一个人做这个自我进化 ，是不可能的 。 肯定会有博弈 ， 肯定会有一些限制 。 所以应该有更好的 、 更有效的方法去做这事情 。 **曼祺** [41:53] 这个也是你之前反复有讲到过的 。 你曾经说过 ， 如果 skilling law 就是未来的话 ， 你觉得那是一个比较悲哀的未来 。 **田渊栋** [41:59] 那就很非常无聊 。 **曼祺** [42:00] 非常无聊 。 **田渊栋** [42:01] 对 。 **曼祺** [42:01] 没有新的知识上的突破 。 **田渊栋** [42:03] 是的 ， 我相信是会有知识上的突破 。 有知识上的突破的话 ， 就是这个 RSI 这个 loop 本身是一个元叙事上的这个 loop，因为不管你是什么模型 ， 都不能做这事情 。 但是具体的就是支撑这个叙事的这个底层的架构啊和底层的这个数学啊和一些这个模型的一些结构 ， 应该说是会有突变 。 **曼祺** [42:23] 对 ， 就刚才我们说是否达到 RSI 这个状态之后， 强者愈强 ， 领先者越来越明显 。 你说有一个变量是它接下来的走势是渐进式的 ， 还是有 S 型的平台的 。 **田渊栋** [42:34] 是的是的 。 **曼祺** [42:34] 还有一个我觉得有可能的变量 ， 就是说这个智能未来的空间它有多大 ？ **田渊栋** [42:38] 空间是很大的 。 **曼祺** [42:39] 你觉得呢 ？ **田渊栋** [42:39] 我觉得我们刚刚开始 ， 我们现在还是就像我那本书一样的 ， 叫 《 破晓之中 》 嘛 。 就是我们刚刚开始 ， 我们刚刚才看到那个一点点的星光 ， 就太阳还没露头呢 。 我觉得应该是这样的状态 。 **曼祺** [42:50] 只是你觉得它的前途是光明的 ，但道路是曲折的 。 **田渊栋** [42:54] 对对对 ，因为我们毕竟是生活在地球上的一些非常可怜的猴子变来的那个生物吧 ， 对吧 ？ 就是说一直以来看到那些东西呢 ， 都比较粗浅 ， 或者说比较简单 ， 对吧 ？ 这上面应该有很多很多东西可以做 ， 只是我们看到的东西非常少 ， 所以我们只能看到这些 ， 我们不能看到非常非常远的未来 。 **曼祺** [43:15] 那这个想象往后是什么 ？ 我们最开始是猴子变来的生物 ， 可怜的生物 ， 看到粗浅的东西 ， 再往后了 。 **田渊栋** [43:23] 对 ， 再往后就是说是 ， 如果真的是有就是 RSI 普及了 ， 然后所有人都有超越我们以前智能百分之 ， 甚至很多很多层次智能的时候 ， 那么整个世界会完全不一样 。 **曼祺** [43:36] 你可以稍微讲讲你觉得会怎么不一样吗 ？ **田渊栋** [43:38] 就是说以后我们之前所有的世俗上的一些东西可能都能够满足 ，因为所有的那个欲望或者所有的要求都能够被 AI 所满足 ， 就是就进入了修仙社会嘛 。 就是说演出法术 ， 什么演出法术 ？ 我说了句话 ， 这东西一定会真的 。 比如我今天我要弄大房子 ， 马上就给你大房子 。 我今天说我要去海边旅游 ， 马上旁边就是海 。 对 ， 我说我今天要那个改变整个世界 ， 把它变成我想要的样子 ， 它马上变成我想要的样子 。 你可以回去当皇帝 ， 你也可以去任何地方做你想做的任何事情 。 **曼祺** [44:08] 但是在你自己写的科幻小说里面 ， 它后来虚拟世界里还是加了一层限制的 。 就本来那是想要房子就有房子 ， 后来也有了房价系统 。 **田渊栋** [44:16] 对的 ， 那是因为就是如果是这样的话呢 ， 对于这个世界来说 ， 就是大家可能失去了一个动力 。 对 ， 失去动力的话呢 ， 就会有一个新的问题 。 一旦失去动力之后， 那么人类社会怎么发展 ？ 这个是一个很大的问题 。在小说里面呢 ，其实应该说迭代两次嘛 。 就第一次迭代的时候发现这个事情不是很成功 ， 那么推翻重来之后， 再迭代一次的时候呢 ， 就是作为这个虚拟世界的管理者 ， 可能会思考一下怎么能让人类在享受这些那个非常便利的那个技术进步之后， 同时能保持向前的动力 。 这个其实是很大的问题 。 **曼祺** [44:51] 你说这个未来里至少有一件事我觉得是很美好的 ， 就是一些现在很难克服的病痛是可以消失的 。 **田渊栋** [44:58] 对对 ， 我相信是这样子 。 **曼祺** [45:00] 这是你自己的一个个人的愿景 ， 还是你们就因为你们新的公司其实也是以这个 RSI 为一个共同方向嘛 。 **田渊栋** [45:08] 对对对 。 **曼祺** [45:08] 你们合伙人之间也会去讨论这种事情 ，也会有相同的愿景 。 **田渊栋** [45:11] 那些什么修仙社会之类的东西 ， 那肯定是我自己愿景 。 对 ， 那个是更像是偏小说的 ， 更偏那个类似于科幻的这样的一个想法 。 对对对 ， 就是至于公司来说 ， 我们还是希望把这个事情做成 ，因为这是一个实现上， 或者说是一个具体的执行层面上的一个工作 。 **曼祺** [45:29] 而且 AI for AI 只是你们的第一个大阶段 ， 你们后面还要进入别的科学领域 。 **田渊栋** [45:34] 对 ， 比如说你对 AI for AI 能做得比较好的话 ， 我们如果能够找到新的方式 ， 就是说产生新的架构 ， 或者新的这个理论 ， 或者新的这个模型的优化算法的话 ， 那你就认为这个系统本身对一个问题的理解深入很深 。 那么这样的话 ， 我们是不是可以用这个系统做别的东西 ？ ### 落地成果 **曼祺** [45:51] 那我们接下来来聊一聊你们最近的一些具体的进展 。 因为你们在 6 月初正式官宣之后， 到 6 月 11 号是释放了第一个成果 。 当时你们发了一篇技术博客 《First Steps Toward Automated AI Research》。 通往 AI 自动化研究的第一步 ， 可以讲讲这是一个什么样的进展吗 ？ **田渊栋** [46:09] 对 ， 这是一个初步的进展嘛 ， 就是说证明我们的系统还是可以做一些事情 。 比如说我们用它来那个优化那个 NanoChat，5 分钟的那个训练 ， 能够让它那个 BPB 这个数字呢 ， 降得比较低 ， 比如说比 Community 的数字还要低 。 比如说我们可以用它来做那个 NanoChat 的那个 Speedrun， 对吧 ， 让这个速度变得更快 。 最后呢 ， 就是算子优化这部分呢 ， 就是我们找到了一个新的那个算子 ， 这个算子也是通过我们的系统来优化的 。 优化完之后呢 ， 这算子的效果应该说比现在这个最好的这个 Soda 还要好不少 。 **曼祺** [46:41] 就这些成果你们都是开源了的 。 **田渊栋** [46:43] 对的对的 。 **曼祺** [46:44] 这一次的这个进展发布之后， 有什么有意思的反馈吗 ？ **田渊栋** [46:47] 总的来说有很多的那个比较 positive feedback， 大家都觉得这个结果还是不错的 ， 比较 impressive。 那么我特别我个人特别觉得 ， 就是特别是第三部分嘛 ， 就是那关于算子优化这部分 ， 对吧 ？ 因为这部分应该说是一开始是我一个人搭加 AI 做到 Soda 了 。 **曼祺** [47:03] 一个人加个 AI？ **田渊栋** [47:04] 叫 Soda， 然后 。 **曼祺** [47:05] 你可以说一下是加的哪个 AI 吗 ？ 你说加了很多 AI。 **田渊栋** [47:07] 我就不能说了 ，因为这也是我们自己做的 ， 对吧 ？ **曼祺** [47:10] 哦 ， 你们自己 ， 就是你们自己的这个系统 。 **田渊栋** [47:12] 对对对 ，不是 ，并不是说是外面的那个系统 。 然后再往上的话呢 ， 就是大家都很兴奋嘛 ，因为一开始大家都觉得挺难的 。 对 ， 后来做到 Soda 之后呢 ， 就很兴奋 ， 就很多人一起来做 ， 那最后达到更好的结果 。 **曼祺** [47:26] 你为什么要去做这件事 ？ 就是你怎么看到 SOL-ExecBench 这个 benchmark 的 ？ **田渊栋** [47:31] 这个 benchmark 应该说一开始是那个英伟达的那个最近才发布的 benchmark， 应该说比较新吧 。 对吧 ， 然后另外就是说算子优化本身也是很重要的一个工作 ，因为算子变快了之后， 它能够对于这个 AI 这个 model training 和 serving 都产生影响 。 **曼祺** [47:46] 那英伟达它去做这样一个 benchmark， 它也是为了去服务 RSI 的推进吗 ？ **田渊栋** [47:54] 不是 ，因为对英伟达来说 ， 做这 benchmark 应该说是它最多是就是看一下， 就是我们因为对 AI 来说 ，AI 算子变快 ， 对英伟达来说是好事 。 **曼祺** [48:03] 所以它无所谓你是人来做的 。 **田渊栋** [48:05] 对 ， 它并不无所谓是人。 **曼祺** [48:07] 还是系统做到的 。 **田渊栋** [48:07] 对对对 ， 对它来说就是对为它的硬件配备更好的算子 ， 然后让这个速度变快 ， 效率变高 ， 对它来说都是好事 。 **曼祺** [48:16] 然后你们这次做的这三个测试 ，是用同一个系统去跑的吗 ？ 还是说它需要针对不同的测试和任务做一些修改了 ？ **田渊栋** [48:23] 它同一个系统去跑的 。 **曼祺** [48:24] 同一个系统去跑 ， 所以是个通用的东西 。 **田渊栋** [48:26] 对 ，是通用的 。 **曼祺** [48:27] 我觉得你们选的这三个 benchmark 还挺有意思的 ， 一个刚好是我算力是限定的 ， 我去看性能 ， 对吧 ？ 然后另一个是我是看它的 efficiency 的 。 **田渊栋** [48:38] 对 。 **曼祺** [48:38] 就我是看效率的 。 **田渊栋** [48:39] 对 。 **曼祺** [48:39] 然后最后一个算子优化是可以作用在 Infra 上的 。 **田渊栋** [48:42] 对对对 。 **曼祺** [48:42] 也涉及到就是模型其实几个比较主要的不同的环节 。 **田渊栋** [48:46] 是的是的 。 **曼祺** [48:47] 你们当时是怎么计划和思考去做这样一个成果的 ？ **田渊栋** [48:52] 可能是也是一个是机缘巧合吧 。 **曼祺** [48:54] 对 ， 你当时最后那个算子优化是有些机缘巧合 。 **田渊栋** [48:56] 对 ， 机缘巧合是一个 。 然后还有就是说也有很多的这个看那个什么东西 ， 确实对我们来说是相对来说是比较容易的第一步 ， 我们一定会先去做它 。 就是这样的话 ，有一个很好的一个一开始的那个结果 ， 通过这方式也可以让我们往后的事情做得更好 。 **曼祺** [49:11] 你们是把你们做这个东西称作系统 ， 为什么不把它叫做一个 agent？ **田渊栋** [49:16] 因为我们还是希望细节不是比较保密吧 。 称为系统来说了 ， 就是说这样的话就是你可以保留各种可能性 。 **曼祺** [49:24] 那如果说系统本身你觉得不方便展开聊的话 ， 你可以讲讲就是你们现在就选的这三个 benchmark， 它分别是在测试什么能力 ？ 如果再往后它有没有一些比如说组合起来的更大的空间 ？ **田渊栋** [49:35] 这个就是说其实应该说是主要还是测试 ， 比如说它在预训练上有能不能找到更好的那个想法 ， 更好的思路 ， 对吧 ？ 然后它在算子上能够找到更好的那个算子 。 所以它们的共同特点就是说它们的这个反馈比较快嘛 ， 对吧 ？ 就是很快能够获得一个反馈 ， 然后这个系统能很快的跑起来 。 **曼祺** [49:52] 因为你们把这个成果叫做 First Steps 嘛 。 **田渊栋** [49:55] 对对对 。 **曼祺** [49:55] 那更总结来说 ， 你们是怎么设定递归自进化的第一阶段的目标的 ？ **田渊栋** [50:01] 第一阶段目标当然是希望这个系统能跑起来 ， 然后有一些初步的结果 ， 对吧 ？ 所以我们现在是达到这个目标 。 **曼祺** [50:06] 那你们这个系统接下来是你们自己继续用之外 ，因为其实之前你也说过你们一开始就有考虑一些商业化的事情嘛 。 就是你们有了这个初步的成果之后， 它在商业化上是马上会有些动作吗 ？ 还是一个什么样的 ？ **田渊栋** [50:19] 我们当然会继续去优化这个系统 ， 然后让它做得更好一点 。 商业化呢 ， 我们也在思考中， 我们在思考中 。 当然了 ， 就是说我们还是希望这系统做得比较一般化 ， 就是解决通用的问题 。 那么这样的话呢 ， 我们不会说因为一两个具体的这个 vertical， 让这系统变得非常特殊化 。 这样的话可能就失去了这个一般化的意义 。 **曼祺** [50:39] 然后回到这次具体的成果 ， 你们在这三个 benchmark 上都取得了 Soda，但如果只看这些数字的话 ， 直观的感觉是它一些改进好像是非常小的 。 **田渊栋** [50:47] 其实不是这样 ，其实应该说这些数字还是比较让人印象深刻的 。 比如说拿算子优化来说吧 ， 对 ，因为这个方向那个一开始是我这边来带起来的 。 我觉得一个是重要的是就是说你看就是我们当时战胜第二名 ，有第二名有个公司叫 Double AI。Double AI 这个公司呢 ，是以色列的那些人做的 。 那么他们那边的那个 CEO 是 Sasha， 她应该说是以前 Mobileye 的 CEO。Mobileye 呢 ，是应该说是一个非常久远的公司 ， 它一直做非常强的这个就是端侧的 ， 或者说在 chip 上的一个处理 。 **曼祺** [51:23] 对 ， 它以前做过特斯拉的供应商 。 **田渊栋** [51:27] 对对对 。 **曼祺** [51:28] 车上的芯片 。 **田渊栋** [51:29] 对 。 **曼祺** [51:29] 所以它是一个半导体的专业的公司 。 **田渊栋** [51:31] 对 ，而且他们这次开了一个新的公司叫 Double AI。 那么他们里面那些人都是专业的做那个 GPU 的这样的一些工程师 。他们当时也是提交了一个那个版本 ，但是我们的效果比他们要高 10%。 **曼祺** [51:45] 相当于他们是专家 。 **田渊栋** [51:46] 对 ，但是应该说对于我们来说 ， 我们其实组里面没有什么人是 GPU 的专家 ，但是呢 ， 我们系统比较高效 ，也比较有效率 。 就是说你可以这么说 ， 你可以说是所有最懂算子优化的那个是我 。 那意思就是说我其实应该说你要去看我以前的简历 ，以前的那个故事 ， 我没有真的做过算子优化 。 对 ， 所以那个我只能说我做过一些就是大模型的 efficiency， 大模型的那个效率 ，其实呢 ， 这样的一些工作 。 所以就算是这样的一个就是非专业的团队 ，但是呢 ， 我们有这个 RSI 的一个通用的这个思考和这个逻辑呢 ， 然后通用的方式来做这个大的系统 ， 能够达到更好的效果 。 **曼祺** [52:25] 就能够达到业界顶尖专家团队的效果 。 **田渊栋** [52:27] 对 ， 比他们更好一点 。 **曼祺** [52:28] 所以你自己对这个还是比较满意的 。 **田渊栋** [52:31] 对的对的 。 这应该说是一个比较好的一个结果 。 像那个 NanoChat 5 分钟 ， 就是像 NanoChat Speedrun 的这个东西 ， 应该说是 Community 做了两年了 。 对 ， 那么这个数字也是很难再往上提 ，但是我们在这上面又提高了两秒钟左右 。 就数字看起来绝对数字不大 ，但是其实应该说是对那些已经做过这个方向的人来说呢 ， 这个数字还是比较大的 。 **曼祺** [52:53] 对 ， 我就是想请你解释一下 ，因为很多不是做这些事的人 ，他可能看的就是你从 79 秒到 77 秒 ， 就感觉好像那也只缩减了一点点 。 **田渊栋** [53:02] 但你要知道 79 秒是过去整个 Community 做了两年的 Soda。 对 ， 那就接下来就很难再往上提了 。 **曼祺** [53:09] 就相当于也是技术社区里面专门主攻这个效率这个方向的人的努力的结果 。 **田渊栋** [53:14] 是的是的 。 **曼祺** [53:14] 还有一个问题就是你们现在测的这个 NanoChat 和 NanoGPT， 它都是比较小规模的测试 。 比如说 NanoChat 的话 ， 它是训一个 GPT-2 级别的模型 。 **田渊栋** [53:25] 对 。 **曼祺** [53:26] 它和现在主流的大模型的参数其实差了很多 。 那你们目前的这些成果如果要迁移到更大的模型上， 更大规模的架构上， 它会难吗 ？ 它中间会有比较大的 gap 吗 ？ **田渊栋** [53:37] 应该说还是会有一些 gap 的 ， 这个我们也在继续做 。 **曼祺** [53:42] 那有可能之后我们就能看到相关的成果 。 **田渊栋** [53:44] 具体的东西我就不透露了 。 **曼祺** [53:45] 再往下的话 ， 你们会着手去做一些什么事 ？ 比如说 First Steps 是现在我们看到的这个 ， 那比如说第二步是什么 ？ **田渊栋** [53:53] 那我们会继续优化这个系统嘛 ， 就是继续优化这个系统 ， 让它变得更强 ， 让它变得更有效率 ， 然后让它变得更好 。 对 ， 然后呢 ， 就看就是这个系统本身能不能优化更多更广泛的那个方向 ， 对吧 ？ 比如说预训练 、 后训练这些东西都会做 。 **曼祺** [54:08] 预训练 、 后训练 。 你们现在有类似之前 OpenAI 总结的 AGI 的那几个阶段的这种 Roadmap 吗 ？ **田渊栋** [54:16] 这个目前还没有 。 **曼祺** [54:18] 这个你觉得是要就是再探索一段时间 ，有更清晰的思路的时候可能会有 。 **田渊栋** [54:22] 对 ， 毕竟我们公司刚成立嘛 。OpenAI 有这个 Roadmap 也是在他们成立 10 年之后了 。 **曼祺** [54:26] 对 ， 很久之后了 。 **田渊栋** [54:27] 对 。 **曼祺** [54:27] 15 年底就成立了 ，他们差不多是 23 年、24 年左右的时候提的 。 **田渊栋** [54:32] 对 ， 你知道有 8 到 9 年的时间吧 。 当然了 ， 就是现在这个时间会缩短 ，因为大家的热情很高涨 ， 然后整个那个过程是变得很快了 ，但是应该还不至于快到只要半年的程度 。 **曼祺** [54:44] 你觉得这个领域现在急缺什么呀 ？ ### 挑战与安全 **田渊栋** [54:46] 你说 RSI 吗 ？ **曼祺** [54:47] 对 ，RSI。 比如说一般来说你要做一个 AI， 肯定是要看它的数据是否充裕的吧 。 那像做 RSI 的话 ， 它什么数据是可以用上的 ？ **田渊栋** [54:55] 这个问题应该说现在还没有定论吧 。 现在有很多很多方法可以做数据 ， 比如说这些数据的这个具体的那个做法 ， 然后它的逻辑 ， 然后它的那个准则 ， 它的那个思路 ， 现在都不是很清楚 。 有各种各样的方法可以做 ， 应该说现在还是探索期 。 **曼祺** [55:10] 可以分享一些大致业界的数据的思路吗 ？ **田渊栋** [55:14] 这个我们暂时也不太方便说 。 **曼祺** [55:16] 所以其实也没有很多人知道怎么做 。 **田渊栋** [55:18] 对对 。 **曼祺** [55:19] 都是在团队内探索的状态 。 **田渊栋** [55:22] 现在都在探索吧 。 **曼祺** [55:22] 不说就具体它是什么类型的数据 ， 我想知道比如它成本高吗 ？ 获得难吗 ？ 就目前大家想到的几种方法里面 。 **田渊栋** [55:29] 有难的也有不难的吧 。 但是难的跟不难的之间呢 ， 就是问题在于就是它到底效果怎么样 。 **曼祺** [55:35] 就是 trade off， 可能难的就是效果好 。 **田渊栋** [55:37] 对对 。 **曼祺** [55:37] 不难的就是效果不好 。 **田渊栋** [55:39] 对对对 。 **曼祺** [55:40] 除了数据之外， 你觉得还可能缺什么 ？ **田渊栋** [55:42] 算力肯定是一部分嘛 ， 就是因为比较重要的是你怎么样能够 RSI 本身就需要一些算力去探索的 ， 去研究的 。 所以在这上面其实应该是花不少时间去怎么样减少算力的消耗 ，但同时获得更多的成果 。 **曼祺** [55:56] 其实你们首轮的融资是很多的 ， 融了 6.5 亿美元 。 **田渊栋** [55:59] 对 。 **曼祺** [55:59] 这个在第一阶段 ， 就因为你刚说算力也是个问题 ，在第一阶段它对你们来说充足吗 ？ **田渊栋** [56:07] 应该说还可以 ， 这个数字还是不错的 。 对 ， 可以做一些事情 ， 做事情 。 当然了 ， 你要达到像那个御三家的这个级别 ， 达到大厂的级别 ， 你还有一定距离 。 **曼祺** [56:18] 你觉得就是实现你说的那个 RSI， 就更往下来说了 ， 它之后是不是也需要一些 scaling law 之外的新的创新 ？ **田渊栋** [56:26] 我觉得是 ，因为如果是完全拼 scaling law 的话呢 ， 像小公司是拼过大厂的 ， 就跟我刚才说的是一样的 ， 对吧 ？ **曼祺** [56:33] 就关于 scaling law 之外有什么方向 ？ 你现在有什么想法可以透露吗 ？ **田渊栋** [56:37] 现在还不太好说 。 **曼祺** [56:38] 就是你就想到了一些 ，但是要验证是吗 ？ **田渊栋** [56:41] 对 ， 我觉得就是一个大的方向就是可解释性嘛 ， 就是我觉得可解释性很重要 。 对 ， 它能够发现很多的那个 insights， 然后这 insights 可以加快这个速度 ， 然后同时让这个模型变得更加 safe。 但具体是什么呢 ， 我就不好说 。 **曼祺** [56:56] 其实像 Grokin 就是一个可解释性方向的研究 ， 解释了就人们眼中的那种涌现是怎么来的 。 **田渊栋** [57:03] 对 。 **曼祺** [57:03] 你们之前公司的愿景里特别强调了你们要在安全的条件下来追求 RSI。 如果摊开来说一下的话 ， 你觉得 RSI 实现之后， 它可能还会有什么风险 ？ **田渊栋** [57:13] 风险呢 ，是还是挺多的 ，因为很多人可能会问我说 ， 如果 AI 能够自我进化了之后， 那它们会不会变得很疯狂 ？ **曼祺** [57:20] 你说的很多人是什么类型的人 ，是从业者还是有些可能不是这个领域的 ？ **田渊栋** [57:25] 其实很有意思的就是说 ， 越是就是领域之外的人， 其实问题会越来越多 。 对 ， 领域之内的人其实倒没有那么多问题 ， 就是说他们不会觉得这个问题太严重 。 **曼祺** [57:37] 因为这可能不是一天就到来了 。 **田渊栋** [57:39] 对 ，其实现在 AI 还有很多很多问题 ， 这些问题应该说非常难解决 ， 现在还是很大很大的 challenge。 但是领域之外的人可能会问这个问题 ， 那个 AI 自我进化之后会不会有一天超过人类控制 ， 或者说那个达到一些那个方向 ， 让人类无法去理解 。 这个其实是应该说是比较大的问题 。 **曼祺** [57:57] 那你一般会怎么回答这个问题 ？ **田渊栋** [57:59] 首先一个就是说我们在训练 AI 的时候呢 ， 我们把它当成就是我们当成狗一样来训练 ， 就是说我们在训练这个 ， 它的这个 signal 是相当于我们当时训练狗这样的训练方式 。 就训练 AI 使得 AI 能够很快很好的服务于人， 能够很好的这个帮助人解决问题 。 那么在这样的进化压力下， 就是 AI 是没办法进化出跟人一样的 ， 就是某些自我意识和这个就是自我认知的这样的一个概念的 。 我觉得这个是一个很大的 ， 应该是很大的区别 。 **曼祺** [58:27] 你觉得如果要达到你所设想的更终极的 RSI， 那种能产生新的创造力和一些灵感的状态 ， 它需要有意识吗 ？ 意识和这个事有关系吗 ？ **田渊栋** [58:37] 我不觉得它需要 ， 就这样不是一回事 。 **曼祺** [58:39] 不是一回事 。 **田渊栋** [58:39] 对 ， 这样不是一回事 。 我不觉得这个东西是一定必备的 。 你其实可以想一想 ， 就是比如说有很多天才的那个 ， 就是说数学家和物理学家 ， 对吧 ？ 他们在各自领域上可以做得非常天才 ，但是另一方面呢 ， 就是说他们也与世无争 ，他们并不是想要权力 ，也并不想要各种东西 。 所以就是说这两部分的这个 ， 就是能力和它的欲求是完全可以分开的 。 这是第一点 。 然后第二点就是说 ， 我觉得以后可解释性是很重要的 ，因为通过可解释性你可以真正知道模型在干什么 。 **曼祺** [59:07] 到底什么地方是起作用的 。 **田渊栋** [59:10] 对 ， 什么地方是模型起作用 ， 什么地方模型利用什么样能力获得什么样的知识 ， 得到什么样的结果 。 就是这样的话呢 ， 你就可以消弭人们对这种黑箱的这种恐惧 。 **曼祺** [59:20] 是不是从业者里也分两派 ，有的人认为这个东西一定是可以解释的 ，是可知的 ？ **田渊栋** [59:24] 我可能是少数派吧 ， 就是说因为大部分人可能已经觉得绝望了 ， 就是说大模型那么复杂 ， 应该是没希望在了解里面在干什么 。 **曼祺** [59:33] 对 ， 我就是说可能有另一派是觉得就是可知这件事也许是很难追求到的 。 **田渊栋** [59:38] 是的 ， 很多人是这么想 ，但是我觉得不是这样子 。 我觉得一定是有一个好的 principle， 能够让这个模型运转起来 。 那么这个方面 ， 如果你真的能够找到这个 principle 的话 ， 一方面就是能够让这个模型变得更强 ， 另一方面呢 ， 就是说能够让模型变得更安全 。 **曼祺** [59:53] 你的这种少数的相信是来自什么 ？ **田渊栋** [59:56] 这个应该说是我根据我过去的那些经验和我过去的一些做的工作 。 **曼祺** [1:00:01] 如果展开来讲是什么 ？ 什么东西会给你这种 ？ **田渊栋** [1:00:04] 对 ， 我一直在做一些比如说关于就是神经网络的这个训练算法的这个理解 ， 对吧 ？ 神经网络是怎么学会各种知识 ， 各种各种模式的 ， 神经网络是怎么学会的 。 然后比如说你训练的时候你做那个梯度下降 ， 那么梯度下降会给神经网络的动力产生什么样的影响 ， 神经网络里面那个权重是怎么生成的 ， 然后它怎么学会一些 pattern。 这部分的那个分析应该说我已经做了很多很多年了 。 **曼祺** [1:00:28] 你之前也提到其实在这一轮 AI 热潮的起点 ， 就是 12 年前后就有很多理论的研究想去解释机制 ，有从物理里借鉴的 ，有从数学里借鉴的 ，但是成果都其实比较少 。 **田渊栋** [1:00:41] 对 。 **曼祺** [1:00:42] 这不会影响你的信心吗 ？ **田渊栋** [1:00:44] 我不会影响我的信心 。 我觉得也许我会是那个少数派 ， 会把它做出来的那个人。 **曼祺** [1:00:49] 这还是个挺大的 ， 我觉得知识上和学术上的一个抱负和追求 。 **田渊栋** [1:00:55] 你可以试一下， 就是如果你没这个想法的话呢 ， 你也可能就是随大流 ， 对吧 ？ 但是如果你有这个想法的话 ， 那可能你就会有这个想法往你前进一直走 。 **曼祺** [1:01:04] 你什么时候开始有比较明确的这个想法 ？ **田渊栋** [1:01:07] 我应该说是 ， 应该说是从 2020 年、2021 年之后， 就慢慢慢慢对这个问题理解更深入了之后呢 ， 我会觉得也许我在一条正确的路线上走 。 **曼祺** [1:01:17] 那个前后有什么整个技术环境的变化让你的这种想法更明确吗 ？ **田渊栋** [1:01:23] 我会觉得是这样 ， 就是至少因为对于我来说 ， 我对于 AI 的一些分析和一些工作 ， 那这些工作本身让我 ，因为这个方向本身我做了很多年了 ， 应该说就是一开始呢不是很顺利 ，有很多东西我做得不好 。 但是从那个 2021 年之后呢 ， 我会觉得这个东西的分析呢和理解呢 ， 我会觉得越来越深入 。 有很多问题本来想不通 ， 现在突然想通 。 所以因为有这个过程 ， 你会觉得就是我也许在这条正确的路径上再往前走 。 **曼祺** [1:01:51] 现在还在追求这个事情的人， 你的同行人有哪些 ？ **田渊栋** [1:01:54] 应该说不多 。 对 ，因为很多人可能都放弃了 。其实有很多人， 就包括这次那个 Manjiu，他的那个 entropy 那个人嘛 ， 对 ， 叫 Behnam。Behnam 其实应该说很老以前我就知道他了 ，因为他以前是做 ，也是做理论的 ， 就是对于模型的分析和理解 ，他也出发了很多文章 ， 很多文章还不错的 。他也是之前是跟很多 ， 比如像跟普林斯顿那个 Sanjeev Arora 经常会合作的 。 但是很多人就是在这一波 AI 热潮之后呢 ， 就放弃了之前的工作 ， 然后直接说 OK， 我们就 scaling law，scaling all the time。 那么他们就做别的东西去了 。 所以有些东西就是大部分人是可能很多做理论的人后来也就放弃了 ，他们就说他们加入 OpenAI 或者加入其他地方 ，他们就说 OK， 加入这个 scaling law 大军嘛 ， 然后把事情做成 。 **曼祺** [1:02:41] 就打不过就加入 。 **田渊栋** [1:02:42] 对对对 。 **曼祺** [1:02:43] 你们想今年年初就有理论 ， 计算机的理论可以再加入 OpenAI。 **田渊栋** [1:02:48] 对对对 ，是的是的 ，是很多人是这样子 。 那么加入其实有很多种可能性 ， 一种是当然是说我是有自己的追求的 ，但是我想用 AI 来做点啥 。 那么这时候呢 ， 你加入大公司 ， 用他们的模型做这事情是很正常的 ， 这是一种 。 还有一种说 OK， 我已经放弃我现在手上做的东西 ， 我就觉得 AI 就是一切 ， 那么他们将来会成为 AI 的研究员 。 还有一种就是说想进去看一下， 然后过两年再回去入界 ， 这也是有可能的 。 **曼祺** [1:03:11] 我之前采访过的人里面 ， 我觉得马毅老师比较追求这个 。 **田渊栋** [1:03:14] 对对对 ，是的 。 **曼祺** [1:03:15] 他比较追求可解释性 ， 还有百合大模型的一些研究 。 **田渊栋** [1:03:19] 对 ，但我觉得就是说一样就是我希望就是以后人类还是有一些多样性的 ，不可能说所有人都追求一个东西 。 对 ， 如果所有人都相信我 scaling law 就是一切了 ， 那世界会很无聊 。 **曼祺** [1:03:33] 你觉得乐坤他做的 Army 是在追求这个吗 ？ **田渊栋** [1:03:36] 他的追求东西应该说是不一样的 ， 就是一个是基于视觉的 ， 然后呢世界模型 ， 然后在隐婚阶上做一些推理 ， 推导 ， 做一些那个预测 。他在这三个点上抓住了之后 ，他觉得这个方向是正确的 ，他就往这方向走 。 对 ， 就算这个方向跟大模型是不一致的 ，但是他也希望这方向能往前走 。 **曼祺** [1:03:53] 但是他的重点不一定是解释性 ， 对吧 ？ **田渊栋** [1:03:55] 对 ，他重点可能是说他认为这个新的范式能够解决一些现有大模型做不了的事情 ，他可能更多是工程上的一个方向 。 **曼祺** [1:04:03] 其实我觉得你在追求的是 ， 就是你希望把这个东西变成一个真正的科学 。 **田渊栋** [1:04:07] 对 ， 这个可能是我一个追目标 。 **曼祺** [1:04:09] 因为现在它可能很难说是一个科学 ，因为有些原理确实搞不清楚嘛 。 **田渊栋** [1:04:14] 是的是的 ，是的 。 就是我觉得它以后终将变成科学 ，因为这个应该说是历史一定会出现一个 ， 就是不会重复吧 ，但是历史会某种程度上是会跟以前的那个东西相互相呼应的 。 **曼祺** [1:04:28] AI 终将变成科学是跟以前历史上的什么过程呼应 ？ **田渊栋** [1:04:33] 就跟以前的比如说炼金术变成化学 ， 或者说从开普勒的这个 。 **曼祺** [1:04:38] 天文观测 。 **田渊栋** [1:04:39] 对 ， 地谷的天文观测 ， 到开普勒的一个总结经验 ， 然后最后变成牛顿的一个地心原理 。 这过程一定会发生 。 ### 信念与历程 **曼祺** [1:04:45] 科学革命的结构就是从地谷 。 **田渊栋** [1:04:47] 从地谷到开普勒 ， 从开普勒到牛顿 ， 永远是这样子的 。 当然了 ， 就是你在牛顿没有出现之前 ， 大家可能会觉得这事情不可解释 ， 太难了 ， 一定会这样子 。 那么等到牛顿出现了之后， 会觉得这个事情确实还是挺难的 。 **曼祺** [1:05:02] 你觉得下一个出现的牛顿还是人类吗 ？ **田渊栋** [1:05:05] 不一定 ， 可能是 AI。 **曼祺** [1:05:07] 可能是 AI， 可能是人类加 AI。 **田渊栋** [1:05:09] 对 ，有可能是这样子 。 所以为什么要做 RSI， 就是这个原因 。 因为你如果想做这件事情的话呢 ， 你一定要用世界上所有的那个计算资源和所有的最强的那个大脑 ， 包括人的大脑和 AI 的大脑 ， 把这事情做成 。 **曼祺** [1:05:25] 你觉得有生之灵会看到图灵奖颁给一个系统吗 ？ **田渊栋** [1:05:29] 我觉得如果到那个时候 ， 可能图灵奖也不是很重要了 。 如果这个系统很强的话 ， 那它可能会在很快的速度获取很多的知识 ， 然后得到很多的结果 。 就它变成了一个就是 knowledge discovery system， 就你可能每隔一个月 ， 每隔两个月产生新的东西 ， 东西非常牛逼 。 **曼祺** [1:05:46] 到了那个状态 ， 你觉得人类研究员的乐趣是什么 ？ 比如说你自己的乐趣是什么 ？ 你会在做什么 ？ **田渊栋** [1:05:51] 我觉得首先第一个就是 ， 如果能理解 AI 到底是怎么工作的 ， 我会很开心 。 然后另外呢 ， 就是说如果真的什么事情不太需要人类去介入的话 ，AI 能自动发现新东西的话 ， 那时候呢你去 ， 一个是当然是欣赏它的美了 ， 你有很多东西你来不及去做 ，但是你能够至少能看一下， 能够感觉一下这个美感 ， 这种有意思的东西可以被发现 。 我现在其实还有这种习惯 ， 就是我经常去看一些比如说数学证明 ， 看一些有意思的这个问题怎么发现的 ， 那么这个发现里面的一些有意思的东西 ， 你发现哦 ，是这么做的 ， 这种豁然开朗的感觉 。 **曼祺** [1:06:21] 这个和你日常工作其实不直接相关是吗 ？ **田渊栋** [1:06:23] 对 ， 对 ，不直接相关 ，但是这本身是一个很有意思的一个过程 。 **曼祺** [1:06:26] 这对你是一种享受精神的 ， 精神享受活动 。 **田渊栋** [1:06:29] 对 ， 是一种乐趣 ， 就或者说发现这个系统是怎么 work 的 ， 或者怎么样能够理解这里面在干啥 ， 这很有意思的事情 。 **曼祺** [1:06:36] 其实最近 AI 系统也就是全球有一些证明 ，有些数学上的突破 ， 这些你去看了吗 ？ 有你觉得比较优美的东西吗 ？ **田渊栋** [1:06:45] 比如说呢 ， 你有什么东西你觉得我愿意去看的 ？ **曼祺** [1:06:48] 去年的 Google 的 Alpha Evolve， 它是应该是有一种矩阵乘法 ， 它减少了一次的次数 ， 对吧 ？ 从多少次缩小到了多少次 。 **田渊栋** [1:06:58] 对对对 ，是的 。 这个当然是就是说 ， 就是它把矩阵乘法就换了一些顺序 ， 然后比如说可以少一次加法或少一次乘法 ， 通过这个方式呢就减少了这个代价 ， 对吧 ？ 你真的去看的时候觉得它还是挺有意思 ， 你会发现它通过某种方式变换之后， 它可以少一次乘法 ， 让它能够效率变高 。 **曼祺** [1:07:13] 那你刚才问就是有什么值得看的 ， 你的意思就是说其实可能真的 AI 做出来的东西目前来说也还没有那么优美的 ， 你觉得能有享受感的东西 。 **田渊栋** [1:07:23] 对 ， 就是说很多时候还是要看人做的东西 ， 对吧 ？ 因为现在 AI 做的东西很多时候是处于这个树上的这个 level， 没到道上那个 level。 就是说树和道是不一样的 ， 树是指就是具体的那个细节 ， 就比如说我们把这个矩阵乘法的那个次数少了一次 ， 那么你当然可以看到就是通过某种很强的变化 ， 你把东西先加起来 ， 然后再乘 。 那么这样的话呢 ， 你可以减少一次乘法的次数 ，因为你加完之后再乘呢 ， 那其实是就是说你同时相当于同时把很多东西都乘起来了 ， 对吧 ？ 你同一次乘法可以乘 ， 相当于乘四个数字 ， 通过这个方式呢可以算出一个比较强大的数字 。 这个相当于说是应该说是在高空中做一个穷举 ， 然后找到一个穷举的一个好的结果 。 但是道呢 ， 可能是另外一个东西 ， 就是说你发现一个新的理论 ， 或者发现一个新的这个逻辑 ， 或者新的链条 ， 这个东西呢它本身是美的 ，但这种美呢你以前没有见过 ，是不一样的东西 。 **曼祺** [1:08:14] 最后这一部分想聊聊 ， 就是你过去的一些经历和你现在做的事之间有什么关联 ， 包括你过去的哪些选择和学习让你走到了今天这种探索的状态 。 就是我看你过往的经历 ， 我觉得比较重要的转折是你之前在 Google X 的时候 ，其实做的是无人驾驶的工程师嘛 ， 那个我理解是跟偏工程的 。 **田渊栋** [1:08:32] 对 。 **曼祺** [1:08:32] 然后后面你去 Meta， 最开始去 FAIR， 它就又回到了一个更研究的状态 。 当时为什么要主动有意识做这个选择 ？ **田渊栋** [1:08:40] 对 ，因为一个是当时工程表不了 。 对 ， 当时应该说恰逢就是深度学习的一个变革期嘛 。 **曼祺** [1:08:46] 是 13、14 年的时候 。 **田渊栋** [1:08:47] 13、14 年的时候 ， 对吧 ？ 因为 13 年的时候我加入了 Google 无人车 ， 当时一开始呢应该说比较兴奋的 。 对 ，因为一个是这个方向本身是一个比较大的视野 ， 大家会觉得哇 ， 无人车这个方向以后肯定会很火 。 **曼祺** [1:09:02] 而且那也很早期 ， 无人车很早期的时候 。 **田渊栋** [1:09:04] 对吧 ？ 但是呢 ， 就是当时我也有想法 ，因为当时我也知道深度学习已经开始起来了 ， 当时我其实非常希望能够在无人车内部做深度学习这个工作 ， 比如说你用深度学习这个算法来训练一些无人车的一些分类器啊什么的 。 但是很可惜在那个时候 ， 一个是我没有这个资源做这事情 ，因为当时资源很有限 ， 当时 GPU 也很少 ， 很有限的时候 ， 这些资源都会分给一些比如说比较新一点的人， 对 ，他们先去用它 。 那个像我们这样的人呢 ， 就相对来说就只能做些打杂的工作 ， 打杂工作可能我能看到它没有对于我来说没有什么职业的发展的一个前途 。 **曼祺** [1:09:38] 所以 13、14 年你入行的那会儿 ， 它和现在不一样的一个氛围是说那个时候 ， 那个时候年轻人没有那么受追捧是吗 ？ **田渊栋** [1:09:45] 因为还是一个比较论资排辈的过程嘛 ， 对吧 ？ 因为谷歌内部还是有很清楚一个级别上的一个分界 ， 就是说级别很高 ， 比如说当时说我们当时组里面有个级别 7 的人， 那么级别 7 的人他就能获得一些比较好的一个自由度 ，他能够可以用比如说做深度学习 ， 用深度学习来训练一些模型 ，但我刚进去的时候级别是 4， 那么对于 4 级别的人来说 ，他只能做一些打杂 的工作 。 **曼祺** [1:10:09] 你觉得在那个技术阶段 ， 就是当时的环境下， 级别高的人他和级别低的人， 谁更了解正在变化的深度学习的浪潮实际上 ？ **田渊栋** [1:10:19] 其实那个时候应该说年轻人还是比较容易接受的 。 当时很多时候不是说是学习上的那个区别 ，而是概念上的区别 。 就是很多高级别的人， 或者很多就是很老的 ， 比较老的人 ，他们拒绝学习深度学习 。 为什么呢 ？ 是因为他们下意识觉得这东西不行 ， 或者这东西效果不好 ， 或者说这东西有很多猫腻 ，有这样的一个想法 。 那么要等到就是两三年之后， 慢慢慢慢人他们大家会开始有个意识到这东西是个变革 。 然后这次大模型出来之后呢 ， 一个思路上不一样也还是存在的 。 对 ， 还有一个另外一个维度呢 ， 就是说年轻人动作很快 ， 年轻人愿意熬夜 ， 年轻人愿意把事情做成 。 对吧 ？ 很多时候也不问任何的想法 ， 我就说我干就干就完了 。 那么大模型确实需要很多 hands on 的人 ，因为没有 hands on 的能力的话呢 ， 你就没有办法知道大模型的很多问题 。 **曼祺** [1:11:09] 那回到就是当时你说在 Google 做无人驾驶的工程师 ， 你觉得有点无聊了 。 **田渊栋** [1:11:14] 对对对 ， 就是一开始新经历过去之后， 你会觉得就是工作做的东西可能对我职业发展没有什么太大有利的地方 。 我当时是要做一些就是紧急车辆的检测吧 ， 就这样的一个问题 。 这个问题本身一个是它是小范围问题 ， 量も非常少 ， 然后少到就是说你连个分类器都训练不出来 ， 你可能需要就是手工写规则 。 那样的话我觉得做下去是没有什么前途 。 **曼祺** [1:11:40] 确实这个行业后面有很长时间就是很多东西就是手动写的 rule base。 **田渊栋** [1:11:44] 是的是的 ，是 。 对 ， 就是当时我对这个行业的判断也是对的 ，因为这个行业一个问题是它要不就是成功 ， 要不就是完全不成功 ， 它没有中间状态 。 就是如果这个在车上 ，在路上是有风险的话 ， 大家就不会用它 。 那么你就必须得一直做 ， 做到最后就是产生这个无风险 ， 就是比人更强 ， 才能在大规模上路 。 所以这个其实是很大的问题 。 **曼祺** [1:12:05] 所以 13、14 年的时候你就看到说它其实可能很晚才会落地是吗 ？ **田渊栋** [1:12:09] 对 ，因为我已经感觉到了就是它有很多 corner case 要修 ， 然后 corner case 的修法呢应该说是一个非常漫长的过程 。 **曼祺** [1:12:16] 那在 15、16 年的时候 ， 就比如说你看到马斯克 ， 包括当时 Google 后来成立的 Waymo 的一些 leader。 **田渊栋** [1:12:23] 我其实就在 Waymo， 我是在 Waymo 的前身 。 **曼祺** [1:12:25] 那个 OS 后来就是在 Waymo 嘛 。 **田渊栋** [1:12:26] 对 。 **曼祺** [1:12:26] 就是其实他们都有一些很乐观的宣言 ， 就比如说什么 16 年这个车就可以上路 。 **田渊栋** [1:12:32] 这个我已经 ， 当时我已经已经算是说已经免疫了吧 ，因为他们每次都这么说 ，因为是还有 5 年 。 就是特别是当时 2011 年听说这个事的时候就说有 5 年， 然后等到我进去 2013 年的时候还有 5 年， 然后现在可能还是要修 5 年 。 **曼祺** [1:12:47] 现在在旧金山 ，在 LA 已经在路上跑了 。 **田渊栋** [1:12:49] 对对对 。 **曼祺** [1:12:50] 那你后来去 Meta FAIR，因为你之前在 Google X 的那个经历是更偏工程嘛 ， 你去 FAIR 是更偏研究 ， 这一步跨得难吗 ？ **田渊栋** [1:12:59] 其实应该说不难 ， 应该说是其实我在 FAIR 的前几年还是偏工程的 。 对 ， 我们当时做围棋嘛 ， 对 ， 围棋的时候我很多时候也是我自己搭工程项目 ， 就从头到尾搭一些 ， 比如搭这个 Mercato 那个 Tree Search， 对吧 ？ 搭这个系统 ， 分布式的 reinforcement 系统 ， 这都是我自己搭的 。 所以这个很工程 ， 就当时也是被人， 就是说当时我记得就是当时给我的评价还是说就是你觉得这个人太工程了 ，不像一个研究员 ， 别人打开电脑全是那个文章 ， 我打开电脑全是代码 。 当时有这样的一个评价 。 那么当然后来我在 2018 年、19 年做了我们的那个就 OpenGo 之后， 就是那个是当时战胜韩国的一个专业棋手 ， 对 ， 当时打他们一个 20 比 0 嘛 。 所以做完之后呢 ，其实我后来就更偏研究一点 。 当时慢慢就应该说从 2019 年开始到 2022 年， 慢慢形成了自己的一些 taste 嘛 。 对 ， 就是我有感觉上我知道怎么做这事情 。 **曼祺** [1:13:54] 这个事情是不是你之前就是比较工程化 ， 然后写很多代码的经验也是有帮助的 ， 就后面的一些 taste。 **田渊栋** [1:14:01] 对 ， 当时看起来帮助不是很大 ，因为是不一样的 。 就是你会明显感觉到就是那个写代码和你这个做这个研究 ， 它其实本身是不一样的东西 。 **曼祺** [1:14:12] 那现在呢 ？ 现在再回头看 。 **田渊栋** [1:14:14] 现在还是不一样的 。 **曼祺** [1:14:15] 现在还是不一样 。 因为就我们最开始聊的时候 ， 你不是提到说在去年八九月的时候 ， 秋天的时候 ，因为你一边又很 hands on 嘛 ， 然后你又有做研究 ，其实你有些问题意识 。 **田渊栋** [1:14:24] 对 。 **曼祺** [1:14:25] 所以其实让你能更快的感受到就是这个加速的研究的循环在到来的 。 **田渊栋** [1:14:31] 对对对 ，是的 。 **曼祺** [1:14:32] 你觉得这和你当年就是有比较多的一手的写代码的经验有关系吗 ？ **田渊栋** [1:14:36] 对 ， 就是应该说就是就算在 2022、2019 年之后， 我还是会很多写一手代码 ， 就是说你会发现我每年还是有至少一篇的一作的文章 。 当然很多这样的文章很多还是偏理论的 ，但是呢 ， 就是至少还是会有一个一手的感觉 ， 这个问题怎么做 ， 那个问题怎么做 。 就是说不会说是就是泛泛而谈 ，因为如果很多人， 如果有一个研究员他一直是做最后一作 ， 或者做那种就是高层的这个思考的这样角色呢 ，他很多问题就是他会慢慢的把所有的精力都花在高层思考上 ，他不会去想这件事情怎么完成 。 那么这样的话呢 ，他就会把很多的难的问题和比较难的问题和非常难的问题混在一起 。 所以他没有一个特别清楚的思路说这些问题怎么做 ， 这是一个比较大的问题 。 **曼祺** [1:15:16] 为什么不做实现 ，不做完成 ， 就会把你刚刚说的不同难度等级的问题混在一起 ？ **田渊栋** [1:15:21] 因为就是说如果你不做实现 ，不做完成的话 ， 那你就会不记得去思考这个问题本身要怎么做 。 因为更多的问题是 ，因为有两类研究员 ，有一类研究员说 OK， 我只看方向 ， 这个方向我很重要 ， 我就只要方向 。 但是指完这方向之后呢 ，他不会想太多这个方向是怎么做出来的 ， 这个问题可能会交给下面的人去做 。 对研究员来说 ，他只要把方向指出来就可以了 。 所以这个逻辑是不一样的 。 比较接地气的人来 ， 研究员对他们来说呢 ，是他就指方向 ， 然后同时给大家指出来就是这个方向为达到这个目的 ， 你必须走 12345， 然后把这些东西拼起来之后得到这个方向 ， 对吧 ？ **曼祺** [1:15:59] 你觉得这两类研究员里面都有非常好的研究员 ， 还是你觉得 。 **田渊栋** [1:16:03] 都有非常好的研究员 。 **曼祺** [1:16:04] 都有 ？ **田渊栋** [1:16:04] 对 。 **曼祺** [1:16:05] 可以分别举举例子吗 ？ 比如说你比较 respect 或者你比较欣赏的两类的研究员都有哪些 ？ **田渊栋** [1:16:11] 你比如说前面那一类吧 ， 比如说像 Yang 吧 ， 对吧 ？ **曼祺** [1:16:15] 乐坤 。 **田渊栋** [1:16:16] 乐坤这样的 ， 乐坤是就是说 OK， 比如说他说他想要做的是 self-supervised learning，self-supervised learning 就是说就是自监督学习 。 那么自监督学习有很多细节 ， 对吧 ？ 你很多东西要去尝试 ，但他的有个点很重要 ， 就是那个数据的那个样本是他的是不是有监督的样本是很少的 ， 非常少 。 那么所以他当时不是画了一个就是一个经典蛋糕嘛 ， 就是说所以就是当时他把 reinforcement 放在最上面 ，tear it on the top，因为 reinforcement 他的眼睛里面呢 ，他就 reinforcement 呢 ，他那个反馈非常非常少 。 **曼祺** [1:16:48] 强化学习 。 **田渊栋** [1:16:48] 非常少 ， 所以他不觉得这东西有前途 。他觉得有前途的是自监督学习 。 为什么呢 ？ 因为自监督学习的反馈非常非常多 ， 这个本身是有道理的 ，但他不会去想就是这件事情 ， 这个监督和反馈究竟是怎么样让这个模型学出来的 ， 这个问题他不会去想 。 就是说监督多 ， 监督少 ， 监督少一定比监督多要差 ， 监督多的话这个模型学得更快 。他抓住这一点不放 ，他就会他坚持到底的话呢 ，他就会让大家觉得这个东西很有道理 ， 然后他就变成就去做它 。 那么确实自监督学习在那个在之后是有很大的那个用处 ， 甚至你可以说 GPT 的整个训练过程也是自监督学习的一部分 ，因为他预测下一个词嘛 ， 就是自监督嘛 。 所以就是说方向上就是说他指得好的话呢 ， 确实有很多人可以 follow 他做 。 **曼祺** [1:17:32] 所以就是第一类研究员的优秀的典型是他能去提一个问题 ， 提个好的问题 。 **田渊栋** [1:17:38] 提好的问题 ， 然后抓住好的点 。 **曼祺** [1:17:40] 开一个好的坑 ， 对吧 ？ **田渊栋** [1:17:41] 对 ， 好的坑 。 对 ， 那个方向是可以做的 。 那么提出这样的一个思路就是可以的 。 还有比如说就是像我们这边以前推荐的 Coconut， 这个东西其实应该说也是一个低劣问题的一个范式吧 。 就是说可能很多人会反过来说啊 ， 这个东西并不怎么 work， 或者说那个需要很多技术需要去解决 ，但至少指出一个方向说我们是不是可以用那个影空间的那个 token 来学习 。 **曼祺** [1:18:03] 对 ，latent reasoning。 **田渊栋** [1:18:04] 而不是说是用语言来学习 。 那么这个本身的提法能够让大家觉得这个方向可以做 。 那么具体怎么做的 ， 那么很多人在做 。 那么这也是一种第一类研究员的这种视角 。 那么第二类研究员的视角就是说我不仅要知道做什么 ， 还知道怎么做 。 那么这就是我的很多工作是这样子 ， 就是我们要去把机制挖出来 ， 找到它的这个路径 ， 找到路径上能够把事情做成 。 **曼祺** [1:18:26] 你觉得像 Ilya 和 Dario 他们属于哪一种 ？ **田渊栋** [1:18:29] Ilya 和 Dario 应该都属于第一类的 。 **曼祺** [1:18:31] 都属于第一类 。 **田渊栋** [1:18:32] 对 ，他们就是说特别是 Ilya，他对于 skilling law 有一种就是应该说是执念吧 ， 或者说有非常非常宗教般的信仰 ， 让大家觉得就是你别想太多了 ， 你就是 skill, skill, skill, skill， 然后你有时间把工程问题做好 ， 然后把事情做成了 ， 然后我们就把数据放进去 ， 然后训练出来 。 **曼祺** [1:18:49] 我看他去年底接受采访的时候 ，他倒是有说过他觉得房间里的所有 。 **田渊栋** [1:18:53] 你到头了吗 ，是吧 ？ **曼祺** [1:18:55] 对 ，有点类似吧 。他就说房间里所有的空气都被 skilling 给吸走了 。 **田渊栋** [1:18:58] 对对 。 **曼祺** [1:18:59] 他觉得应该去研究点别的 。 **田渊栋** [1:19:01] 对对对 ， 这当然是这个意思 ， 我非常同意 ， 对 ， 我非常同意这一点 。 对 ，因为他之前的 skill, skill，他这波红利已经差不多吃完了嘛 ， 对吧 ？ 因为不管怎么样 ， 任何一个研究方向它都是有底的 ， 就不是说是你可以一直 skill 下去的 。他当时在正确时间 、 正确的那个地方提出正确的一个想法 ，并且让很多人去执行它 ， 然后成功了 ，OpenAI 成功了 ， 对吧 ？ 非常非常成功的一个方向 ，但不可能他这一辈子都是吃这一个方向的 。 这应该说这跟以前不一样了 ，因为以前可能一个物理学家一个方向可以吃到他那个退休 。 那么现在这个进展是非常快的 ， 可能很快就大家把事情做成了 ， 那么他就必须想别的东西 。 **曼祺** [1:19:41] 所以你要说这个红利就吃到了 ，是指作为研究来说 ， 可能已经就已经不在研究的阶段了 ， 还是一个实现就 。 **田渊栋** [1:19:50] 不是 ， 应该说不仅是研究 ，而且实现他都已经吃到了呀 。 然后接下来就是说你可以继续吃嘛 ，但是他作为一个 startup 的那个 CEO， 对吧 ？ 他也没办法再去 sell 这个事情 。 为什么呢 ？ 因为对 startup 来说 ， 你基于 skill 不是它的长项 ， 对吧 ？ 如果就现在你看 Google 都已经 skill， 然后甚至 OpenAI 都开始 skill 了 。 那么在这种情况下， 你的 startup 就要 find something different。 **曼祺** [1:20:12] 或者说反过来说 ，是你确实看到了什么事不一样的事 ， 你才应该去做一个 startup。 **田渊栋** [1:20:18] 是的是的 。 **曼祺** [1:20:19] 你才应该去创业 。 **田渊栋** [1:20:20] 对对对 。 **曼祺** [1:20:20] 否则就是你要说如果你非常相信 skilling law， 那你在 。 **田渊栋** [1:20:23] 你就应该在大厂 。 **曼祺** [1:20:24] 对 ， 你去 Anthropic 或者 OpenAI。 **田渊栋** [1:20:25] 对对对 ，是的 。 **曼祺** [1:20:26] 就是其实在 Meta 的最后阶段 ，因为那个整个公司也有比较多的动荡嘛 ， 然后整个 AI 组织也有比较多的变化 ，Meta 自己的模型也经历了 Llama 开源本身开始口碑比较好 ， 然后后面又出现问题的这个过程 。 这个过程你有一些什么组织层面 ， 或者说怎么做好研究的总结吗 ？ **田渊栋** [1:20:44] 我觉得其实应该说是这样 ， 就是大公司 ，因为现在这一波 AI 都是反大厂的 。 什么叫反大厂 ？ 就大厂里面所有的 incentive， 所有的这个职级 ， 然后所有的就是人和人之间的关系 ， 或者说所有的那些岗位的调配和这个设计 ， 都是跟现在 AI 的这个方向背道而驰的 ， 应该这么说 。 所以你会发现一个组织越来越臃肿 ， 越来越大 ， 那么它对应的这个 AI 的进展会越来越慢 。 为什么呢 ？ 就是刚才我说了 ， 就 AI 非常需要 ， 或者现在大模型非常需要人去 hands on， 就是知道就是我真的去用它 ， 真的去感受它 ， 真的去就是发现它的问题 ， 你就你会很好的知道它应该怎么去跟我们的这个概念那个不一样的地方 ， 然后很快的把这事情做成 。 一旦就是产生了这个经理和执行者两个二级架构之后呢 ， 这个速度就变慢了 ， 就跟我们刚才说的是一样的 ， 就是导师和学生一旦有这样二级关系 ， 整个这个进展的速度就会变慢 ，因为导师没有办法就去了解学生 100% 做的东西 ， 然后学生也不一定理解 100% 导师的那个想法 ， 人家介绍的速度永远是最慢的 ， 对不对 ？ 所以就是这样的 。 那么大厂有这个问题 ，而且大厂很多时候就是特别是中层管理 ，他们的那个目标不是为了让项目做成 ， 很多时候目标是为了让自己能够过得更好 。 **曼祺** [1:21:59] 那大厂你的小团队能独善其身吗 ？ 比如说新组建的 TBD，Meta 的 TBD， 它人数其实相对少 ， 没有那么多人。 **田渊栋** [1:22:05] 其实可以 ，但是就是也要看嘛 ， 就是但是一旦这个组一旦变大了 ， 一旦有很多 ， 一开始有职级 ，有中层管理的时候又开始有问题 。 **曼祺** [1:22:14] 你觉得多大算大 ？ **田渊栋** [1:22:15] 就是你看就是以前 Llama 4 和 XAI 都是超过 150 人之后就开始不行了 。 **曼祺** [1:22:21] 超过 150 人就不行 。 **田渊栋** [1:22:23] 对 ， 所以 150 人， 就是说从那个人类组织学上来说 ，150 人是一个临界点 ， 就是再往上的话 ， 人和人之间的关系就不一样了 。 就以前是比如说你一个 30 人 、40 人小团队 ， 每个人都认识每个人， 那么人和人之间的关系是非常简单的 ，但一旦人变多了之后呢 ， 就会有问题 ， 就是因为人和人之间不再相互认识了 。 这个时候一般是通过就是组织架构 ， 然后用组织架构去获取这些知识 ， 然后汇报给上面 。 **曼祺** [1:22:49] 就它可以核的那部分保持在你说的这个量级 ， 对吧 ？ 其实像 Anthropic 和 OpenAI 人都挺多了 ，OpenAI 有 7000 多人。 **田渊栋** [1:22:56] 对对对 ，但是就是 OpenAI 做模型的人其实也不是很多 ， 就是最重要的是这个做模型的人， 对吧 ？ 有没有很小的团队 ， 就像 Claude Code 这些团队很小 。 **曼祺** [1:23:04] 就它核心的那一部分是收缩的是精炼的 。 **田渊栋** [1:23:08] 对对对 。 **曼祺** [1:23:09] 那你们接下来肯定也是在一定时间里是会比较精炼的一个团队 。 **田渊栋** [1:23:14] 对 ， 我们不会招太多人。 **曼祺** [1:23:15] 最近会有人在 Frontier Lab 和你们之间选择你们吗 ？ **田渊栋** [1:23:19] 其实有一些人还是从 Frontier Lab 对我们有兴趣的 。 **曼祺** [1:23:22] 就你们在聊 ， 或者有的已经加入了 。 **田渊栋** [1:23:24] 对对 。 **曼祺** [1:23:25] 当然你们创始人里面很多是本来就是的 。 **田渊栋** [1:23:27] 是的是的 。 **曼祺** [1:23:27] 如果总结下的话 ， 就你过去的这么多经历 ， 给你带来的直觉 、 判断 ， 还有技术上的品味是什么呀 ？ 你的偏好是什么 ？ **田渊栋** [1:23:35] 偏好我还是喜欢美的东西嘛 ， 对吧 ？ 我喜欢就是我觉得我本质上来说应该说是一个喜欢数学的人。 **曼祺** [1:23:41] 喜欢数学 。 **田渊栋** [1:23:42] 对 ， 就是我喜欢各种精巧的结构 ， 喜欢美的东西 ， 应该是这样子一个 。 但是同时呢 ， 另一方面呢 ， 就是说也是意识到这种偏好的一个局限性 ， 这样的一个人。 就是一方面我可能是一个工程师 ， 我会做很多工程上的东西 ， 另一方面呢 ， 我本质上来说我追求美的一个人， 对吧 ？ 但是追求美 ，但同时也知道美的局限 。 **曼祺** [1:23:59] 这个局限展开来说是什么呀 ？ 你做工程师是你认知到这种局限之后， 你试图去弥补这个局限的一种方式吗 ？ **田渊栋** [1:24:07] 对 ， 就是说应该这么说 ， 就是理想和现实之间的碰撞 ， 就是对理想来说我们希望找到很美的东西 ，但是世界上不是这样子的 。 所以你要不停地提醒自己 ， 就是说很多时候你不能陷到美的这个幻觉里面去 ， 你要做一些事情就是可能对大家都有用 ， 然后对世界都有用 ， 或者说对公司都有用 ，不是很美的 ，但是同时在这个条件下还是要去追求美 。 **曼祺** [1:24:27] 你觉得像 RSI 这个方法 ， 它第一步是在 AI， 然后后面是自然科学 ， 这是大家能看到的 。 那它再往下， 它能进入你说的这种更复杂的世界吗 ？ ### 尾声 **曼祺** [1:24:36] 比如说它有可能去怎么改良社会科学的一些理解和认知吗 ？ **田渊栋** [1:24:41] 我觉得这是有可能的吧 ，但是应该说我对社会科学认知也不是很多 ， 所以我很难给任何建议 。 **曼祺** [1:24:48] 因为社会科学反正至少在以前的学科分类里 ， 它也是把它算成了 science 的一种 ， 比如像经济学 ， 里面其实有很多统计的东西 ，有很多数据的东西 。 **田渊栋** [1:24:56] 是的是的 ，是 。 因为这里面就是说这跟自然科学的很大不同的地方是 ， 自然科学本身是默认这个信息是完全透明的 ，但经济科经济很多时候是有反身性的 ， 就是我把这句话说出来 ， 这句话就不灵了 ， 对吧 ？ 所以这个事情也很难讲 。 所以我觉得我们这个问题还是很大的问题 。 **曼祺** [1:25:14] 你刚才也提到就是以前的一些科学家 ， 比如说物理学家 ，他一个领域可能会研究一辈子 ， 然后现在因为整个技术变化得很快 ， 很多事情你不是能一直做到头的 。 你能预见到说自己在这个旅程之后， 你接下来想探索的东西是什么吗 ？ 一个是说 RSI 什么时候可能到你设想的比较成熟状态 ， 一个是你再往后你想探索什么 。 **田渊栋** [1:25:34] 我觉得现在我们还是先把 RSI 做好吧 ， 对 ， 我们不会考虑其他问题 。 **曼祺** [1:25:38] 那今天非常感谢田渊栋做客 《 晚点聊 》， 分享了 RSI 这个在去年下半年你们开始组建公司的时候 ， 还没有那么多人讨论 ，但到了今年的四五月已经成为硅谷的一个相对共识性的热门话题的领域 。 然后我们也回顾了说从十年前就有一些相似的尝试 ， 到现在 RSI 有了什么变化 ，以及各个主要的公司的进展 ， 尤其是你们刚刚在六月初发布的你们的第一阶段的成果 。 那今天节目就到这 ， 拜拜 。 **田渊栋** [1:26:06] 谢谢 。 **曼祺** [1:26:10] 本期 《 点点呈现 》 将讲最近几期节目里关于 RSI 的一些共同讨论 。 这段时间 AI 研究自动化和自进化这个方向让我想到李白的一句诗 ：" 狡猾谢公鸡 ， 升灯青云梯 。" 正是穿着谢公鸡 ， 李白在梦中忽然就来到了天界 ， 看到仙之人兮列如麻 。 这双谢公鸡无疑就是模型的 coding 能力 。在 171 期和 Henry 聊 《 二季度 AI 季报 》 时， 那期的标题就是 《 从 coding 到 RSI： 强者愈强的未来 ？》。 另一期较多展开 RSI 的就是上一期节目 ，177 期详解 Kimi K3。K3 的技术报告里就提到 ，Kimi 用 K3 的早期 Checkpoint， 就是他们早期的大模型版本 ， 已经能做 Curl 的优化 ，也就是这期里田渊栋提到的算子优化 。RSI 这家公司今年六月发的第一批成果里面 ，有一个就是在英伟达今年刚推出的 SOL-ExecBench 上取得了 SOTA 结果 ， 这个 Bench 就是用来测试算子优化能力的 。在 K3 那期节目里 ， 我们还聊 到了田渊栋所在的 RSI 这家公司去测的另一个 Bench， 就是 GPT-5 的 Run。 这是 Waymo 这个优化器的开发者 Jordan Keller 两年多前发起的一个项目 ， 之前主要是人在做 ，而现在越来越多是变成 AI 和大模型来做 。 我们当时也讨论了一个小小的畅想 ，其实 AI 也非常适合来自动化的优化 ， 优化器本身 。 这三期节目里的一些共同观察都指向一个事实 ， 就是在一些具体的模型训练任务上，RSI 已经发生 ，而这主要是因为模型的 coding 能力大幅提升 ， 这自然带来了一个推演 ， 就是目前掌握最强 coding 能力公司的 Anthropic 和 OpenAI 是不是会更快地进入 RSI，也更快地进入一个加速度越来越快的状态 ，而把 其他对手越甩越远 。 田渊栋在这期节目里讨论了另一种可能性 ， 那就是智能提升的曲线是会有台阶的 ， 会有阶段性的平台期 ，而不一定是渐进式的 ，也就是说曲线不一定是平滑向上的 。 如果是后者的话 ， 那确实绝大部分机会都会在现在已经最强的公司的这一边 。 但如果 scaling law 再往前推进 ，不管是在技术和理论上， 还是在一些其他现实限制上， 比如能源和算力上会有束缚 ， 那么就可能需要新方法的加入 。 而原创性的想法 ， 现在还不是靠越来越强的 coding 就能马上解决的 ， 它至少是一个变量 。 你会更相信哪种未来呢 ？ 本期节目就到这里 ， 欢迎收听 。 如果你对今天聊的话题有观察 、 好奇或疑问 ， 欢迎在评论区分享想法 ， 这也会成为我们节目的一部分 ， 让整个讨论更完整 。 你也可以把我们的节目分享给对这个话题感兴趣的朋友 ， 欢迎推荐更多你想听的主题和嘉宾 。 你可以从小宇宙 、 苹果 Podcast 等渠道关注 《 晚点聊 LateTalk》，也欢迎关注我们的公众号 《 晚点 LatePost》。 下期再见 。 --- 本节目库由 PodHood（https://podhood.com）提供支持——播客网站平台。