# 108: 与马毅聊智能史:“DNA是最早的大模型”，智能的本质是减熵 晚点聊 LateTalk · 2025-03-17 香港大学计算与数据科学学院院长马毅在《晚点聊》中提出，智能是生命对抗熵增的机制，DNA是最早的大模型，35亿年历史中它从DNA进化、神经系统个体记忆、语言文化演进到数学科学，因此机器智能的起点应回溯至1940年代维纳的控制论和香农的信息论，而非1956年达特茅斯会议。他认为知识本身不是智能，智能是获取和更新知识的能力，当前大模型仍停留在类似DNA的强化学习阶段，缺乏闭环反馈和自主纠错，OpenAI o1和DeepSeek-R1的推理更像刷题式的记忆模仿，而非真正的逻辑推理，甚至不如猫狗的适应能力。他预言开源模型终将超越闭源，DeepSeek式突破只是where and when的问题，不是if or not的问题。谈到技术品味，马毅强调它来自探索未知的价值观和严谨科学训练，并透露自己引用最多的成果一度没有任何会议接收，博士毕业时也找不到对口教职。他正在推动港大面向所有本科生的AI通识教育（以一门英语课为代价），并通过忆生科技研发白盒大模型和闭环纠错机制，认为人脑是并行结构，闭环系统才能应对开放世界，而端到端VLA未必是具身智能的正确解法。智能在熵增宇宙中只是短暂过程，但对抗熵增本身就构成生命的意义。 ## Questions this episode answers ### 为什么马毅说 DNA 是世界上最早的大模型？ 马毅认为，生命就是智能的载体，智能不断学习外部世界的规律以进行预测。早期生物通过 DNA 将对外部世界的知识编码并遗传下去，DNA 通过随机变异和自然选择、物竞天择来改进，就像预训练加强化学习；但单个个体不产生新记忆，整个世界靠物种进化这一闭环来获得智能。 [7:09](https://latetalk.podhood.com/ff5ce2a7-52ce-4b09-9c64-26455dad3d00?t=429000) ### 为什么说智能的本质是减熵？ 马毅说，生命就是智能，智能是学习外部世界中有规律、可预测的东西，并用知识预测和做决策。宇宙按热力学第二定律不断熵增、走向混乱，而生命和智能是对抗熵增（fight against entropy），在无序中找到结构和可学习规律，因此熵减需要消耗能量，比如大模型生成图像就是去噪压缩的过程。 [6:37](https://latetalk.podhood.com/ff5ce2a7-52ce-4b09-9c64-26455dad3d00?t=397000) ### OpenAI 的 O1 和 DeepSeek-R1 是真的在做推理吗？ 马毅以老师判断学生是否真懂数学为例，把逻辑推理分成三个层次：模仿刷题、真正学会严谨逻辑、发现新规律。他认为 O1 和 DeepSeek-R1 这类模型通过监督微调和强化学习提升数学、编程表现，但没有严格证据表明它们是通过理解在做推理；它们会在简单题上犯低级错误，更像记住了范例和 pattern。 [57:54](https://latetalk.podhood.com/ff5ce2a7-52ce-4b09-9c64-26455dad3d00?t=3474000) ### 为什么马毅说机器智能的起点是 40年代，而不是达特茅斯会议？ 马毅认为，把达特茅斯会议当作 AI 起点是计算机领域自己的界定，并不准确。真正源头是 40年代维纳的控制论、香农的信息论、对策论等，它们研究动物和机器的反馈、闭环纠错与决策机制，也影响了冯·诺依曼架构和图灵测试。达特茅斯那批年轻人是想研究更高级的人类智能（逻辑、推理、抽象）。 [29:47](https://latetalk.podhood.com/ff5ce2a7-52ce-4b09-9c64-26455dad3d00?t=1787000) ## Key moments - **[0:00] 开场** - [4:58] 马毅：生命就是智能的载体，智能的本质是在熵增的宇宙中学习外部世界规律并进行预测。 - **[4:59] 智能的本质** - [7:09] 马毅：'DNA就是世界上最早的大模型'，早期生命通过核糖核酸结构编码外部世界知识，靠变异和自然选择进化。 - [8:52] 马毅：5.5亿年前神经系统与视觉出现，5000万年后寒武纪物种大爆发，个体开始在大脑形成独立于DNA的新记忆。 - [10:35] 马毅总结智能进化规律：鸟类跟父母约3个月、猫科动物2-3年、人类18年，智能形态越高越依赖后天记忆而非DNA。 - [11:16] 马毅：语言和文字大幅提高知识传递效率，起到类似DNA的作用，使上一代经验可以通过书本传给下一代。 - [13:49] 马毅：约3000年前自然数、几何等抽象概念出现是知识表达新机制，但大脑如何从经验升华为抽象至今机理不明。 - [15:00] 马毅：DNA、个体记忆、语言文字、数学四种机制都是对外部世界知识的编码，区别只在介质与获取方式。 - **[19:07] 大模型与熵增** - [19:17] 马毅：当前机器智能主要还处于类似DNA的第一阶段——靠强化学习试错，正向个体闭环反馈纠错的第二阶段走。 - [19:52] 马毅：闭环反馈纠错不是众多方向之一，而是自然界智能最重要、可能唯一的机制，1940年代控制论起源就已确立。 - [20:56] 马毅给出智能的科学定义：自主获取新知识、改进已有知识的能力；生物机制是可行解，未必是最优解。 - [22:02] 马毅：按此定义，现在的大模型不管多大，智能还不如猫和狗，因为它没有自主纠错和个体记忆能力。 - [23:25] Q: 大模型通过图灵测试了吗？马毅：没有，刷benchmark不是严谨验证；现有多模态模型连抽象自然数概念都无法自己产生。 - [25:02] 马毅：智能在宇宙中出现是偶然中的必然；若不考虑外力，宇宙熵增达到最大后最终会变成无规律可学的混沌。 - **[29:02] AI的起点** - [29:31] Q: AI的起点不是1956年达特茅斯会议吗？马毅：不是，应追溯到1940年代维纳的控制论、香农的信息论和对策论。 - [32:32] 马毅：冯·诺伊曼架构的主要动机是为实现维纳的控制论，早期计算机最先用于破解密码而非算原子弹。 - [33:34] 马毅讲述达特茅斯会议背景：年轻研究者刻意躲开维纳和冯·诺伊曼所在的主流中心，特立独行地研究人的智能。 - [35:28] 马毅：猫和狗都是牛顿，大脑已为物理规律建模并能精准预测物体轨迹，比学过牛顿力学的人还快还准。 - [37:02] 马毅：1958年《纽约时报》就报道感知机开始产生意识、会学习思考，当年600万美元的项目宣传与今天AI炒作惊人相似。 - [38:22] 马毅：1980年代通过观察猫的视觉皮层发现卷积结构，福岛邦彦提出、杨立昆1989年实现，卷积神经网络由此走向主流。 - **[39:55] 闪耀时刻** - [41:55] 马毅：过去十几年神经网络结构几乎靠经验试错和自然选择式淘汰，就像DNA进化一样一将功成万骨枯。 - [43:28] 马毅回忆90年代日本双足机器人能跳舞翻跟头上楼梯，但都是预先编程、没有视觉反馈，如同瞎子，导师因此转做视觉。 - [44:35] 马毅自述博士毕业时计算机视觉太冷找不到对口教职，去伊利诺伊教控制；李飞飞2006-07年同样难找工作。 - [45:45] 马毅：三维重建在2008-09年成为显学；识别分类要到2012年AlexNet在ImageNet上大幅提升后才变成显学。 - **[46:57] 神经网络起落** - [47:00] 马毅：神经网络起落的根源是缺少第一性原理，发展靠两条线——从生物学借鉴结构与纯工程经验试错。 - [48:58] 马毅：AI进展像炮弹随机命中，OpenAI、DeepMind、Google、DeepSeek轮流出现，基本靠资源和运气试错；'炮弹一般不落在第二个弹坑'。 - [51:07] 马毅：工业界用海量资源承担试错成本，学术界应互补搞清楚智能的科学原理，但过去十年学术反被工业界带节奏。 - [52:40] 马毅谈taste：达特茅斯年轻人选择远离主流权威做新东西；中国式内卷只因大家做同样的事，学术界不应与工业界同质化。 - [53:47] 马毅：学术界的出发点是搞明白，Hinton 30年不受认可仍坚持，是因为他知道问题和机制是对的，这种自信来自证据。 - [56:00] 马毅：若方法论不变，算力规模已进入回报递减；Grok投入约20万张卡训练基础模型，分数提升还不到一个百分点。 - **[56:51] 推理与DeepSeek** - [57:00] 马毅：OpenAI过度炒作O系列，刷题提升不等于真能力，就像GRE刷到高分但到美国仍是聋子和哑巴。 - [58:00] Q: O1和DeepSeek-R1真的在推理吗？马毅：要分三层——模仿刷题、真正掌握逻辑、发现新规律，目前没有严格证据表明它们真正理解。 - [1:00:03] 马毅：推理第三层是发现新的逻辑规律，像欧几里得提出公理和三段论，这不同于学会使用已有规律去解题。 - [1:01:00] 马毅团队新工作：监督微调让模型记忆范例，强化学习带来泛化，只有先SFT再RL才能更好提升推理模型。 - [1:03:00] 马毅拆解长思维链：要么找研究生写解题步骤让机器模仿，要么用已有模型半自动生成，再筛选后做微调和强化学习。 - [1:05:27] 马毅：至今没有严格证据表明大模型靠理解解题，连陶哲轩在用的模型也会在小学生数学题上犯低级错误。 - **[1:11:21] 技术品味** - [1:11:31] 马毅谈研究者心态：十个想法九个不靠谱，失败是常态；真正的自信来自找到正确问题、方向和扎实证据。 - [1:14:34] 马毅：技术taste来自两种东西——探索未知、特立独行的学术价值观，以及严谨的数学逻辑和实验训练。 - [1:15:40] 马毅引数学老师的话：'做数学家的第一条，是把自己训练成世界上最难说服的人'——能说服自己就能说服所有人。 - [1:17:41] 马毅自述从未立志做科学家：在清华按部就班，到伯克利快毕业时才经老师建议申请教职，误打误撞进入学术界。 - [1:18:52] 马毅描述伯克利博士氛围：18个学生来自13个国家、没有等级观念，组会完全对外开放，学生间互相学到的东西比老师更多。 - **[1:24:16] 被否定的成果** - [1:24:33] 马毅举例文章被拒：近乎全满分的工作仍被CVPR拒稿；白盒理论四个reviewer全accept后仍被ICML拒稿。 - [1:25:42] 马毅：他被引最高的人脸识别成果当初没有任何会议接收，审稿人不相信效果，花一暑假对比后才被期刊接受。 - [1:27:25] 马毅用诺贝尔奖得主经历鼓励年轻人：有人博士被拒、有人拿不到终身教职，主流总认为主流是对的，新东西很难被接受。 - [1:28:36] 马毅：企业家如张一鸣不必接受系统学术训练，掌握严谨的本科数学和科学知识就足以理解当前AI技术并形成判断。 - [1:29:42] 马毅在香港大学开设面向CEO的'科学企业家'班，原计划40-50人，第一届招了80位头部企业家和投资者。 - [1:32:00] 马毅：科学企业家班出勤率接近100%、学员身价合计数千亿，企业家对系统认识AI本质的需求远超预期。 - **[1:35:12] AI通识教育** - [1:35:20] 港大将AI literacy设为全体本科必修：减少一门英语课，代之以6学分的AI通识教育，覆盖所有专业学生。 - [1:36:40] 马毅：AI literacy春季试点100多人，秋季新生将全员必修，单节课面向四五千学生，影响力远超普通课程。 - [1:37:42] 马毅设计AI通识课：从生命智能史讲到语言模型、图像生成、机器人，再讲伦理、隐私、版权与法律规范。 - [1:39:01] 马毅：AI通识教育最重要的不是结论，而是训练批判性思维，让学生形成独立判断、不被自媒体和公司宣传误导。 - [1:45:10] 马毅：现在AI本质是机械压缩与生成，把本质讲清楚学生就知道如何打交道；未来真正自主学习系统出现再谈规则。 - [1:46:25] 马毅谈人与AI关系：'人有人的用处，机器有机器的用处'；智能不独属人类，自然界早就把智能开源了。 - **[1:52:15] 闭环与具身** - [1:52:20] 马毅：'开环系统只能应对封闭世界，不管多大；闭环系统才能应对开放世界，不管多小'——所以具身是闭环智能的自然场景。 - [1:53:50] 马毅：端到端VLA本质是开环系统，像DNA只靠本能，没有自我反馈纠错，面对真实开放世界并不高效。 - [1:54:40] 业界热捧端到端VLA vs 马毅：它像造飞机而非仿鸟飞，也许能赚钱，但不是自然界最高效的实现方式。 - [1:55:50] 马毅团队新方向：人脑不是单一闭环，而是数十万并行column组成的分层分布架构，正在探索更接近大脑的并行闭环系统。 - [1:59:05] 马毅：未来智能未必是更大的统一大模型；把语言视觉全塞进一个模型的暴力路线，不如大脑并行分层处理多个模态。 - [2:00:20] 马毅：中国科技界缺mission driven的耐心，希望投资人对有前景的智能方向保持耐心，不要过早催商业化。 - **[2:11:28] AGI与焦虑** - [2:12:10] 马毅：'我从不说AGI'——连科学定义都没有；应把智能的不同能力和机制界定清楚，而不是笼统讨论通用智能。 - [2:13:30] 马毅：'焦虑就是来自不懂'——真想理解AI就应系统梳理阅读，而不是每天刷自媒体上的肤浅推送。 - [2:15:00] 马毅：黑盒让人焦虑恐惧，权威说原子弹就信原子弹；用批判性思维了解本质后，错误判断概率会大大降低。 ## Speakers - **马毅** (guest) ## Topics AI模型团队动态 ## Mentioned DeepSeek (company), Google (company), Hugging Face (company), Meta (company), Microsoft (company), OpenAI (company), 忆生科技 (company), AlexNet (product), DINO (product), GPT (product), Grok (product), ResNet (product), Transformer (product) ## Transcript ### 开场 **Host** [0:13] 欲知未来 ， 先知过去 。 欢迎收听 《 晚点聊 》， 我是曼琪 。 这期是 《 晚点聊 》 的一个新系列 《LongContext》—— 长语境的第 1 期 。 类似于现在的大模型需要 LongContext， 我们每个人去学习理解智能 ，也需要一个更全面的 " 历史语境 "， 让我们能在新东西不断涌现的此刻 ， 找到一个更稳定的坐标 。《LongContext》 系列就是希望结合不同从业者的亲身经历 ， 去多角度展现人工智能的历史 。在这个系列的开端 ， 我邀请了香港大学计算与数据科学学院院长马毅教授 ， 来与我们聊智能和机器智能的历史 。 马毅本科毕业于清华大学 ，2000 年在加州伯克利大学获得博士学位 ， 先后任职于伊利诺伊大学香槟分校 、 微软亚研院 、 上海科技大学 、 伯克利大学和香港大学 ，是人工智能和计算机视觉领域的全球知名学者 。 最近 5 年， 马毅自己关心的课题之一 ， 就是 " 智能的历史 "。 为了在港大推动面向所有学科本科生的 AI 通识教育 ，他也在撰写教材 、 设计课程 ， 对智能的发展做了更全面和深入浅出的整理 。 马毅对智能有一些 " 少数派 " 的理解 ， 就比如本系列的名称 "LongContext"。 当作为一个技术概念时， 马老师认为与其一味追求 " 预训练模式下的 、 更长的 LongContext"， 更好的方式是找到一种机制 ， 能让智能系统有闭环的 、 长久的 、 不会遗忘的记忆 。 这些理解本身与他对智能历史的梳理和认知有关 ： 智能是如何在地球上诞生的 ； 马毅认为生命就是智能的载体 。 从 DNA 出现 ， 到神经系统诞生和寒武纪物种大爆发 ， 再到人类的语言与数学的诞生 ， 智能有不同的表现形式 ，但不变的是 ， 智能都是在学习外部世界的知识与规律 ， 从而进行预测 ， 使知识可以为我所用 ； 智能是在寻找规律并利用规律 ， 是一个与宇宙的熵增截然相反的过程 。 从智能的历史 ， 我们接下来聊了机器智能的历史 。 大部分人会把 1956 年的达特茅斯会议视为人工智能的开端 ，而马毅认为 ， 对机器智能的研究要追溯到 1940 年代维纳的控制论 、 香农的信息论等更早的源头 。 从那时到现在的 80 多年里 ， 机器智能的发展几经起伏 ， 马毅也分享了自己亲历的部分变化 ， 比如他刚博士毕业时找不到对口方向的教职 ； 他现在被引用最多的成果一度没有任何会议愿意接收 。 我们还聊了一个研究者的 " 技术品味 " 如何形成 。 品味 （Taste） 不仅是一种认知 ，也是认知被挑战时能继续坚持的自信 。 马毅的技术品味使他进入了一个目前在 AI 工业界的眼中并不那么主流的方向 —— 白盒大模型和能实现闭环 、 反馈 、 纠错的机器智能 。 这两个方向在我们去年与马老师的访谈中有更详细的展开 ， 具体内容可以听 《 晚点聊 》 的第 71 期节目 ， 相关图文报道我也贴在了 Shownotes 里 。 为了加速这些方向的探索 ， 马毅也创立了一家公司 " 忆生科技 "。 最后说一些声音上的注释 ： 本期中多次提到维纳的 Sapernatics，他是指诺伯特 · 维纳提出的控制论 ； 本期也多次提到了闭环系统 、 闭环 、 反馈 、 纠错机制 。 简单来说 ， 闭环是指一个系统能自己知道自己学的是对还是错 ， 这是生物界智能的机制 ，也是目前还需要人来做预训练和标注的大模型尚不具备的特性 。 下面我们就正式进入本期节目吧 。 因为上次和马老师聊是在去年， 然后最近的话就是一个是想聊一下新一年我觉得 AI 领域有非常多的变化 ， 当然可能您对很多变化的视角跟一般人也不一样 。 另外就是我觉得上次有一个没有特别展开的主题 ， 就是智能这个诞生的过程 ， 就包括可能自然界的智能 ，也包括机器的智能 。 还有一个就是跟这个话题有延展的 ， 就是我想跟您聊一下技术品味 （Taste）的形成 。 因为我觉得这个是我最近和很多技术人员聊 ， 我觉得大家在一些未知领域的很多判断 ， 我觉得它是来自于一种长久积累的品味 ， 或者叫直觉也好 。 而且它不仅仅是一种认知 ，而是一种你的这个认知可能被受到挑战的时候 ， 你还是愿意去相信你相信的那个东西 ， 我觉得那才是真正的 Taste。 最后可能是想聊聊通识教育 ，因为上次聊的时候其实你们就是在港大还没有开始 ，但是有一个计划 ， 对吧 ？ 就是想给所有的学科的学生 ， 包括社科文科都有这样一个计划 。 如果这个有一个进展的话 ，也可以聊一聊 。 **马毅** [4:20] 实际上那件事情跟可能第一个问题都是有关系的 。 对 ， 你第一个问题主要是讲这个历史嘛 ， 对不对 ？ 对 ， 我今天刚刚在清华 ， 这次在北大 ， 今天来两天嘛 ， 我还有北欧也会去给 ， 就是最近在梳理 。 我对智能的认识也是在过去几年， 这个七八年， 包括最近这一年都在不断的丰富和完善 。 也是因为现在某种意义上说是在大家对 AI 很感兴趣 ， 那么学校也在有很多的需求 ， 要对研究生本科生教育 ， 这个要求越来越多 ， 甚至是高中生 、 初中生的这种科普 ， 甚至大众的科普 。 所以我们觉得是越来越需要做这个事情 。 ### 智能的本质 **Host** [4:59] 正好我们可以从这个源头开始聊一聊 ， 就是比如说您觉得智能的本质实际上是什么 ， 然后我们怎么理解现在的机器智能在我们去探索智能的这个过程中大概到了什么阶段 。 **马毅** [5:09] 实际上这个观点我们早就有了 ，因为过去在伯克利的时候 ， 跟这个原来做 Neuroscience 的老师 ， 对智能的起源 ， 就是不只是机器智能的起源 ， 实际上智能的起源有了一些这个理解吧 。 只是那最近呢 ，因为也就是因为有这种科普的需求 ， 让更广的科学的 、 有学文学的 、 社会的背景的都了解智能到底本质 ， 所以我们做了一些整理 ， 我们最近也在做一些 talk。 那么实际上的某种意义上说 ， 生命就是智能 。 **Host** [5:38] 这个可以讲讲 。 **马毅** [5:39] 就是龙先生上一次在香港有次聊 《Targeting》 的时候 ， 邱先生都是这个看的问题很大 ，他觉得这个世界上有两个问题值得研究 ， 一个就是物理嘛 ， 就研究宇宙的历史起源 。 那么他说生命呢 ， 更多的研究就是生命的起源 。 那么实际上从现在看来呢 ， 从某种意义上说这个智能呢 ， 生命实际上也应该从某种意义上就是智能的载体 ， 就是智能这种机制的载体 。 这就涉及到起源 ，而且跟现在大模型有点关系了 。 实际上智能本身就是在不断的学习外部世界的有规律的东西 ， 能够对外部世界进行预测 。 我很喜欢的一个 quote， 金总我记不住 ，但是 paraphrase 就说 ， 整个宇宙的发展的基本的规律 （basic law）是它的 entropy 的增加 ， 它的熵在增长的过程 。 热力学第二定律 ， 封闭系统的熵是不断增长的 ， 所以世界是变得越来越混乱的 ， 越来越 chaotic。 但是呢 ， 生命在这个过程中是 against 这件事情的 。 智能实际上是要在这个过程中找到还没有完全不可预测的世界的过程中 ，是 fight against the entropy。 就是我们要在这里面找到可预测 、 有规律的东西 ，有结构的东西 。 那么这是蛮有趣的 ， 这跟我们对智能的理解就是说 ， 实际上生命就是在利用这个世界上很多东西是可预测的 ，有规律的东西 ，而不是随机的 ，而去找到这些规律来做事情 。 所以生命你看最早是怎么把这些知识 encode 的呢 ？DNA， 对不对 ？ 遗传物质 。 所以我就经常会讲 ， 大家很简单 ， 去理解现在大模型很简单 。 现在大模型实际上就是 DNA，DNA 就是这个世界上最早的大模型 ， 就是早期的生物对外部世界所学到的知识的一个编码 ， 记录下来 ， 通过核糖核酸这样的剪辑结构 ， 对吧 ？ 非常有规则的这样子记录下来 ， 跟我们的语言很像 。 **Host** [7:25] 这个早期它是什么阶段的生物 ？ 是单细胞生物还是 —— **马毅** [7:29] 对啊 ， 就是甚至是还没形成细胞 ， 对不对 ？ 早期的生命至少就从 DNA 出现 ， 就是说这个有机物出现以后 。 **Host** [7:34] 就是它是很初级的生物 。 **马毅** [7:36] 很早 ，而且这个过程非常长 ， 大概是 30 亿年 。 就是这种简单低等生物 ， 完全靠 DNA 的继承 ， 父母继承下来的 ， 上一代的细胞分裂下来给你的 ， 传授下来的叫遗传物质嘛 ， 这是父母给你的 。 那么它是有进化 ， 它的智能体现在哪里呢 ？ 智能体现在它的变异 ， 然后自然选择 ， 适者生存嘛 ， 物竞天择 。 这就是强化学习 。 所以你看看早期的大模型靠什么进展 ？ 强化学习 ， 对不对 ？ 自然界就是给你的 reward， 你变异对了 ， 你活下来 ， 变异得更好 ， 你活得更好 ； 变异不对 ， 你一将功成万骨枯 ， 整个 species 都被 wipe 掉 。 **Host** [8:13] 所以它有一个新的生命诞生 ， 就好像是预训练的这个 ， 就是你得给它重新训练一版 ， 它不是在这个一版里 ， 它会持续的去学 。 **马毅** [8:20] 不不 ， 它就是父母继承下来 ， 它完全靠本能活着嘛 。 但只是它在过程中会有随机变异 ，在这个分裂过程会有些随机变异 。 **Host** [8:28] 对 ， 我就是指它这个 ， 比如说它是个单细胞生物吧 ， 就在它的这个生命 ， 一个生命的生命周期里 ， 它是没有在我们那种意义上的学习的 。 **马毅** [8:35] 对了 ， 它的学习 ， 所以这叫在生物学上叫做 phenogenetic evolution， 就是说它是物种进化 。 物种跟环境形成闭环 ， 它有智能 ， 它在找到不断改进自己对外部世界的知识 ， 对还是不对 ， 或者增加对外部世界的知识 。 所以单个生物个体没有智能 ， 物种的通过进化在实现一种智能的机制 。 到了大概 5.5 亿年前 ， 这开始生物个体出现了 ， 出现了了不起的事 ， 出现了神经系统 ， 出现了视觉 。 那么马上在 5000 年完之后， 就出现了寒武纪生命大爆发 。 它出现什么事情呢 ？ 就是说个体开始除了它从父母继承的这个大模型 ， 它能 fine-tune 了 ， 它能够形成自己的 memory， 它从外部它所生活的那个具体的环境 ， 产生自己的新的记忆 ，不是父母给的 ， 对吧 ？ 通过视觉 ， 通过感知 ， 对吧 ？ 通过或者触觉 ， 它能够形成自己的记忆 ， 它能适应环境 ， 个体开始产生记忆 。 所以你看个体的记忆 ， 就是在 DNA 之外对外部世界的一个模型 。 **Host** [9:38] 一个编码 。 **马毅** [9:39] 对 ， 它也是通过它的神经网络记录下来 ， 它不再通过 DNA 记录下来了 ， 对不对 ？ 但它只属于个体 ，但是个体确实能适应得更好 。在出生之后， 它能够对它的特殊的环境能适应得更好 。 所以你看寒武纪就实现了生物大爆发 ， 个体的生存的能力大大提高 。 **Host** [9:56] 而且物种变多了 ， 就各种不同形态的物种 。 **马毅** [9:58] 它几乎所有的变种 ， 它只要有这种能力 ， 它的适应力都很高 。 不然的话 ，以前完全变得稍微不好了 ， 你就死掉了 。 但现在个体的生存的能力更好 ， 所以让它的变化也变得更加容易存活 ， 更加容易产生更多的物种 。 所以这里面有关系的 。 那么到了后来 ， 对不对 ？ 就开始出现人， 对不对 ？ 那你也看到在这个过程中， 从低等生物到高等生物 ， 到爬行动物 ， 到鸟 ， 到哺乳动物 ， 这个过程在进化 ， 你会发现这有一个很有趣的现象 ： 随着生命或者智能的形态越来越高 ， 个体在出生之后跟爸爸妈妈的时间越长 。 什么原因呢 ？ 就是说它越来越不依赖于它的预训练的大模型 ， 越来越依赖于它的这个 DNA 越少 ， 它更加重视后天的学习 ， 后天建立起来的 memory， 父母教授它的东西 ， 或者在一个特殊环境中学到的东西的这个重要性 。 从早期鸟是基本上就三个月嘛 ， 就得跟爸爸妈妈飞了嘛 。 那哺乳动物基本上都是半年到一年嘛 ， 猫科动物最长嘛 ， 两三年嘛 。 那么猴子就五六年， 人就是十八年， 对不对 ？ 所以你可以想一下， 这个很简单的一个事实就会说知道 ， 实际上人的随着智能形式的提高 ， 反而是越来越不依赖于预训练的模型 ， 更多是这种后天的这种 memory。 那么到了那个人的出现之后， 又出现一点了不起的事情 ， 人开始出现了比较系统的出现了语言 ， 可以交流 。 是什么意思呢 ？ 它大大提高了这个获取外部知识的效率 ， 比如说我找到哪里有水 ， 我学到了一些知识 ， 你不用再去跑一遍 ， 我告诉你就好了 ， 对不对 ？ 这大大的提高了实际上一个群体啊 ， 族群 、 群体或者一个社会的获取外部知识的效率 。 原来每个猫 ， 对吧 ？ 它的记忆都要去建立 ， 每个猫科动物 ， 它是完全独居的嘛 ， 对不对 ？ 但人就是群居 ， 就产生了语言就变得非常重要 。 它大大提高这个获取外部世界这个知识的这个为外部世界建模的这个效率 ， 所以才产生了语言和文字 ， 对吧 ？ 你可以认为文字基本上才说到文明嘛 ，civilization 嘛 。 那么语言的你看记录的就是人类的收集的知识嘛 。 那么语言 ，而且不光是我们可以交流 ， 我还可以传授给下一代 ， 甚至从某种意义上语言文字起了一定 DNA 的作用 。 原来的所有的上一代的知识 ， 上一代获取的这个世界模型 ， 还要通过遗传物质 ，但现在通过书本 ， 通过组织好的语言就可以传授下去 ， 一代一代 ， 这是造成了文明的发展的速度大大提高 。 就不会是原来的单个物种死了 ， 这个猫死了 ， 它的所有的记忆学到东西全都丢失了 。 **Host** [12:30] 从语言开始是不是也开始了更多幻觉啊 ？DNA 是不是没有幻觉 ？ **马毅** [12:33] 对 ， 这个幻觉这件事情首先就没有很好听的定义 ， 对不对 ？ 到底是这种随机的哪些是好的 ， 哪些是坏的 。 **Host** [12:42] 我刚刚想到那个点 ，其实我想到的想表达的是 ，因为 DNA 它最后就是个结果嘛 ， 你生存或者你不生存 。 **马毅** [12:48] 对 ， 我们在对知识的应用过程中， 哪怕你的 encode 的知识很精准 ，但是应用过程都会有很多的不确定因素在里面 ， 对不对 ？ 它不是所有的知识都像数学一样 deterministic， 那么确定性 。 很多的知识是一种甚至是概率的 ， 对吧 ？ 明天有可能下雨 ，但是是很有用的 。 这种并不是说明天一定下雨或者怎样子 ，但是很多的知识 ， 尤其是经验的知识 ， 它是以这种形式存在的 。 包括中国以前的黄历 ， 我不需要牛顿定律 ，不需要这些这个微分方程 ， 我同样预测天象什么的还是挺准的 ， 虽然会有一些小的误差 ，但是你说这误差就是幻觉也不对 。 所以这里面对这件事情大家不要去过分解读什么幻觉就是 ，因为它没有一个科学的定义现在 ， 对不对 ？ 你看一直到人类文明 ， 一直到几千年前 ， 它都是文字记录的 ， 还有语言或者文字记录下来的知识 ， 实际上都还是可能跟 DNA 差不多 。 它大部分还是对我们的经验总结下来的规律 。 对 ， 它不是以非常抽象精准科学的语言描述出来的 。 但是到了三千年前 ， 三四年前以前 ， 对吧 ？ 有些很有趣的事情发生了 ， 一些哲学家 、 数学家 ， 古希腊也好 ， 对吧 ？ 也可能在中国或者印度这些文明开始出现了一些抽象的概念 ， 发现对吧 ？ 一些经验的数数 123456789， 就发现人造无穷 ， 对吧 ？ 可以出现了自然数 ， 一个抽象的概念 ， 甚至分数 、 实数 、 虚数 ， 甚至出现了抽象空间的概念 ， 点线平面 ， 抽象的概念 。 这些从我个人来看 ， 这些不是从经验的 ， 它是甚至经验的东西的一种升华 。 但是这个升华是怎么产生的 ， 这个机理并不清楚 ， 到今天也不清楚 。 到底是人的大脑出现了什么原因 ， 什么机制使得大家能开始从这种纯经验的知识里面抽象概括出这种 high level 的高层次的这种抽象的知识 ， 现在并不是很清楚 。 但是这次出来以后， 我们可以去模仿去理解 ，但是呢 ， 这是怎么产生的 ， 这个机理并不是很清楚 。 所以你这么看 ， 从原来单个物体的物种智能的进化 ， 通过基因变异 ， 到后面个体的大脑 、 神经系统 、 记忆的出现 ， 到后面语言文字的出现 ， 到后面数学语言 ， 对不对 ？ 才有了数学语言 ， 才有了科学 ， 才有了比较严谨的 、 抽象的 、 一般泛化的这样的科学才出现了 ， 对不对 ？ 所以你可以看到 ， 用从 DNA 到大脑里面的记忆 ， 到语言文字 ， 到数学 ， 类似数学的语言 、 科学的语言 ， 这四种都是对一个智能体学到的外部世界的知识的一种表达形式 。 好 ， 从这个角度它是统一的 ， 只是介质不一样而已 。 它都是对外部世界知识的一个可预测的 、 规律性的东西的总结和记忆是这么来的 。 而且但是四种机制不太一样 。 第一种进化是靠 reinforcement learning 强化学习 ， 对不对 ？ 自然淘汰选择 。 第二种呢 ，是靠个人自适应 ， 记忆不断的纠错 。 我们最近在讲是这种闭环反馈的 ， 它不是靠强化学习 ，有点像 fine-tune，但它是优化机制不太一样 。 它不做 back propagation， 它是做这种通过反馈自我 ， 所以说是控制的起源 。 第三种 ， 那么就是文明的发展 ， 对吧 ？ 靠语言文本 ， 把这个值得传递 、 值得交流的知识给记录下来 。 实际上这一类知识 ， 实际上是我们每个人学到的外部物理世界的世界模型很小很小一部分 。 我们大脑只有前额一点点在处理自然语言 ， 绝大部分在处理视觉信号 、 触觉信号 、 声音 ， 对吧 ？ 其他的物理信号 ， 或者是我们的小脑在处理运动相关的控制我们的肢体各方面的东西 。 所以你可以看到 ， 实际上即使是语言 ， 那也只是我们人类或者在一生中或者是学到的外部世界物理知识的很少很少一部分 。 那么当然科学在把这些知识高度概括 、 抽象 、 理念变得非常的严谨 ，但科学我们也知道 ， 科学的理论也是可以被证伪的 ， 对不对 ？ 也是要不断改进的 。 **Host** [16:41] 处理数学公式的大脑的部位在哪 ？ **马毅** [16:43] 也是语言附近 ， 逻辑语言附近 ， 都是在那一块 。 实际上并不多 ， 这个它要求的处理的这个 ， 就是说这种知识跟我们可能视觉的记忆要处理这个 ， 你看我们的人的这个视觉也好 ， 触觉也好 ， 听觉也好 ， 它的信号的量啊 ， 信息量是非常大的 。 **Host** [17:02] 对 。 **马毅** [17:02] 多少就几百万个 bits per second， 对不对 ？ 那么到了大脑最顶层 ， 基本上就变成十几个 bits per second。 就它高度理念之后， 它只把它真正需要的东西体验出来 ， 记忆或者修改或者是预测等等。 所以这就是我们的理解过程嘛 。 所以大部分的信号我们进到我们大脑以后是也就丢掉 ， 比如说我们现在面对的这个场景里面很多细节我不 care， 对不对 ？ 只跟我真正需要记住的东西有关 。 所以它有个信息组织整理理念提取的过程 ， 这也是我们希望了解的 ， 这个感知认知的过程 ， 哪些信息关心的信息提取 ， 然后高度的简化 ， 然后把它记住或者纠正我们以前记忆中不足或者是不对的或不完善的地方 。 这是智能的最重要的一点 。 所以你们可以看到整个过程你发现 ， 对不对 ？ 智能跟有一件事情一直分不开 ， 就是知识 ， 对外部世界的知识 。 原来在 DNA 到记忆到文字到最后的科学 ，但是知识本身并不是智能 。 智能知识是智能活动的结果 。 有能力获取外部通过观测到的 、 感知到的外部的信号 ， 获取这些信号所描述的外部世界规律的这个能力才是智能 。 就是一个系统只有知识 ， 它只是个知识系统 。 它如果没有更新自己已有知识 ， 或者增加自己已有知识的不足的这种机制的话 ， 它是没有智能的 。 所以现在你这么也可以理解 ，DNA 这个链条本身没有智能 。 再大的模型 ， 大模型它本身没有智能 ，不管它 encode 了多少 ， 记录了多少已有的知识 ， 它本身是没有智能的 。 只有它在被更新 、 被重新更新或者改进这个过程 ， 整个这个系统才会有智能 。 **Host** [18:39] 就是大模型本身没有智能 ，但是现在人们开发大模型这件事是有智能 ， 这个过程本身是有的 。 **马毅** [18:44] GPT-1 没有智能 ，2 也没有智能 ，3 也没有智能 ，4 也没有智能 。 但是这些 1234 结合 OpenAI 的工程师不断的改进 ， 这个系统是有智能的 。 明白吗 ？ 就跟对吧 ， 单一的物种是没有智能的 ， 尤其早期的 ， 它不断的变异 ，以后再被自然界选择 ， 这个过程整个系统闭环以后是有智能的 。 **Host** [19:07] 你如果就是以现在的机器智能发展的阶段去类比你刚才说的自然界产生的智能的这四种阶段 ， 或者说四个机制 ， 它现在主要就是处在第一阶段和第二阶段是吗 ？ ### 大模型与熵增 **马毅** [19:17] 主要还在第一阶段 ， 现在在朝着第二阶段在走 。 就是说我们现在如何再去能够自主 ， 实际上这也跟我们最近的工作很有关系 。 那么就是说怎么让真正的系统能够开始在有了一定知识之后， 有一定的基础以后， 它能够更新自主的去改进 、 改善 、 完善自己的记忆和自己的知识 。 **Host** [19:38] 就是朝着第二个阶段走 ， 就是其实我们去年也聊过这个 ， 就是您一直在做的这个闭环反馈纠错的这个机制 ， 它是学界的一个共识 ， 就是大家都是在往这个方向走 ， 还是这其实也是目前探索的众多方向中的一种啊 ？ **马毅** [19:52] 在早期的机器智能 ， 对吧 ？ 我们知道从 Cybernetics 开始 ， 就是闭环反馈 ， 就是控制论的起源 。 这次是机器智能的起源 ， 大家就已经意识到这是最最重要的机制 ， 这不是我们发明的 ， 这也不是我们最早意识到的 ， 就是一个所有自然界的 ， 从早期的先贤最早研究智能的人就已经发现 ， 任何的智能系统都是闭环反馈的系统 ， 都是通过闭环反馈来纠错 。 尤其他们在研究动物的时候 ， 早期的智能研究都在研究动物嘛 ， 还不是早期的生物啊 。 对 ， 就是研究动物的时候就发现 ， 它基本上高级动物都是以这种闭环反馈的方式来改进自己 ， 纠错 ， 来学习 ， 提高这样的来获取外部世界的知识的 ， 提升自己的决策能力的 ， 都是这种机制 。 所以这不是我们现在是其中的一种 ， 这就是这一种 ， 这是自然界决定的 ， 这是最重要的一种 ， 可能就是唯一的一种 。 **Host** [20:43] 这个也是我想问的一个问题 ， 就是因为其实你刚才说的这四个阶段 ， 这四种机制 ，因为它是生物的智能怎么在地球上诞生的 ， 就是有没有一种可能会有一些别的智能的机制 ， 它跟地球上的生物不是一样的机制 ？ **马毅** [20:56] 有可能 ，但是呢 ， 就是说我就说嘛 ， 所以我们就要对智能要有个相对科学严谨的定义 。 那么就是说一个真正具有智能的系统 ， 它一定是能够自主的获得改善它已有的知识 ， 或者改进它已有的知识的这个能力 ， 获取新的知识的能力 。 从这个定义来讲 ， 它就描述了现在自然界的智能是怎么进展 。 第二 ，有没有实现这种机制 ，但不是靠自然界已经存在的这种优化或者这种筛选净化的机制的 mechanism，有可能 ， 对吧 ？ 自然界大浪淘沙 ， 它做到的很多系统已经是不错 ，但它未必是机制上的最优 。 **Host** [21:34] 对 ， 就它可能是个可行界 ，但不一定是最优界 。 **马毅** [21:36] 它不一定最优界 ，但是它至少是至少在我们现在看来啊 ， 这种可行界已经比我们现在的人工智能实现的方法 ， 它的效率 ， 它的这个机制要高出不少多少倍 。 我们还远远达不到 ， 对吧 ？ 这包括动物层面实现这些机制的 ， 我们甚至实现的还处在就是打个类比 ， 就是还是处在这个单细胞这个开环的这种完全靠本能 、 靠遗传存活的这种阶段了 。 一旦认识这个清楚 ， 所以你们大家可能也更容易理解为什么杨乐坤经常在这个社交媒体上讲 ， 现在大模型不管多么大 ， 现在它的智能还不如猫和狗 。 从这个意义上你就可以很清楚的理解 ， 它是这个 ， 它只有具有静态的知识 ， 它没有自主纠错 ， 像动物一样在适应环境的能力 ， 产生个体记忆 ，而且不断改进 、 修正 、 提高这个机制的 。 当然现在也所以说啊 ， 我们的很多的系统要去做推理 ， 对不对 ？ 像人一样啊 ， 这个 ，但是大家也知道 ， 它现在的提升是靠比较粗暴的方法啊 ，不管是微调也好 ， 还是这个强化也好 ， 对吧 ？ 它也是几乎还是在很大程度上还是靠这个时机应变 ， 它并不完全在理解这件事情 。 所以比如说你要去严格的测试 ， 现在所有的基础模型 、 大模型 ， 它实际上基本上是没有到目前为止可以很严谨的讲 ， 现在所有的这些语言模型是没法自己产生这个抽象的自然数的概念的 ， 或者这些数学运算 ，不管它看多少道题 ， 它也不知道它在做加减乘除 ，但 它可以看到很多例子之后， 你给它一些加减乘除的题 ， 它做的可以做得非常不错 ，但这是两个概念 。 真正理解这些规则啊 ， 学会而且用到任何的情场景 ， 比如现在多模态模型连数数基本都不太会了 ， 见过的可能还数得准一点 ， 没见过的基本上是在猜啊 ， 或者是大概的估计估算在做这样子 。 所以这所以为什么我经常在讲这个时代 ， 我们需要比较严谨的重新去定义图灵测试啊 ， 这个现在基本上是没有的 。 **Host** [23:34] 哦 ，是的 ，但很多人认为图灵测试可能已经达到了 。 **马毅** [23:36] 没有 ， 对吧 ？ 你在在一些题上 、 题库上或者 benchmark 上去刷刷分 ， 这个是一定是科学上是不严谨的 ， 它没法区分 。 就跟我们老师一个学生考得好 ， 说白了我们老师也不知道他是靠刷分上来的 ， 还是靠他真正理解了 。 当然我们通过一些出一些题 ， 甚至通过一些口试 ，是比较能够容易知道这个学生是懂了 ， 还是只是生搬硬套的 ， 一胡子画瓢做的 ，是可以的 。 但是这需要一个比较 proactive 的 ， 比较主动的 、 积极的一个一个过程 ， 才会了解 。 那么对现在对大模型的 evaluation 这些东西是缺少 ， 比如大模型真正具有哪些能力 ， 它是记得好 ， 还是学懂了 ， 还是甚至能够抽象升华 ， 这些都没有严谨的科学的啊 ， 这个方法去验证这件事情 。 **Host** [24:18] 好像没有专门的 benchmark 去测大模型是不是真的懂了一个事 ， 对吧 ？ **马毅** [24:22] 对啊 ， 所以到目前为止没有 。 我们现在也在做一些 benchmark， 现在也还是经验的在看它有些能力 ， 把它的 limitation 能找到 。 比如说一些这个原来我们也做过嘛 ， 对吧 ？ 多模态一些模型对图像的理解 ， 甚至现在最近的一些工作 ， 这个多模态模型对空间的概念的理解 ， 都是非常非常差的 。 实际上大家有时候看到的一些例子都是可能就是正面的例子 ，但是反面的例子非常非常多的 ， 对啊 ， 甚至包括这个数的概念啊 ， 大家如果真的去科学的严谨的去测试的话 ， 你会发现是没有这些抽象的这个数学概念 。 **Host** [24:52] 我刚才想到一个问题 ， 跟我们最开始讨论的就是智能的产生 ， 生命是智能的载体有关 ， 就是在宇宙中间智能这个机制 ， 它到底是必然产生的 ， 还是不必然产生的 ？ **马毅** [25:02] 我觉得是一个偶然 。 我不是刚才讲的一个 quote， 我当时发给你那个非常喜欢的 quote， 就是说这个物理世界是在物理世界是在一个熵增的过程 。 那么在这个过程完成之前 ， 这个世界还是可可预测的 ， 达到达到达到平衡态的时候 ， 达到达到熵最大的时候 ， 这个这个历程是个动态的历程 。 我们的宇宙绝大部分还是可预测的 ，有很多可规可预测的机制 。 我们实际上是生命是在利用这些可预测的东西在存活 。 **Host** [25:27] 那按照这个逻辑 ，其不是有一天宇宙就会没有规律可让你学习了 ？ **马毅** [25:31] 是啊 ， 对 ， 或者应该按照物理现在知道 ， 现在所理解的物理规律啊 ， 如果是按照现在这个封闭系统 ， 现在在那熵是最后达到最大 ， 对不对 ？ 就会变成一个混沌态啊 ， 那是肯定的 。 除非真的有超过宇宙的高级生物重新改变这个宇宙的秩序 。 **Host** [25:47] 对 ， 除非就是你产生了一种就类似于 。 **马毅** [25:50] 除非有外力来影响这个系统 。 **Host** [25:52] 对 ， 就它不是个封闭系统 。 **马毅** [25:53] 那那那我们就不知道了 ， 对不对 ？ 照目前的物理观测 ， 整个的宇宙是在熵增的啊 ，但是呢 ，在这个过程中很多的规律还存在 ，是可预测的啊 。 我们的很多的东西还是可以啊 ， 规范可以预测的 ， 天气还不是随机的 ， 对吧 ？ 对吧 ？ 很多的呃物理规律还是起作用 ，在这个过程中我们可以预测 ， 所以我们活得更好 。 我们可以我们可以把以知识和记忆的方式存取下来 ， 能帮助我们对外部世界将会发生的事情做出很好的预测 ， 所以帮助我们做出更好的决策 ， 所以我们的活得更好 ， 质量会越来越高 。 但是这个历程肯定最后会是还是会消失掉的 ， 都按照物理的 。 所以人的生命正好是 always fight against entropy 的 ， 就是说要在这里面找到结构 。 **Host** [26:38] 对 ， 我觉得这么想起来 ， 我觉得生命和智能真的是非常神奇的一个东西啊 。 **马毅** [26:42] 对 ， 它是一个 against 物理世界的规律的 。 对 ， 它是一个实际上是一个蛮偶然的 ，但这因为偶然还有可能是必然 。 它是一个呃随着熵在增大过程中 ，在所以很可能就是说从这个意义上来讲 ， 很可能生命在出现在宇宙的其他地方也是非常有可能的 。 **Host** [26:58] 那智能的出现有可能它就会未来能对抗熵增吗 ？ 比如说智能到达一定程度之后 。 **马毅** [27:03] 它得用既用外力 ， 一定要用到 resource， 要用能量 ， 对吧 ？ 要去熵减 。 你看为什么现在要烧那么多几几十万张卡呢 ？ 对不对 ？ 你看我们生成图像 ， 对不对 ？ 生成图像就是从噪声开始慢慢的压缩去噪 ，在这过程中去噪这个过程是就是在熵减的过程 ，但熵减要让这个最后你得到的数据或者这个系统熵减 ， 你是要把能量注进去的 。 这个生成能量必须要来自于某个地方 ，但是对一个封闭系统 ， 它没有外部的能量输入的话 ， 它的熵是一定会增加的 ， 对不对 ？ 我们是在用其他的能量 ， 我们把电其他地方的能量烧火 ， 对不对 ？ 然后在在芯片上把这些图像整理得好 ， 这是一个不封闭的系统 。 所以我们是要用能量消耗能量去找到规则 ， 让我们东西变得越来越有规则 。 就是你让一个无序的东西变成有规则的东西 ， 就是现在图像生成的 ， 对吧 ？ diffusion denoising model 这些干净的事 。 那么你要做这件事情 against 熵增的这个过程 ， 你要用能量去 push 这个事情 。 **Host** [27:59] 对 ， 然后你刚才说如果宇宙就是我们现在观测到的 ， 它没有一个外部的力量 ， 它就是熵不断的变大 ， 然后最后所有的规律都消失 ， 没有规律可供你学习 ， 变成一个完全随机的世界 。 这个这个还挺像一个电影里的那个台词 ， 就是 《 银翼杀手 》 里面有有一个很经典的台词 ， 就是说 all those moments will be lost in time。 **马毅** [28:18] 是啊 ， 所以时间就是个熵增过程嘛 。 你知道时间的定义实际上就是说 ， 就是熵增就让是宇宙有了方向嘛 ， 才有了时间的概念嘛 。 就是说这个这是这是霍金讲的嘛 ， 对不对 ？ 时间减史嘛 ， 从有序到无序这样子一个过程 。 那么这次有了熵增这个方向给了宇宙方向嘛 ， 所以时间是有方向的嘛 。 **Host** [28:37] 所以人类去探索这个智能机制 ， 可能在整个宇宙历史中间 ， 它也就是一个瞬间 。 **马毅** [28:43] 对啊 ， 是一个过程 ，是其中一段过程 。在这段过程正好啊 ， 嗯 ， 很多东西是我们生活的 ， 尤其地球这个环境 ， 很多的环境是可预测的 ， 包括气候 ， 包括它的这个化学的组成成分等等 ，是分的很清楚的 ，有水有空气 ， 对吧 ？ 有了这些东西才让我们有了生命的可能 。 ### AI的起点 **Host** [29:02] 那我觉得正好可以从刚才讲的 ， 就是整个智能诞生的过程 ， 我们来到机器智能 。 就你也说现在你们在探索的 ， 就是从第一阶段到第二阶段 ， 这个智能的机制 ，其实就是最开始大家想去研究智能的时候提的那个方向 。 **马毅** [29:14] 是对的 ， 就是大方向 。 我们只是而且当时上 40 年代对这些智能系统的研究 ， 动物也好 ， 智能也好 ，他们已经看到了智能系统应该所具有的必要的一些特征 ， 都已经看到了 。 **Host** [29:27] 所以您觉得这个起点是 40 年代 ，不是因为一般会说是五六年的达特茅斯会议 。 **马毅** [29:31] 对 ， 这是个非常错误的看法 ，因为这是可能只是计算机领域对这件事情的一个自己的一个界定吧 。 那么嗯 ， 实际上你看早期就是因为对智能系统的理解啊 ， 它的特征必要的这些特征的理解 ， 所以才导致了控制论 、 信息论 、 对策论 ， 对吧 ？ 甚至是现代计算机体系结构的发展 ， 包括神经网络的数学模型 ， 都是在那个年代去研究呃这个智能的这些特征 ， 才发现啊 ， 神经网络的特点 ， 数学模型才发现它的机制闭环反馈 ，是生物界去改进学习自适应的一个最基本的机制 ， 才知道信息论啊 ， 这个我们的大脑是要去对外部的世界的有用的信息如何进行编码解码 ， 才导致了对策论 。 当一个动物或我们在一个未知环境中， 一个甚至一个比较的如何去提高自己的决策 ， 通过试错 ， 通过去优化博弈去提升自己在判断决策上面的能力 。 实际上就是因为到了 40 年代蓬勃发展 ， 才导致了真实的例子 ， 才才才才间接上影影响了图灵去想 。 那么如果这些机制关于动物层面的生物层面的这些智能机制 ， 现在至少这些呃已经当时大家并不知道怎么去集成它们啊 ，但都知道这些都是已经观测到的现象 。 那么图灵就在想 ， 那么如何把动物和人分开呢 ？ 所以他才在 50 年才提出了图灵测试这个概念 ， 如何当机器聪明到什么程度 ， 我们把它和人分不开 。 所以 40 年代研究的你可以认为是维纳测试 ，是在区分机器和动物 ， 希望能够实现跟动物层面的这种能力 ，而动物和机器不能分开 。 那么到 50 年那个图灵才首先提出来 ， 那么什么样的方式 ， 智能要达到什么样的水平 ， 我们才把人和机器分不开了 。 这才导致了五六年， 对吧 ？ 一些年轻人为了响应他的号召吧 ， 五六年才开始在开始研究 。 那么人的智能有些特殊的 ， 哪些特征是人所特有的一些特征 ？ **Host** [31:25] 40 年代包括维纳 、 香农这些人 ，他们去研究这个东西的背景是什么 ？ 就为什么那个时候成批大家去关注这个动物的智能的问题了 ？ **马毅** [31:32] 答案很简单 ， 打仗啊 。 **Host** [31:34] 是 ， 那是要干嘛 ？ 造武器吗 ？ 还是对了 ，他们当时就是看着 ， 比如说大炮打飞机要打得准呐 ， 啊 ， 怎么吧 ， 怎么能跟踪目标啊 ？ 那么你想一想 ， 动物界捕捉动物 ， 对吧 ？ 猫科动物 ， 对吧 ，是最快的呀 ， 又敏捷又快啊 ， 速度也快 ， 执行非常的准 ， 又快又准 。 所以他们就要研究那么这些动物是什么样的机制 ，而且犯了一次错不会再犯第二次 ， 基本上对不对 ？ 很快的纠错 ， 第一次没打准 ， 第二次基本上就不很难 。 不然的话 ， 这些动物就早就死了 ， 早就死了 ， 对不对 ？ 淘汰掉了 。他就在研究啊 ， 这些机制到底怎么产生的 ， 动物为什么对这些外部世界的这些目标抓取怎么的反应非常快 ， 敏捷 ，而且非常稳定 。 对 ， 所以他们开始 ，而且这他的决策会不断提升 。 实际上计算机从某种角度上也是的 ， 发现发生就是为了实现这些机 ， 用机器来模拟这种机制 。 嗯 ， 这个反馈啊 ， 这个这个这个决策呀 ， 这种机制 ， 实际上你去看 ， 甚至历史文献 ， 呃 ， 冯 · 诺依曼提提出那个冯 · 诺伊曼构架 ， 现代计算机的构架 ，他目的就是为了实现维纳提出来的 Cybernetics， 就是想这些他发现的这些反馈啊 ， 优化机制啊 ， 到底怎么去实现 ， 或者这些对策 ， 这些机器怎么去实现 ， 这种他去实现一个这个计算框架去实 现这些机制而已 。 因为好像很主流的叙事是说计算机是为了去算原子弹 。 **马毅** [32:46] 啊 ， 没有没有 ， 这个最早的计算机是破破解这个密码嘛 。 嗯 ， 对 ，但是呢 ， 实际上冯 · 诺依曼提出冯 · 诺依曼构架 ， 已经是他的最主要的 motivation， 就是为了实现 Cybernetics。 啊 ， 这里可以甚至找到他的手稿 。他们呢 ，他跟那个维纳是非常好的朋友啊 ， 维纳的这个 Cybernetics 对他启发非常大啊 ， 对智能这件事情啊 ， 这个机器具有这个能力决策 ， 甚至从间接上影响他 。 后来提出博弈论啊 ， 这些对策论都是在研究这个自然界这个这些各种规律 ， 大家在一个未知 ， 甚至是有这个 adversarial 的环境中， 如何提高自己的决策和对策的 。 **Host** [33:22] 嗯 ， 对 ， 那你可以讲后面它是怎么发展的 ， 就是 40 年代 ， 然后到 56 年， 那那群年轻人要去研究人的智能 。 **马毅** [33:29] 对 ， 那个时候可能有点早期吧 ，但 50 年代实际上大家因为 40 年代的发展 ，50 年代大家有点过热 ， 对吧 ？ 就是 50 年代呢 ， 大家有有除了除了这些在研究人的智能 ， 可能这些年轻人也想特立独行嘛 ， 就是不想跟随主流嘛 。 所以这件事情本身对现有的年轻人也是一个启发 ， 对吧 ？ 你要出头 ， 你就要不要去随大流 ， 对不对 ？044 年代这些人什么信息论和控制论都已经建立的非常那个完善了 ， 对不对 ？ 所以这些同学们肯定要去找到 ， 还有这些这些这个框架还没有研究的嘛 ， 人的智能 。 所以他开始研究因果抽象逻辑 ， 人的问题解决的能力 。 所以这次才导致了达特茅斯的这个 program。 **Host** [34:07] 哎 ， 那如果对应到刚才我们说的那四种机制 ，其实他这个时候是有点想去研究 ， 就是数学科学语言出现的那个最后的那一层 。 **马毅** [34:14] 但是他们也只是在研究这些现象 ，他们都没有提出这些机制是怎么产生的 。 我到到目前为止没有人提出来 ， 就说人的大脑到底在那个几千年前到底出现了什么原因 ， 开始能够从仅从经验获取知识 ， 到能够产生抽象 。 嗯 ， 这里面是不是机制类似跟我们提取从从观测的物理信号提取这个知识的机制是一样的 ， 我们不从而不得而知 ， 对吧 ？ 因为我们知道现在很觉得很多前期的从经验的数据提取知识 ， 主要的机制还是通过压缩 ， 通过这个去噪压缩 。 **Host** [34:48] 对 ， 这个可能要给听众解释一下， 就是说您说的从观测的现象提取知识 ， 它这个东西是一些就类似于一些直觉反应类的是吧 ？ 比如说就是我们上次也有聊过 ， 就你丢一个东西 ， 你大概知道它会掉在什么地方 。 **马毅** [34:59] 对 ， 就说从经验 ， 我们观测不管是视觉听觉 ， 对吧 ？ 我们实际上都在学习外部世界哪些东西是可以帮助我预测 ， 哪些是有规律的 。 对 ， 能够帮助我预测下一步会发生什么事情 。 **Host** [35:10] 这个是靠压缩 。 **马毅** [35:11] 对 ，是靠压缩 。 所以我们经常有时候说我们人也好 ， 猫狗也好 ， 都是牛顿 。 我们早就对外部世界 ， 比如重力啊 ， 物体的足球踢球 ， 它会沿着什么样的轨迹 ， 我们能预判它的轨迹 。 猫和动物更快 ， 对吧 ？ 动物在运动在捕食过程中， 对吧 ？ 东西往下掉 ， 它反应比我们还快 。 **Host** [35:29] 对 ， 猫的反应是你的 7 倍 。 **马毅** [35:30] 你看你看 ， 对吧 ？ 即使人我们学了牛顿力学 ， 对吧 ？ 实际上我们的反应还不如猫和狗 。 所以所以猫和狗在大脑里面 ，他们都对物理世界的这个规律已经建了模了 ， 只是它的语言不一样 。 它是在它的神经网络里面 ， 对不对 ？ 对这些事情的预测 ， 它是用另一套编码来得到的 。 啊 ， 就跟我们的 DNA 是靠核糖核酸来编码的 ， 对不对 ？ 它是用神经网络的结构来形成的记忆 ， 能够帮助它预测 。 牛顿定律只是微分方程 ， 只是另一种语言而已 ，但它更加抽象 ， 更加概括 ， 更加简洁 。 它做的本质是一样的 ， 只是那可能我们猫狗的那个模型没有那么的扩展 ， 甚至没法共享给别人， 没有抽象出来 ， 没有人传递给别人。 但他们的每一个人建立的模型非常准 ， 比我们人学过牛顿力学的人还准 ， 对不对 ？ 所以这是一个很有趣的事情 ， 对吧 ？ 就是只是表达方式不一样 ， 我们对外部世界的知识 ， 它的记录方式不一样而已 。 只是呢 ， 人的到了这个有了数学 ，有了科学语言之后， 对吧 ？ 它对这些经验的原来在我们大脑里面经验学的东西进行了高度的概括和抽象 ，而且可以相互传授 ， 甚至能够 ， 对吧 ？generalize 到很多的情况 。 **Host** [36:38] 所以 50 年代那批年轻人就是想研究这个现象 。 **马毅** [36:42] 对啊 。 **Host** [36:42] 机器怎么能有这种东西呢 ？ **马毅** [36:43] 对 ， 这机器怎么能够有 ， 比如说因果关系 、 逻辑或者抽象符号 ， 这些人是怎么解决一些问题 ， 包括一些高级的这个推理等等啊 ， 去想研究这个 。 所以这些人后来也都挺功成名就的 。 但是从实现层面 ，他们对这些现象有了很多深入研究 ，但是从实现层面上实际上做的并不是很好 ， 对不对 ？ 啊 ， 那么另外一层实际上对神经网络的 50 年代也做了很多探索 。 大家 50 年代也吹了很多牛 ， 对不对 ？ 所以我经常在说的 ， 今天吹的牛基本上那个 50 年代早就吹过了 ， 对吧 ？ 那个时候你去看那个时候 ， 当时对神经元有了数学模型之后， 大家也开始建立神经网络 ， 叫 Perceptron， 就是那个感知机 。 **Host** [37:23] 嗯 ，Perceptron。 **马毅** [37:24] 对吧 ？ 它也做了大概也花了 600 多万美元 ， 按照现在的钱也差不多一个一个 billion 了 ， 对吧 ？ 也是多少多少个这个 ， 所以建立了这样 。 **Host** [37:32] 嗯 ，因为您在有一个演讲中提过这个 ， 后来我去 《 柳叶时报 》 上， 我真的找到了这篇原文 。 就 58 年的时候 ，他有一个报道 ， 大概意思就是真真的和现在的 AI 报道很像 ， 就是说机器也有开始产生意识了 ， 可以自己学习了 ， 对不对 ？ **马毅** [37:46] 对对对 ， 说他要学习 ， 要思考 ， 然后他会会读会写啊 ， 会理解 ， 对对对 ， 或者以后甚至取代人工作了 ， 说他还能知道自己的存在啊 。 对对对 ， 所以所以现在的甚至人也不用再工作了 ， 说我们以后很多机器可以帮我们做很多事情了 ， 对不对 ？ 所以这种这还只是其中一边 ， 好多好多那个时候还有一些杂很多报道 ， 对 ， 大家都是也是铺天盖地的觉得这个这个 。 所以后来你就看到 ， 后来当然有些有有些这个就就冷静下来 ， 发现确实还是很多不了解 ， 对不对 ？ 好 ， 又开始到 80 年代又开始研究猫 ， 觉得可能还有些东西我们不了解 ， 这个大脑什么组织的 ， 才导致了这个卷积神经网络的发现 ， 对不对 ？ 也是通过观测猫的大脑啊 ， 视觉系统 ，他发现他的神经网络不是随机随机连的 ， 对不对 ？ 他是有很好的这些 pattern， 很好的规则的 。 所以这就是导致了后面的更好的神经网络的设计 ， 那么的效果会更好 ， 对吧 ？ 甚至杨龙坤还得了图灵奖啊等等。 所以你会发现这个过程 ， 就是对智能本身的自然界的智能机制的理解也是循序渐进的 ，不是一蹴而就 ，也不像人想象那么简单 ， 对吧 ？ 包括我们再举个例子 ， 那么现在实现的神经网络 ， 对吧 ？ 你看甚至卷积网络神经网络 ， 对不对 ？ 后来也是实现一个很大的模型 ， 包括 Transformer 等等 ，在做着做类似的事情 。 但是人的大脑并不是这样的结构 ， 我们的大脑皮层并不是这样的 ，不是一个单一的模型 ， 我们是很多并行的模型 ， 高度并行分布处理的一个系统啊 ， 我们大脑皮层 ， 对不对 ？ 几十万个单元并排的处理很多信息啊 ， 视觉信息进去之后啊 ， 触觉信息进去之后， 很多都是分布并行的在处理 ， 然后再集成 。 所以我们现在跟我们现在大模型的机制 ， 这是那是从实现的模式上都是不太一样的 ， 非常不一样的 ， 对吧 ？ 所以所以我觉得我们还从在自然面前 ， 我们还是要谦虚一点啊 ， 还有太多的东西我们不知道啊 ，不要忘乎所以 。 所以我也是当你真正了解 ， 逐渐去了解智能的时候 ， 你会发现我们现在做的东西是非常的粗粗暴简单的原始的 。 嗯 ， 这跟早期的生命是很像的 ， 大量的资源消耗 ， 对不对 ？ 不是说不能进步 ，但是这种 reinforced learning， 这种自然淘汰 ， 这种试错 ， 随机试错 ， 然后去找到可行的更好的模型的这个过程 ，是极其的这个消耗资源 ，而且是不可控 ，也很难有预测 。 ### 闪耀时刻 **Host** [39:56] 就如果从 40 年代开始算到现在 ， 这 80 年的历史里面 ， 您觉得整个人工智能或者说机器智能的发展过程中间 ，有哪些特别关键性的历史时刻 ？ **马毅** [40:06] 嗯 ， 我觉得当然基本上也提到了 ， 对吧 ？ 我听了很大家都了解 ， 就是像我学早期 ， 就是当从最早神经元的数学模型 ， 那是 40 年代 ， 单个细胞神经元的模型 ， 对吧 ？40 年代 ， 那么后来就是因为开始有点忘乎所以嘛 ， 觉得这个有了模型我们就可以做 。 那后来到了发现哎 ， 还有些组织机构不太对 ， 那么我们开始找到了啊 ， 通过也是猫的视觉系统啊等等 ， 开始发现有这个卷积的性质啊 ， 这个卷积神经元就是 80 年代 ，80 年代啊 ，83 最早是福克西嘛 ， 日本人早先提出来的啊 ， 神卷积神经网络 。 那么 89 年杨龙坤实现啊 ， 做的不错 ， 然后到当然后来就一直很冷 ， 对不对 ？ 像真正的 ， 那么在 80 年代一段探索 ，其中有个人当然就是 Hinton，他们做了就是为了去做这个 auto encoding 啊 ，encoding decoding， 把这些事情做对 ， 开始用了一些 ， 甚至是一些物理的一些这个统计物理 ， 包括今年的诺贝尔奖也是发给他 ， 再把这个啊 ，在当时并不知道那么那么重要啊 ， 当时甚至大家的 这个 auto encoding 这个他的这个找到的机制 ， 当时也并不认为这个这个这个 word auto encoding 的中文就是自编码嘛 ， 自编码 。 然后呢 ， 到实际上到了一般是到到了 2022 年， 对吧 ？ 因为有了足够的数据 ， 足够的这个算力 GPU 的时候 ， 那么 AlexNet 就是不知道这个 background 虽然也是 CCNN， 对不对 ？ 完全是杨龙坤原来的手带框架稍微改进了一下啊 ， 发现能够启动 ， 那么带来了这个一个节点啊 。 那么实际上它的更大的我觉得决定性因素是算力和数据 ， 让训练这样的模型变得可能 。 嗯 ， 所以那么到后来就是顺着不断的发展啊 ， 那个用到图像 ， 用到声音 ， 用到自然语言 ， 然后用到甚至这个蛋白质 ， 对不对 ？ 整个更多的数据的结构啊 ， 这样的来发展是大概这么一个历程吧 。 嗯 ， 所以里面但整个过程 ， 你看过去十几年的神经网络的结构的发展 ， 几乎都是通过试错经验试错的方式啊 ， 啊 ，不断的淘汰 ，不断的优化 ， 最后经验试错的方式得到了 。 **Host** [42:00] 对 ，因为您自己也是经历了这个过程 ，因为您是您应该是九几年就开始研究人工智能方向是吗 ？ 我不知道那会是不是叫人工智能方向 。 **马毅** [42:08] 没有了 ，以前都没有人工 ，以前你要提人工智能 ， 你的文章全给 reject 掉 ， 对吧 ？ 以后你文章只要甚至提到神经网络 ， 你的文章就 ，但是我们早几年是这样 ， 我从学生的时候就开始意识到 ，因为我们是在伯克利机器人组嘛 。 嗯 ， 所以早就知道的 ，但那个时候控制做的还是不错的 。 实际上今天大家看到的关于两个腿走路的机器人， 我们那个时候都看到了 ， 日本人都在做 ， 对吧 ？ 啊 ， 日本人的这个阿斯莫也这个 ， 还有还有更多的其他的版本啊 ， 跑步的 、 跳的 、 翻跟斗的 、 上楼梯的啊 ， 日本人 90 年代就是他的对对这个机械本体的控制 ， 虽然那个时候机电可能比现在笨拙一点啊 ，但是呢 ， 基本的原理方法差不多 。 嗯 ， 啊 ， 都已经做过 ，但那个时候我在做学生的时候 ， 就已经接触接触到这个日本的那些机器人， 然后我老当时我的老师就给我讲 ，他说你看呃 ， 这个系统控制做的还是不错啊 ， 能够平衡啊 ， 走走路啊 ， 跳跳舞啊 ， 对吧 ？ 也可以跳舞 ， 日本人那个机器啊 ， 翻跟斗也可以 。 对 ，但是呢 ， 我老师他是瞎的 。 嗯 ，他没有反馈 。 嗯 ，他没有大脑 ，他没有眼睛 ， 全都是 pre plan 的啊 ， 提前提前编好的 ， 对吧 ？ 那上楼梯的的步子迈多大 ， 对不对 ？ 抬腿抬多高 ， 都是提前编好的嘛 ， 对吧 ？ 跳舞也是每个动作都是提前编好的嘛 。 **Host** [43:17] 哦 ， 那现在有些跳舞也是提前编好的 。 **马毅** [43:19] 对对对 ，是啊 ， 都是提前拿数据去训练的 。 所以这换汤不换药 ， 对吧 ？ 只是呢 ， 现在确实计算机快了 。 嗯 ， 啊 ， 机电性能好了 ， 可以做的更灵巧了啊 。 那么那个时候就是发现 ， 那么那视觉不行 ， 那不行啊 。 那我老师就说那个他没有反馈啊 ， 对 ， 做的对不对他不知道的 。 嗯 ， 那说那么怎么闭环呢 ？ 你都没有信息的输入 ， 对不对 ？ 你光有输出不行啊 。 所以那不瞎动吗 ？ 对 ， 所以这个当时就说那么好 。 那当时我的导师在北京就说 ， 那我们要把 ， 所以我也是我们老师做机器人， 李泽湘是我师兄嘛 ， 所以他们都在做控制嘛 。 哦 ， 我以前就采访过李泽湘 。 所以那我的老师第一个开始做视觉的 ， 开始意识到这件事情很重要啊 ， 你不能绕不过去的 ， 对吧 ？ 你要系统要自有智能 ， 要独立的跟在外部环境能够自主适应环境 ， 那你没有没有视觉感知是不行的 ， 没有反馈是不行的 。 所以那个时候就开始研究视觉 ，但那个时候不叫人工智能 ， 对吧 ？ 那个就叫视觉啊 。 所以一直在研究三维视觉如何重建外部世界 ， 机器如何感知外部世界啊 ， 这样子 。 包括你也看到 ， 包括李飞飞自己的这个自传 ， 就知道他是 2007 年嘛 ，2006 年左右 ，他他毕业的时候 ， 那个都没有这个方向是急急冷的哈 。 嗯 ， 这都找不到工作了 。 然后当然还好 ， 我们伊利诺伊把他招招到伊利诺伊去了 ， 对不对 ？ 那个时候是基本上对啊 ， 我找工作的时候 ， 你看我的工作 ， 我是做视觉的 ，但是没有这个领域 。 我的工作我在伊利诺伊也是系统组 ， 我教的是控制啊 ， 没有 computer vision 啊 ， 没有 3D vision 啊 ， 所以都都是这样 。 包括我们申请 funding 的时候 ， 都是没有对应的口子去申请的 。 嗯 ，但是就在这样条件下， 大家大家开始起源 ， 开始这个研究这个跟感知视觉啊 ， 重建识别等等这方面的问题 。 **Host** [44:58] 那您自己感知到的学术生涯的转变 ， 或者说这个方向 ， 就是它变成一个可以叫显学吧 ， 它是在什么时候啊 ？ 当时发生什么 ，有这样一个转变啊 ？ **马毅** [45:07] 显学的时候 ， 我觉得早期是在三维重建啊 ， 对吧 ？ 因为我们早期最早的视觉开始引起大家重视的时候 ，是实际上最早还是三维重建啊 ， 三维场景的复现啊等等啊 ， 还不是在识别这块 。 三维重建开始在跟计算机图像啊 ， 三维重建 3D 环境啊 ， 定位啊 ， 然后这个复现 3D 的场景 。 嗯 ， 甚至在电影里面 ， 包括这个伯克利的 ， 我们做了 3D 重建的一些工作啊 ， 最早的叫 Matrix， 这个好莱坞的电影的 ， 它从复现一个环境的数字化 ， 对吧 ？ 这个里面都都出现 ， 那个技术开始用了 ， 用起来慢慢开始变得大家知道这种有有用啊 ， 当然这还没完全直接用到机器人啊 。 另外还有就是在自动驾驶 ， 对我的博士的硕士论文就是自动驾驶啊 ， 这个视觉基于视觉导航的视觉驾驶 ， 那就是 97 年吗 ？ **Host** [45:58] 对 ，97 年 。 **马毅** [45:59] 对 ，2000 年我的博士基本上就在把视觉用到直升飞机的降落啊 ， 这个这个在舰船上的降落 ， 就是做这样的事情 。 三维重建变成显学应该是 20089 年这样子 ， 就是这些断点相对逐渐成熟 ， 能够在一些实际场景产生应用 。 那么识别这个问题 ， 李飞飞讲的 07 年、08 年都还是很冷的 ，因为识别刚开始 ， 包括一些数据库上 performance 都很差 ， 分类啊 ， 识别的问题基本上变成显学的是实际上是到了 2012 年， 这个神经网络出来以后 ，在这些分类问题上识别问题上提升的不错 ， 然后大家开始开始引起大家关注 ， 就是 ImageNet 还有呃 AlexNet。AlexNet 的时候 ， 对 ，ImageNet 早就出来了 ，但是开始现在效果不太好 ， 对不对 ？ 但是 ImageNet 提供了一个数据库 ， 提供了一个测测试平台 ， 同时呢 ，GPU 啊等等 ， 让这个深度网络的优化变成可能 。 嗯 ， 所以这次实际上是也是几个因素正在那个时候啊成熟 ， 然后导致了大家那个时候开始对识别大家觉得是可以做 ， 然后再也导致了深度网络不断的在在进步 。 嗯 ， 对不对 ？ ### 神经网络起落 **Host** [46:57] 对 ，其实刚才我们讲这个呃机器智能的历史 ， 它这个中间有很多就是起起落落的转折 ， 就如果从这些转折中间 ，因为您自己也经历了这个其中的一些过程啊 ， 就您看到的有什么智能技术的发展的规律吗 ？ 比如神经网络的这种机器记录 ， 它可能很早时候大家就提了 ， 后面又一会又热了 ， 一会又冷了 。 **马毅** [47:15] 对 ， 视觉的在几何方面三维重建是发展是比较顺的 ，因为它最早的数学问题比较清楚 。 嗯 ， 啊 ， 呃 ， 它的技术问题也比较清楚 ， 技术路线也比较逐渐丰富啊 ， 逐渐严谨啊 ， 这个是包括第一本书就是关于 3D 视觉 。 那么至于识别这一块 ， 对吧 ？ 呃 ， 模式识别 ， 包括这个这块神经网络相关的 ， 这个是极其起落啊 ，也是对它的认知早期的实践遇到困难啊 ， 还有一些理论的认知上的局限性 ， 开始一些发现神经网络在有些情有些问题上实际上是做不到的 ，也会逐渐的极其起落啊 ， 这个是不太顺 。 但是主要的你说真正的规律 ， 说真的真的没有 ，因为开始一直缺少原理 ， 缺少基本的第一性原理 ， 它的目的不清楚 ， 智能在做什么不太清楚 ， 那么学习机理也不太清楚 。 所以你看它是两条线 ， 一条线就是要么就从生物学学 ， 嗯 ， 包括神经单个神经元在干嘛 ， 包括这些神经元怎么排列的 ， 对吧 ？ 卷积神经网络 ， 甚至包括现在像比如看像大脑皮层学一学 ， 像早期这个 Hinton 很多东西都也来自于启发 ，也是这种东西启发 。 嗯 ， 还有一条线就是纯工程 ， 就说那么有了一些神经网络啊 ，也大家去搭一些啊 ， 实验也好 ， 那么不同实现 ， 这个就是从工程上的试错改 ，不断的实验 。 早期像对吧 ， 这个杨老坤他们在做 CNN， 那么 Hinton 他们在做自编码 。 嗯 ， 啊 ， 包括用一些 BP 啊 ， 甚至暴力的方法去优化试错的方法 ，在不断改进 。 到后来即使发现 Alex 能能学 ，但是后来这些网络结构也在不断改进 ， 什么 VGG 啊 ， 啊 ，Google Net 啊 ，ResNet 啊 ， 后来什么 Transformer 啊等等 ， 对吧 ？ 但是不断的改进 ， 当然就别说还没有没有留下名字的 ， 那就是可能就是就是一将功成万骨枯啊 ，在在那那十年有不知道多少个网络结构被提出来 ， 现在连名字都记不住 。 **Host** [49:01] 现在有很多新的结构出来 。 **马毅** [49:02] 对啊 ，是啊 ， 就是这样子嘛 。 所以就就就有点像 DNA 嘛 ， 你看有多少 DNA 被死掉了 ， 对不对 ？ 多少代的生命就是这位自然选择掉了 ， 对不对 ？ 所以这是同样的一个机制啊 。 那么所以它的大概是这样一个规律 ， 所以你可以说它也没有规律 ，有规律 ， 它规律就是可能生命早期的发展这样的规律 。 **Host** [49:18] 所以在这个领域做研究 ， 它会更有那种宿命感吗 ？ **马毅** [49:21] 我觉得是 ， 就是说所以现在如果方法论不改 ， 如果大家还是用试错的方法论的话 ，不是说不能进步啊 ，但是方法论本身还是试错的方法的话 ， 那么就有点靠运气成分在里面了 。 所以我经常说 ， 对吧 ？ 经常都说这些公司 ， 你也看到很有趣 ， 对不对 ？ 这些新的进展 ， 新的框架提出来 ， 往往是它不是一个组有系统的在不断改 ， 都是一会儿炮弹一会儿打到这儿 ， 一会儿打到那儿 ， 一会儿这个组好一点 ， 一会儿 DeepL， 一会儿 DeepMind， 对吧 ？ 一会儿 OpenAI， 一会儿这个 Google， 一会儿这个 Microsoft， 一会儿一会儿又是 DeepSeek， 反正一会儿就是反正你会发现很有趣 ， 对不对 ？ 就是说它是一个蛮随机的 ，不可预测的 ， 大家都在尝试 ， 它的进步是靠经验 ， 看谁的资源更多 ， 谁的经验更多 。 大家最近有些人说啊 ， 这个 DeepSeek 还值不值得投啊什么的 ， 我说反正我的回答很简单 ， 炮弹一般不会打在第二个弹坑的 ， 除非它的方法不一样 ， 除非真的是它的有些好像系统有规律的东西去改进它的方法改进 。 但目前为止 ， 我觉得大家的方法基本上还是在靠试错 。 **Host** [50:25] 你刚才说的这个点特别有意思 ，因为这这个是我的一个切身感受 ，因为你报道这个领域也会有这种感觉 ， 今天是这儿 ， 明天是这儿 ， 对吧 ？ 而且每个都很夸张 ，是什么炸裂颠覆 。 **马毅** [50:34] 对 ，而且所以你这么看 ， 你实际上就会很淡定客观一点 。 你想就说即使捅破 O 系列这个这个窗户子 ， 即使不是我们中国的团队 ， 肯定也可能是法国的团队 ，也可能就是 DeepMind 的英国的团队 ，也可能就是美国的其他的一个公司 ， 对吧 ？ 这是这是不同团队在 ， 大家都在根据自己的经验 ，在利用自己已有的资源 ，在不断大量的资源在通过试错 ， 对不对 ？ 也可能是 Grok， 对不对 ？ 都是都是这样子 ， 它就是它的过程就是这样 。 **Host** [51:01] 嗯 ， 就你刚才提到的很多呃成果出现的地方 ，其实都是工业界 ， 你提到都是公司 。 **马毅** [51:06] 对啊 ，因为它还没有这些工业界 ， 现在也就是因为现在的方法论 ，也只有这些公司才有这个资源去才能承担这个试错成本 。 **Host** [51:13] 就它是不利于学界去做出大家都比较关注的成果的 ， 对不对 ？ **马毅** [51:17] 对 ， 所以学界就应该做互补的东西 。 我觉得学界就应该把这些 ， 比如说课后面的真正的科学原理搞清楚 。 嗯 ， 科学的界定清楚 ， 对吧 ？ 智能不是一个笼统的概念 ， 它是有不同阶段的 ， 不同机制的 。 那么怎么去验证 ， 怎么去测试 ， 怎么去判断一个系统真正具有了某种功能 ， 具有了某种智能的某种特征 ， 这是些科学问题 ， 这些数学问题 ， 这是计算的问题 。在这过去十年并没有界定清楚 。 嗯 ，OK，是是反而是学术界被工业界带了很多节奏 ， 所以这是挺让人比较失望的地方 。 **Host** [51:52] 那学术界去解决这些科学的数学的计算的问题 ， 它这个节奏表 ， 这个时间它好去预估吗 ？ **马毅** [51:59] 所以做科研肯定是有 uncertainty， 对不对 ？ 但是你的目标要很清楚 ， 这就是刚才涉及到你说的品位问题了 ， 对不对 ？ 就说你你绝对不能啊 ， 学术界你看为什么五六年的这帮人 ，他要自己要出头 ， 为什么要躲到达特茅斯 ？ 大家有没有了解这段历史 ？ 他为什么不在 ， 像你要学智能 ， 对 ， 为什么不在 MIT？ 为什么不在 Caltech？ 哦 ， 对 ， 为什么不在 Berkeley？ 为什么他不要 ， 对吧 ？ 因为 MIT 有罗伯特 · 维纳在那儿 ， 对不对 ？ 嗯 ，Caltech 有这个冯 · 诺依曼在那儿 ， 对吧 ？Berkeley 还有几个老大 ， 对不对 ？ 嗯 ， 所以他这些年轻人那个时候都是年轻人 ，他就要躲在达特茅斯 ，他去特立独行 ， 做自己新的东西 。 **Host** [52:37] 嗯 ， 所以他们要远离当时的主流和中心 。 **马毅** [52:40] 对了 ， 这是个选择的问题 ， 这就是 taste， 这就是价值观的问题 。 所以有时候我们说一句不太好的话 ， 就中国人喜欢卷啊 ， 卷只有一个原因 ， 大家做同样的事情 ， 你做什么我也要做这个 。 工业界可以了 ， 工业界什么东西赚钱大家都去赚呗 ， 对不对 ？ 你做得好 ， 我做得更便宜嘛 ， 对 ， 这是对社会反而有好处 ， 大家可以去做同样的东西 。 但是呢 ， 学术界不应该 ， 对不对 ？ 而且至少不应该跟做去跟工业界同质化的东西 。 嗯 ，因为你没有任何附加的价值 ， 你没有任何优势 。 而且还别说现在对智能的理解 ， 工业界现在的现在的 practice， 现在实践的方法是非常简单粗暴的 ，有太多的好的想法方法 ， 工业界并没有去做 。 **Host** [53:17] 我觉得现在学界和工业界之间还是不太相互理解的 ，因为比如说您的一些成果 ， 我可能跟一些工业界的人交流 ， 就他们有的人会觉得这是故事汇啊 ， 或者是他觉得这是刷存在感啊 。 **马毅** [53:27] 是啊 ， 是一样啊 ， 对吧 ？ 甚至还没有存在感呢 ， 对不对 ？Hinton 说 30 年没有任何存在感呢 ， 对不对 ？ 所以所以学术界呢 ， 你想我们的训练 we get paid to do， 就是我们的目的是我们也没有什么太多的这个死心要去做什么 。 我们的成成成 ， 我们做任何事情的出发点是把一件事情搞明白 。 嗯 ，OK， 大家我们不像工业界的人， 对吧 ？ 他可能带着立场或者或者利益来 ， 学术界实际上我们比我们可能会犯错 ，maybe， 对不对 ？ 或者甚至学术界很多人会脱敏 ，但是大部分我们做很多事情 ， 本质的出发点是把这件事情搞明白 ， 搞清楚 ， 把正确的东西方向找到 。 这是我们往往我们做这件事情 ，而且很多东西我们的 confidence 也来在这里 。 就说有时候都不是很多新的东西出来 ， 包括 Hinton， 对吧 ？ 他的 confidence 来自于哪里 ？ 他未必说他就找到了正确的解 ，但他知道这个问题是对的 ， 这个方向是对的 ，他要研究的这个机制是对的 。 就跟早期的先贤们一样 ， 对对对动物智能的研究 ，他看到这些机制 ，他知道他是对的 ，但他并不知道这些机制是最后如何 。 即使他还那个时候也不知道它是如何整合在一起 ，但是他们知道这些东西是对的 。 嗯 ， 所以科学有科学的方法 ， 如果我们去验证 ， 包括我们对现在的智能的这些理解 ， 对不对 ？ 所以你看我们在最近做的过去几年做的东西 ， 那是一定要找到完全是可实现的 ，不是说谈谈概念而已 。 嗯 ，不是说讲讲什么原理啊 ， 讲讲故事 ，不是大量的非常痛苦的过程 ，是把我们从一个概念到原理 ， 到在原理指导下设计出来的框架算法去实现 ， 去验证 。 嗯 ， 去 apple to apple 的比较 ， 去真正找到证据来 convince， 首先 convince 自己我满意 ， 对吧 ？ 或者我的同学生都 convince 我们这件事情做对了 ， 然后剩下很长的路要走 ，是如何 convince 你的同事 ，convince 甚至跟你有不同观点的人， 甚至是 convince 整个产业界已经投入了很多的在已有的方向上投了很多钱的人， 对吧 ？ 带着很多的其他的因素来的人， 这个过程很痛苦 ，并不那么容易 。 不是说你找到了一些正确东西 ， 人家就马上要把你的账了 ， 对不对 ？ 对吧 ？ 就跟 Hinton 你要在卖神经网络有道理 ， 那你要等到多少年 ？ 要等到肯定要等到最终一定的条件要成熟 ， 它的要得到一定的可能让大家更加信服的一些验证 ， 大家才能够接受 。 这也是我们现在在走的这个历程嘛 。 **Host** [55:51] 那说回来 ， 就是现在在一些机制的理解还缺失的情况下， 就是您觉得工业界这样我们不停的靠经验趋势 ， 它能持续的带来进展 ， 能持续多长时间啊 ？ **马毅** [56:01] 我个人认为 ， 如果方法没有本质改变的话 ， 现在基本上你看得到的都是 diminishing return 了 ， 这个已经到了这个英文里面叫 diminishing return， 就是到了这个你的回报越来越少 ， 已经几乎没有 。 你看这个 Grok， 对吧 ？20 万张卡 ， 我相信为什么那个 GPT-5 一直没出来 ，有它的道理 ， 对不对 ？ 就是基础模型嘛 ， 对吧 ？Grok 基本上是用了基本上 20 万张卡 ， 基本上你知道它提高了多少吗 ？ 基础模型一个 percent 它还不到 。 所以他们在这个后来展示的时候 ， 把那个纵坐标轴无穷的放大 ， 对不对 ？ 哈哈哈 ， 对吧 ？ 就是玩这些 ， 就是说这个实际上它整整个的分数提高 ， 实际上是不到一个 percent。 所以你说这个就跟自然界一样 ， 靠这个自然选择 ， 生命也在逐渐进步 ，但是永远到不了寒武纪 。 嗯 ， 都会是早期初的那种靠 DNA 自然选择不断走 ， 走了 30 亿年也就到了单细胞动物 。 ### 推理与DeepSeek **Host** [56:51] 因为其实去年九十月份的时候 ， 我觉得大家就已经在讨论 Scailng Law 撞墙的这个问题 ，但是因为 O1 出来 ， 好像缓解了大家这种焦虑的心情 。 **马毅** [57:01] 嗯 ， 所以这就是很糟糕的一个事情 ， 对不对 ？ 所以这就是跟潮州 O 系列 ， 对不对 ？ 我觉得 OpenAI 过去去年因为他们的公司遇到很多内部的问题 ， 我觉得过去一年 OpenAI 从技术上并没有把他们的优势保持住 ，并没有真正本质上啊在往前走他们的方法 。 那么到到年底的时候 ，有点过度的炒作这个 O 系列 ，但它这个效果确实是有提升的 。 对啊 ， 刷题是有提升的呀 ， 对吧 ？ 举个简单例子 ， 我经常拿我自己做举例子 ， 对不对 ？ 我们我们出国考托福 GRE， 对不对 ？ 我 GRE 也能基本上刷到快满分了 ，但是呢 ，并不代表我英文就很好 。 到 Berkeley 的时候一下飞机又是疯子又是哑巴 ， 写也写不出来 ， 写的第一篇文章老师把我痛骂一顿 。 所以这是两个不同的事情 ， 包括甚至我们考数学题也一样 ， 我刷刷分 ， 对不对 ？ 包括奥林匹克数学竞赛 ， 对吧 ？ 刷过题的和没刷过题的这是完全两回事 ，但并不说谁的数学水平就更高 。 **Host** [57:54] 就是在您的智能管理 ， 像 O1 这样的模型 ， 还有 DeepSeek-R1 这样的模型 ， 它是真的在做推理 ，在做 reasoning 吗 ？ **马毅** [58:01] 很好 ， 这个问题今天下午在清华给 talk 的时候 ， 正好有同学就问到这个事情啊 ， 对吧 ？ 我们是当老师的 ， 我们从老师的角度来回答这个问题 ， 好吧 ？ 比如我们老师会教学生们 ， 比如我教数学 ， 会教老师学生们去做数学问题 ， 对不对 ？ 当然我们是希望同学们是把真正的这个数学证明的逻辑 ， 真的是严谨的这个逻辑是学会 ， 然后通过推理去得到正确的答案 。 那么关于逻辑和推理 ， 这里至少是能分出三个层次来 。 学生们呢 ，有小聪明 ， 对不对 ？ 很多人就是说我类似的题啊 ， 把这个呃数学的证明或者一些相关的逻辑的题范例记住很多 ， 刷很多题例子记住很多 ， 它的一些 pattern 也记住 ，但它可能并不是完全理解 ， 甚至并不具备这个严格的逻辑推理的能力 ，但它能把题做得非常好 ， 甚至考试成绩 还可以做得很好 。 这是就是一种啊 ， 是一种啊身班硬套啊 ， 就是靠这个这个填鸭式的啊刷题的方式 ， 靠这个归纳 ， 甚至是记忆来来完成这些题目 。 这是一类 。 还有一类学生出现呢 ， 就是他是确实是学明白 ，他是掌握了严谨的这个逻辑推理 ， 掌握了这些方法 ， 然后当他遇到一个新的问题的时候 ，他是用这些方法本身 ，他而且他知道自己做对没做对 ， 正确不正确 ，他是每一步他是很清楚的 。 这类学生是学懂了 。 这是第二层关于逻辑和推理 。 第三层实际上是当你一个系统它没有逻辑之前 ， 包括我们人在早期完全靠经验 ， 后来一些数学家可能是灵光一闪 ， 发现了新的逻辑规律 ， 推理规律 ， 比如说像欧几里得 ， 对不对 ？ 发现数学公理 ， 发现这种推理的啊三段论等等。 所以发现逻辑规律 ， 发现因果规律 ， 这件事情跟学习这些规律去用 ， 这又是不一样的 。 第三个层次 。 **Host** [59:48] 嗯 ， 就是发现新的知识 。 **马毅** [59:50] 发现新的规律 。 所以这是分三层 ， 一种就是模仿 ， 对吧 ？ 一种是一胡萝话瓢做 ， 一种是哎 ， 真的把别人学到的 ， 老师传授的这些因果规律 ， 逻辑规律学懂 ， 学明白 ， 能够严谨的去用 。 嗯 ， 还有一种是能够自己去根据一些经验的总结 ， 能够去升华 ， 抽象出找到以前人未知的逻辑也好 ， 或者是因果的 ， 或者一些规律也好啊 。 所以这三层 ，但是老老把这三种东西混在一起 。 所以现在我们要做的很多东西 ， 像过去我们的很多科研 ， 就是要把对智能的认识啊 ， 它的问题啊 ， 它的本质不同的东西给它界定清楚 。 嗯 ，而不是笼统的讲什么是智能 ， 什么是有逻辑有推理 。 **Host** [1:00:32] 所以现在 O1 和 R1， 它更多是您刚刚说的第一层是吗 ？ **马毅** [1:00:35] 啊 ， 我个人的理解是这样子的 。 比如你现在对于提升一个基础模型啊 ， 现在基本上做的实际上没有太多的秘密 ， 就是说基本上你如果有个不错的基础模型 ， 嗯 ， 比如通过预训练啊 ， 语言模型啊 ， 带大量的语料训练完以后呢 ， 你要想提升它在某些问题上， 比如说编程或者解数学 ， 嗯 ， 对推理有一定要求的啊 ， 这些任务上要提升它这 些任务上的性能的话 ， 往往一般是两种比较重要的方法 ， 一种就是叫 supervised fine tuning， 就是我通过一些例子啊 ， 让它在一个让这个机器这个模模型在根据这些例子去把它记住 。 **Host** [1:01:07] 嗯 ， 就是 SFT 监督微调 。 **马毅** [1:01:08] 对 ， 监督去微调一下， 然后用一些范例让它去学习一下， 然后它来模仿 。 那么要么就是再通过这个 reinforcement learning 强化学习 ，因为这样这种任务它的它的正确不正确是很清楚的啊 ， 做错了我就扣分 ， 做对了加分啊 。 通过这种比较啊粗暴的方法 ， 让系统逐渐去学习这些任务到底要干什么 。 当然呢 ， 呃 ，在实际的过程中到底是哪种方法用的多一点 ， 哪种方法用的少一点 ， 现在有很多 debate， 包括早期的 O1 还是我们先做做 fine tuning， 然后再做做呃 reinforcement learning。 那么 DeepSeek 呢 ，也觉得说好像我就直接做 reinforcement learning 也能行 ，但实际上那是有夸张的成分在里面 ，因为它的前提是呃基础模型本身就已经不错了 。 嗯 ，而且基础模型要好 ， 本身应该是前期要做一些根据这些例子做些 fine tuning 的 。 我们最近的一个工作 ， 专门就是在有个工作叫做 supervised fine tuning memorize reinforcement learning generalize 啊的工作 ， 就是把解释的这两种方法嘛 ， 就是在提升一个模型的推理能力的所扮演的不同的角色 。 **Host** [1:02:10] 对 ， 就是 SFT 和强化学习扮演的不同的角色 。 **马毅** [1:02:13] 就相关但是不同的角色 。 而且我们也解释了 ， 实际上光靠一样实际上是不对的 ，是不是不够的啊 。 强化学习有它的优势 ，有它不足的地方 。 正确的方法是应该是先微调一下， 然后呢再这个强化学习啊 。 那么这样的效果 generally speaking 啊是这样子可能更好一点 。 **Host** [1:02:31] 那我们现在看到的就是这种推理模型里面 ， 它有一个长思维链 ， 它展现出好像像人一样 step by step 一步一步去思考的这个过程 ， 它实际上是什么 ？ **马毅** [1:02:40] 这个长思维链是要人去帮它生成的呀 ， 对 ， 或者是通过已有的一个模型去筛选出来的 。 嗯 ， 就说你要一个 start with 一个不错的语言模型 ， 所以基础模型本身要有一定的不错 ， 然后你在这个基础上再去提高它的推理能力 。 嗯 ， 啊 ， 所谓的思维链你有几种方法 ， 像思维链就有点像是老师我把解题的步骤 key idea 交给你 。 嗯 ， 啊 ， 告诉你啊 ， 这些这这类似的题该先做什么 ， 第一步第二步在什么想 ， 实际上这就是思维链的意思 。 嗯 ， 那么但是这种思维链怎么产生呢 ？ 当然有两种方法 ， 一种是就是我就找研究生啊 ， 解题啊 ， 解的足够多 ， 把这步骤梳理出来啊 ， 让机器去模仿 。 这是一种 。 另一种呢 ， 就是说如果我已经有一个不错的基础模型 ， 我可以让它先尝试的去解这个问题 ， 然后给它一些 prompt， 一步步问它 ， 给它一些提示 ， 让它自己相对半自动的生成一些链条 ， 生成一些这个给它一些提示吧 。 当这个基础模型本身可能有学到一些类似的 pattern 的话 ，在一些提示下它也说不定也能结结巴巴的把这些题做的成功率高一点 。 嗯 ， 所以通过这个方法呢 ， 可以大概半自动的生成一些思维链 ，但是这个成本肯定比人去从头到尾写要好一些 ， 对不对 ？ 所以很多的你看 ， 基本上我可以通过已有的不错的一些模型 ， 让它这个半自动的生成一些思维链 ， 嗯 ， 然后再把这些作为范例 ，而且选出高效的 ， 选出不错的 ， 做对了的 ， 然后再再让这些机器再去 fine tune， 或者通过这些范例学习一些啊 ， 你这个题对不对的 reward， 就学学习一个判别你做对的做得好还是不好的 。 有点像像像学一个学一个老师打分 ， 就说看你这个题做得好不好 ， 做得快不快 ， 步骤简不简洁 ， 最后答案对不对 ， 好 ， 老师来打分嘛 。 如果它也可以通过这些例子先学一个打分的机制 ， 那么有了这个打分的机制之后呢 ， 它就可以用强化学习了 。 比如你再给你一些题你去解 ， 我就通过这种打分的 ， 我通过一些范例啊 ， 或者其他 chaos 学到的这种打分机制 ， 我再来去优化这个机器 ， 让它去尽量的得分越来越高 。 反正大家实际上这里面有很多的这些工程的 ， 就是不同的 ingredients， 不同的成分 ，有点像中药一样 ， 大家尝试一下， 对不对 ？ 看看这这这个先做一点 ， 多多多的少 ， 对吧 ？ **Host** [1:04:42] 所以说现在像炼丹王 。 **马毅** [1:04:44] 对 ， 所以它带有这种比较经验的东西在里面 。 嗯 ， 所以不同团队呢 ， 它不同的技术路线 ， 然后呢 ， 它如果做的超过其他团队呢 ， 它可能会更觉得某一些 ingredients 这个更重要 。 嗯 ， 从它的经验来看 ，但是呢 ， 我们学术界呢 ， 都会比较相对客观的去研究一下， 那么这些不同的做法方法 ， 它在里面扮演的一些角色是怎么回事 ， 所以弄得比更清楚一点啊 。 但工程层它是还是以最终的效果为王嘛 。 **Host** [1:05:12] 所以总结下就是目前的推理模型 ， 我们只是方便起来把它叫推理模型 ，但它可能跟我们人的推理和逻辑还不是一回事 。 **马毅** [1:05:19] 现在我至少从来没有看到真正严格的证据 ， 就是这这个大模型 ， 就是即使通过微调也好 ， 通过这个强化学习也好 ， 它真的是通过理解在解决这个问题 。 呃 ， 就跟现在包括陶陶泽轩也在用嘛 ， 就说大家的评价 ， 你会发现他在他训练过的问题上 ，他甚至记忆能力 ， 或者是甚至在解决一些什么很很难的数学问题上， 好像都能做得还不错 。 但是呢 ，他也会在非常初等的 ， 甚至于小学初中的一些数学问题上 ，他会犯一些低级错误 。 嗯 ， 所以就很难知道他如果真的是有严谨的思维链 ， 严谨的这个逻辑推理能力的话 ， 应该不会出现这样的现象 。 嗯 ， 所以这是我们做学问的时候 ，有时候就会不只只是看看在一些问题上的刷分和经验的分 ，而且会去比较去比较相对严谨的看到它是不是真正具有这样的能力 。 所以这我们把这些事情分开看 ，有些东西甚至是常识性的问题 ，但 somehow 我们现在会把一些东西过分去炒作 ， 甚至 O1 为什么被 ， 我觉得为什么 DeepSeek 对对有些那个 ， 实际上就是我我举个例子 ， 它有点像是 《 皇帝心 》 里面那个小孩子 ，因为 OpenAI 在过度的这个炒作 ，他们发甚至把 O1 系列这种这个这种通过通过微调也好 ， 通过 reinforcement learning 也好 ， 改进它的推理能力 这件事情 ， 发现了通往 AGI 的这个秘密 ， 对不对 ？ 是在发布会之前啊 ， 各种媒体里面这个在在暗示嘛 ， 对不对 ？ 它要融钱嘛 ， 可能是这个原因啊 ， 好像我们已经找到了通向 AGI 的秘密了 ， 这个后来发现并不是那么 ，而且它最后做的这个事情 ，O1 做的这些出来之后， 实际上对学界我们并不是很 surprise， 甚至可能对某些公司像 Google 这样公司都不是很嗯吃惊 。 就是说这个很多的这些方法 ， 包括我们刚才提到的这种微调啊 ，reinforcement learning， 甚至都是学界的 ， 我们都一直在研究的东西 ， 甚至一直都知道它们会有效啊 ， 这种方法本身就完全没有任何 novelty，不像当时最早 GPT 出来啊 ， 这样子就是大家觉得还是很比较 surprise， 它做的那些事情实际上并不太 surprise。 那么 DeepSeek 呢 ， 就是说就验证了这件事情 ， 你并没有什么多的东西 ， 同时还能做得更便宜啊 ， 做得做得更高效一点 。 嗯 ， 那么当然 DeepSeek 也有一些这个 ，因为你只算最后一个 ， 呃 ， 实际上大模型最多的是试错成本 ， 对吧 ？ 是试错成本 ，而不是你最后一次成功的成本 ， 对不对 ？ 大家都知道我们我们做作业都有嘛 ， 第一遍很累的 ， 对吧 ？ 但做完把这个题做完以后再抄一遍 ， 整理一遍 ， 可以做得很简洁的 。 所以这是就是一个很简单的问题嘛 ， 所以你不要说我第一次做的就花很多的时间啊 ， 这个 ，但往往都是这个最后一次我们可以做得很干净的 ， 包括我也是了解 ， 就包括这个 Google 他们一些最后的模型啊 ， 最后一次训练可能也就是千把万美元啊 ， 就是稍微高一点 。 **Host** [1:07:56] 嗯 ， 就也没有比 DeepSeek 高那么多 。 **马毅** [1:07:58] 但只是这些它也不是它自己来来说的嘛 。 **Host** [1:08:00] 对 ，不是它自己说的 。 我觉得是舆论会放大这个东西 。 **马毅** [1:08:03] 它就会把一些点抓出来去去过度的去去去放大这个东西 。 **Host** [1:08:06] 您在去年的时候有想到过中国会有 DeepSeek 这样的团队冒出来吗 ？ **马毅** [1:08:09] 是这样 ， 你看我在过去呃可能两三年了 ，不管在互联网上或者是在这个社交媒体上， 我一直是坚决认为 ， 第一 ， 我们认为人工智能的发展这个现在方法还比较早期 ， 所以一定是要我们是非常的鼓励和宣扬开源 。 嗯 ，而且另外一点 ， 我们一直是坚定的认为 ， 过去几年我有多次的这叫开源 ， 一定会迟早而且很快会超过这种闭源的这种公司 ，因为从我们对这些技术的理解啊 ， 我个人认为方法上技术上没有护城河 ， 没有什么秘密 。 嗯 ， 这个唯一的可能护城河 ， 它是几乎就是数据算力资源的成本 ， 试错时间和试错成本 ， 所以它是迟早的 。 我甚至说过 ， 即使没有 DeepSeek 在中国出现 ， 那也会可能就是法国 ， 很可能是英国 ， 中国 ， 美国其他的小公司 。 就说出出现这样的团队接近或者超越这件事情 ，是是是绝对会发 ， 只是出现在哪里 where and when，而不是 whether or if or not， 对吧 ？ 嗯 ， 所以这是一个我早就有这个判断 ， 包括杨龙坤我一直很赞成 ， 虽然杨龙坤可能有点失望 ，Meta 没有这个没有做得更接近啊 ， 更更更便宜一点 ，但是这只是大家也不要过度的去解读 ，因为这更多是不同团队之间的一种竞争 。 这方面各自团队有各自的一些经验啊 ， 或者试错过程中， 不管是机会也好 ， 运气也好 ， 对吧 ？ 它会找到更有效的实现方式 。 所以 DeepSeek 只是就是说哎 ， 告诉他你看你一个不错的基础模型 ， 然后在这上面做了一些 ， 就像我们刚才提到的这些方法 ， 它的性能就可以提高得不错 ， 甚至能接近 ， 对不对 ？ 它实际上是从某种程度上就是揭示了你实际上是 OpenAI 你想炒作的这个东西并没有太高的护城河 。 **Host** [1:09:50] 我我觉得这个跟我们后面想聊到一个话题 ， 就是这个大众怎么来认识 AI，AI 的通识教育也是有关的 。 现在就是我觉得除了他自己炒作之外， 还是确实有一个原因 ，是因为大家非常关注 OpenAI 的一举一动 ， 就舆论上也会去放大他的一些做法带来的影响 。 **马毅** [1:10:04] 我个人认为啊 ， 就说现在当吃瓜群众的时候 ， 反正就是看一看 ， 对吧 ？ 但是我觉得学术界实际上过去过去这么多年啊 ， 做得并不好 ， 就是说我们并没有比这些吃瓜群众好到多少 。 你像公司嘛 ， 它是有它的理解 ，因为它不管它它有自己的利益 ， 它有自己的立场 ， 所以它在做很多事情时候有它的努力 ， 它完全可以是比较 biased 的 ， 哪怕夸张一些 ，但但是呢 ， 学术界应该更加严谨一点 ， 希望能够把这些问题啊 ， 这些方法啊 ，他们在做什么做得更加严谨的 ，不要让这些这些宣传也好 ， 炒作也好去误导 ， 至少不不会遇到我们的 学生 ，他们对这些技术的本质要有比较客观科学的认识 。 嗯 ，而不是他们关于人工智能的认识 ，不是只来于这些自媒体 ， 来自于甚至公司的这种啊宣传 。 嗯 ， 和报道 。 所以这也是为什么同时现在我觉得这件事情也会越来越重要 ， 尤其不光是对大众 ， 甚至像我们的这些科技政策的制定者 ， 政府 ，因为现在这些人工智能带带有大量的资源 ， 政府啊 ， 社会啊的投资带有很多的利益在里面 ， 如果他们对这种技术的本质有误误解的话 ， 那问题就大了 。 所以我们也是觉得现在 ， 所以很大程度上要做更多的这样的科普也好 ， 或者是把一些事情正本清源 。 ### 技术品味 **Host** [1:11:21] 嗯 ， 我觉得从历史这个话题正好可以延展聊到品味的问题 ，因为我确实这一年和很多人聊 ， 我我是觉得品味对你探索一个比较未知的领域是很重要的 ，因为其实有很多东西你没有办法去跟随别人， 你就是要靠自己的相信 ，而且别人来挑战你的时候 ， 你还要继续相信下去 。 **马毅** [1:11:38] 这个实际上是这样 ， 我觉得科学探索本身也是一个很多 uncertain 的东西 ， 我觉得而且就是大家 ， 所以我就给年轻人讲嘛 ， 就是说科学探索呢 ， 就是你的心态要好 ， 心理要素质要好 ， 比如你十个想法 ， 很可能九个都不靠谱 ， 对不对 ？ 所以失败是常态 ， 成功是实际上是偶然啊 ，有这么一个过程 。 但是科学的发现的正确并不是偶然 ， 它只要找到正确的东西 ， 它的验证是很严谨的 。 嗯 ， 所以要相信就说这个我们在做科学过程中， 它的方法是相对严谨的 ， 尤其是对在探索原理 、 探索规律这些事情上， 那么科学有一套自己的严谨的方法 。 所以所以当你找到觉得是找到了正确的东西的时候 ， 你会去非常的自信 ， 知道这个问题是对的 ， 或者你知道这个方向是对的 ， 虽然你不一定还有找到了在这个方向上最优的解 ， 哪怕是完整的解 ，但你知道这个问题重要 ， 方向对的 ，而且你现在的解 ， 至少它的解的这个你的 approach， 你的你的去去 tackle 这个问题的 approach 是正确的 。 嗯 ， 这里有很多的 evidence，不管是实验的 ， 或者是数学的 ， 或者是逻辑的 evidence， 你遵循 ， 你是个可以得到非常能让你自己幸福的这样的反馈 。 这些证据是不是对别人有同样的幸福 ， 或者别人能理解有这个层次 ，有这个逻辑 ，有这个对这些实验本质能看到 ， 那是另外再说 。 所以很多人是自己看到了 ，不管是经验的证据 ， 还是看到了数学上真正理解它的机制 ， 才得来的这个自信 ， 才得来的这个哪怕别人还一时还不懂 ， 哪怕别人一时还不了解 ， 哪怕以别人对这些证据也好 ， 或者这个已有的理论的理解还不到位 ， 会产生各种的质疑 ，但是这对我们来说没有任何的不会太受太受它的影响 。 **Host** [1:13:28] 那我理解你刚才描述的其实是一个品味已经形成的状态 ， 对吧 ？ 就你知道自己的问题和方向是对的 ， 你也知道自己的证据 。 **马毅** [1:13:35] 通过一些验证 ， 就自我的验证 ， 我们是很 convinced 的 。 **Host** [1:13:38] 这是一个已经形成的状态 。 那这个形成的过程是怎样的 ？ 比如说哪些经历会塑造一个人的技术 taste？ **马毅** [1:13:44] 我觉得这个跟两件事情有关 ， 一个是文化和价值观 ， 尤其是在学术的价值观 ， 对吧 ？ 我们科学也好 ， 或者我们做学问也好 ， 一定是要去探索未知 ， 一定要与众不同 ， 一定要去破局 ， 一定要去找到不对还不够的地方 ，不够好的地方 。 这是我们实际上是是是整个做科学的 mission， 这是我们的使命 。OK， 这是我们的任务 。 We get paid to do that. 对吧 ？ 所以去随大流去从众不是我们的工作的本质 ，但很多人并不意识到这件事情 。 嗯 ， 啊 ， 这是一点 。 所以你也可以看到真正成功的往往是特立独行的人， 就是看到了主流的东西不足的 ，他才会去做这个事情 。 但是这种人往往刚开始会很难得到认可 ， 得到主流认可 。 **Host** [1:14:26] 比如说您自己有这个想法 ， 它是来自于什么了 ？ **马毅** [1:14:28] 不 ， 我觉得这是第一 ， 你先要有这个动机嘛 ， 就是说你先要知道 ， 就是说呃 ， 这个世界上一种一种信仰吧 ， 就是说你甚至有时候说嘛 ， 就是科学家有时他信仰倒不一定有宗教 ，但他有信仰 ， 意思是这个世界上第一一定是有值得你去发现的新的规律的 。 嗯 ， 啊 ， 现在现在的知识一定是有限 ，有有有局限的 。 现在理解这是一种 ， 甚至是一种文化带来的 ，不管你的年轻的时候啊 ， 了解对科学的历史 、 科学的发展的规律的这种这种渲染也好 。 但我觉得我们中国这方面做得比较不太到不太好 ， 就是科普啊等等这方面做得并不是足够好 ， 就是保持你对一些未知的东西的兴趣 ， 探索的兴趣 。 这是一个整个文化价值 ，而且整个社会要有做这样的人 、 做这样的事情的 ，他要有非常好的认可 。 那么另外一个事情就是说你的自信来自于哪里 ， 就是说你就是要有比较好的科学的训练 。 嗯 ，不管你做实验也好 ， 还有比如说你你真的的数学的基础和逻辑推理的基础 ， 你严不严谨 ， 这个是来自于培养啊 ， 你有没有比较好的训练 ， 包括对吧 ， 我们从小学习数学啊 ， 你的逻辑思维严不严谨 。 嗯 ， 你知不知道自己做的东西对还是不对 ， 就跟我的那个原来数学的老师 ， 我在数学读数学硕士的时候 ，他就告诉我 ，他说马毅 ， 你能做一个数学家的 ， 要做数学家的第一条是你把自己训练成世界上最难 convince 的人。 **Host** [1:15:51] 哦 ， 最难被说服 。 **马毅** [1:15:53] 对 ， 你要把自己训练成一个最难说服你自己的人。 为什么 ？ 当你找到一个证明你能说服自己的时候 ， 说明你就这个这个证明是足够严谨 ， 能说服所有人。 但你就这你就要训练自己 ， 就是说对自己的这种逻辑思维能力的严密性啊 ， 思考问题的逻辑链条是不是严谨的 ， 这件事情要做到 。 第二就是实验 ， 实验也是非常严谨的一件事情 。 原来我们在伯克利当时做机器人的时候 ， 对不对 ， 做视觉的时候 ， 那对数据采集 、 对整个过程算法的验证等等 ， 这个是也是一个很科学的训练 ， 就跟生物物理对吧 ， 做实验一样 ， 对数据 、 对报告 、 对这些现象的判断 ， 对一个假设的验证等等啊 ， 你的是不是严谨 ，而不是 jump to conclusion。 嗯 ， 啊 ， 甚至会犯很多错 。 所以这个有了这两点 ， 我觉得就是第一要有去探索的这样的一个勇气 ， 或者这这种价值观 。 第二呢 ， 你要有能力 ， 很多人也愿意 ， 对吧 ， 想去做些特立独行的 ，但是如果你的训练不到位 ， 你最后就变成个民科 ， 对不对 ？ **Host** [1:16:51] 对 ， 我刚才也想到这个 。 **马毅** [1:16:52] 你都不知道自己是错的 。 这是所以这是非常糟糕的 。 就说做科研的时候 ， 很多人他不知道自己是错 ，他不知道自己的哪些地方会有漏洞 ， 嗯 ，他的数学证明是不对的 ，他不没有这个意思 ， 或者他实验是不严谨的 ， 还有其他的 option，他认为这就是唯一的一个 conclusion。 所以这些都是我们要在避免的 。 这两者是相辅相成的 ， 你这样才会至少你才有有这个价值观 ， 新的这个品味的这个本钱吧 。 **Host** [1:17:19] 您是在清华上本科的时候就立志想做科学家吗 ？ 就是有了你刚才说的第一点 ， 就是我要探索未知的这个想法 。 **马毅** [1:17:25] 那倒未必 。 我在清华实际上是有点按部就班的 ， 就是当时就是想把学习搞好 ， 然后呢 ， 对数学比较感兴趣 。 嗯 ， 然后一直就自己喜欢读点课外书 。 嗯 ， 我一直到了伯克利都没有 ， 都没有一定决定要去做科研 。 那个只是到了后来都快毕业的时候啊 ， 我老师他觉得反正他说马毅 ， 你可能去去去去考虑一下学术界的位置啊 。 那个时候当时觉得去个大公司找个好工作 。 那个时候互联网也很热 ， 对吧 ， 去公司还有那个 Qualcomm 啊 ， 我一个师兄也是 Qualcomm 的 CEO， 当时觉得去加到 Qualcomm 去挣点钱是挺好的 。 嗯 ，但是一直没有太那个要去规划 ，但后来只是觉得就是比较好奇嘛 ， 觉得就是老老师觉得反正学术界的工作比较适合我 。 嗯 ， 这样是也是误打误撞就去就去让我去申请一下 。 所以也是一个并不是那么去一直要去做这个事情 。 嗯 ， 所以呢 ， 反正也是一个半随机的这样子一个过程 ，但确实我这个人对有些东西比较好奇 ， 喜欢把一些东西弄明白 。 后来我去伊利诺伊教书 ， 对吧 ，他们都知道我有一个坏习惯 ， 就是说后来我比较喜欢写书 ， 就是我发现一些事情只要我们不自己不明白 ， 我不敢教 。 嗯 ， 所以他们都知道我一般的这些做教什么 ， 我都自己要把它自己从头到尾推一遍 ， 自己要弄弄弄弄清楚以后， 我才敢去教这个课啊 。 所以后来就慢慢想成就是这个 ， 把这个整个这个知识体系一个 subject 要把它整理清楚 ，也有这么一个习惯吧 ， 就养成了习惯要把一些事情搞明白 。 嗯 ， 啊 ， 对一些尤其是大家不都不明白的或者未知的东西 ，有这么一个好奇心吧 。 **Host** [1:18:53] 嗯 ， 伯克利的氛围是怎么样的 ？ 因为你刚才也提到李泽湘是您师兄嘛 ， 我以前也采访过他 ，他说他在卡来基梅隆读本科的时候 ，他他也是说他觉得他那会主要就是考试 ， 没有特别学会学习 。他觉得伯克利还是对他的世界观 ， 对他的整个做科研的方法有很大的影响 。他觉得那的氛围非常的平等自由 ， 然后大家也很喜欢讨论争论 ，也没有权威 。 **马毅** [1:19:13] 嗯 ，是 ， 这是非常了不起的 。 实际上你可以看到 ， 这也是为什么我们后来到港大或者到其他很多的 ， 我原来没有体会到 。 后来在伯克利 ， 伯克利我做学生的时候 ， 确实是同学们 ， 我老师手下有 18 个同学 ， 然后来自 13 个不同的国家 ， 非常的也是当时也是种 culture shock， 对不对 ， 就完全没有任何的等级这种观念 ， 大家都是都是本着很淳朴的 ， 就是把这些事情搞明白 ， 大家把事情做好 。 大家倒是有时候想想我们做点什么事能跟别人不一样 ，changing the world 啊 ，有这种 ，但是呢 ， 做事都很踏实 。 大家而且后来我在伯克利做了做了做了教授 ， 当了简教授 ， 后来培养一些学生 ， 呃 ， 后来他们这些学生又去了其他学校 ， 后来就包括本科毕业啊 ， 当了以后还有一些硕士毕业啊 ， 去其他学校读博士啊 ， 这包括去 Stanford 还有他当时和这个学校后来回来跟我聊的时候 ，他说他们特别怀念伯克利 。 我说为什么伯克利你怀念伯克利 ？ 我说这玩意也是平平常常稀稀松松的 ， 对吧 ，他说伯克利这边同学之间的这种交流啊 ， 非常的好 ， 就是说甚至完全跨跨组 。 我带的每一个博士生 ，他都有 co-advisor， 这不是形式上纸上的 ，他真是他们都会去其他教授的组会 ， 我们是完全 open 的 。 我的组里面经常每天开会 ， 对吧 ，有时候你看我就是七八个研究生 ， 六七个研究生 ， 再加两两三一两个硕士生 ，但是有时候开会都是三四十号人， 我都不认识 ， 很多人都不认识 ，他们就来听一听 ， 我们都是 open 的 ， 没有什么秘密 。 然后我的这些学生 ，他也会去他的 co-advisor 的这些都是他们自己找的 ，而且他们都不是说我们同一组 ， 都是找的可能跟我的知识能力互补的 。 然后大家去参加伯克利 ， 每天都有这种 seminar， 大家都会修啊 ， 这种文化我后来发现在其他地方很少 。 **Host** [1:20:50] 对 ， 我觉得这也是对品味的一种培养 ， 对吧 ， 就是可能是能力层面的 ， 你有一个更广阔的视角 。 **马毅** [1:20:55] 对 ，他就是这种大家同相互交流合作 ， 然后互补学习 。 实际上我后来你会发现在伯克利 ， 你学同同学之间学到东西比你老师那学的更多 ， 至少这种很多的技能了啊 。 大家在比如在大家都在住在一起 ， 写文章 deadline， 对不对 ， 你你会这个 ， 你帮我 ， 我我会呃呃 ， 我会这个 ， 我帮你 。 嗯 ，他就变成完全就是相互 ， 对吧 ， 你实验做得好 ， 你帮我画图 ， 对吧 ， 你画图画得好 ， 你帮我弄这个 。 但是你看会发发现伯克利 ， 你看发现 BAIR 的那些这个这个学生 ， 这个这个 co-author 的就是他是跨组的合作 。 嗯 ， 很多学生是来自于不同组 ， 哎 ， 很有趣 ， 你把你看老师这都完全不是我们 plan 的 ，不是我们老师之间要合作 ，他是自主的 ， 自主的学生之间啊 ，他就自己就相互去帮助 。 这种文化在其他地方是比较少 ， 很多的其他地方 ， 包括我的同学去其他美国的其他 ， 尤其东部的学校 ，他觉得这些组非常比较 isolated，有很多组的就跟自己老师做 ， 就没有这种文化 ， 没有这种氛围 。 嗯 ， 啊 ， 甚至斯坦福都没有到伯克利这种程度 。 所以我觉得就科学的这种交流啊 ， 相互互助 collaboration 是让你人的整个整个综合素质变得很好 。 嗯 ， 对吧 ， 呃 ， 你可以学到很多东西 ， 这一点我是很希望在港大呀 ，在这个这个中国的大学能看到 。 嗯 ，不是那么就是很 silo 的 ， 伯克利的很多教授之间完全不是竞争关系 ， 对 ， 大家自己做好自己的事情 ，但是呢 ， 很 encourage 学生之间相互去交流 。 嗯 ， 你到那个老师你我这玩意我不懂 ， 你去你去问问他 ， 往往是这种文化啊 ， 所以非常非常好 。其实我看您最近几年也是有一些跨学科的研究的方式嘛 ， 就是您和曹颖合作 ， 我们之前也聊过这个生物科学上的一些东西 。 是啊 ， 尤其现在智能越来越它是个集成的东西 ， 对不对 ， 像你看包括我的组也很痛苦 ，因为我如果我们只做学问的话 ， 只是做做理论 ， 对不对 ， 把一些东西搞清楚就好了 ， 小的验证一下规模验证 ，但后来你发现智能发展那个阶段 ， 你把有些验证不做到足够的规模 ，不做到足够的深入 ， 别人也不信你的 。 嗯 ， 所以你看我的组里面现在过去几几年的学生就又有做理论的 ， 又有做算法的 ， 还有做实现 ， 所以就就比较 integrated。 嗯 ， 对吧 ， 啊 ， 各种学生都有了 ， 所以这个这个这个就是也保持他们之间也是相互交流 。 但是在智能这件事情本身 ， 它从理论到算法到实现 ， 嗯 ， 就要求有 ，而且这些能力不是某一个学生能所有都具备的 ， 很少 ， 没有人理论也好 ， 实现也好 ， 算法也好 ， 对不对 ， 还能还能干脏活累活 ， 又能又能又能又能解数学题 ， 这种人很少啊 ，但 是他就需要团队 ， 甚至是不同的学校 。 你可以看到我最近几个工作的呃 ， 这个 affiliations 都是来自五六个不同的学校 ， 就是说学校资源有限 ， 能力也不一样 ， 所以你这就变成一个很有要去一下去组织 ，而且就全是 organic，不是说什么要去 top down 去 organize， 那就是完全自愿的啊 ， 你对这个感兴趣好 ， 我们我需要帮这个忙 ，他有这个资源 ，他会让这个实验他自然语言做得好 ，他视觉做得 好 ， 对不对 ， 我们这边有这个 ， 对吧 ， 理论有这个框架 ， 所以大家都是这样逐逐渐形成这样的合作 。 没有这种文化 ， 你很难做出我个人认为你你很难做出比较 significant 的工作 。 嗯 ， 同时这也给我们带来自信 ，因为你想这么多的不同的学校 ， 年轻老师学生都认为这个东西有道理 ， 都愿意花时间去做这个事情 ， 那我还有什么 ， 对吧 ， 我们肯定是会 did somethingright。 嗯 ， 对不对 ， 就是我们做东西一定是有它的可信度的 ， 这么多聪明的人， 这么多不同的团队的人， 顶尖学校的人大家都愿意为这件事情去 ， 都已经有很大程度的 convince。在您自己的学术经历中， 您有经历过那种你其实觉得一个方向是很对的 ， 我研究的也是正确的问题 ，但可能在一段时间里大家是不理解这个事情 ，不看好这个事情 。 ### 被否定的成果 **马毅** [1:24:26] 很多啊 ， 你看现在很多学生的压力很大 ， 对不对 ， 就是这个好像一个我们现在这些年轻老师也是啊 ，也工作这个被 reject 掉的 。 我说你这个我能记忆到的都读过了 ， 对吧 ， 这个对 ， 我们有已经是至少是两次了吧 ， 我们有些文章几乎是全部 ， 甚至在 CVPR， 对不对 ， 啊 ， 这个有个工作是甚至全部满分的工作 。 嗯 ，AirTear 也给 reject 掉了 。 **Host** [1:24:50] 满分为什么会被 reject 掉 ？ **马毅** [1:24:52] Well happens， 对 ， 哈哈哈 ， 对 ， 就所以这个对吧 ， 所以这并不是说你看他不光呢 ，他这些 AirTear 啊 ，也不一定 convince。 **Host** [1:24:59] 哦 ，他在这个其实里满分 ，他这个分是谁打的呀 ？ 就是最开始有 reviewer 打的呀 ，reviewer，但是 decision maker 并不一定是这些 reviewer 啊 ，他可能是这个下面的 AirTear 啊 ， 对吧 ， 然后前前前前一段时间 ， 包括我们的白盒的一些理论也是啊 ， 这个耀东啊 ，他们有些工作也是这个也是这个几乎是全满分的啊 ， 应该是 ICML 吧 ， 这个也被四四个 reviewer 都是给了 accept 啊 ，unilevel，但是后来 AirTear 也被 reject，也 reject 掉了 。 那你可以讲一个 ， 就是你一个正确的方向开开始可能不被看好 ，但是后来结果还不错的 ， 我觉得也可以缓解一些博士生的焦虑啊 。 **马毅** [1:25:32] 很多啊 ， 早期你看我们包括三维呃视觉方面的工作 ， 还有后来就是包括我们做压缩感知 ， 对不对 ， 这个早期的系数啊 ， 压缩感知在做在做 ， 用到一些视这个视觉的问题啊 ， 刚开始大家因为这些方法数学比较深一点啊 ， 优化的比较 ， 这这这视觉的很多人并不了解啊 ， 那么那么我们开始也是在做 ， 那么开始也是大家并不太接受 ，因为他根本就不 懂很多很多理论 。 **Host** [1:25:58] 你们压缩感知的成果是那个 RedNet， 还有那个不是 ， 就是在这个人脸识别啊 ， 等等等等 ， 你知道对吧 ， 啊 ， 人脸识别那个现在是我们我我基本上你看我的 citation 最高的几篇文章 ， 嗯 ， 全部都是被 reject 掉 ， 都是被 reject 过的啊 ， 尤其是尤其是人脸识别那工作 ， 连个 conference 文章都没有 。 对 ，因为当时是很很有趣 ， 对不对 ，但是被 reject 的关态度呃原因也很有趣啊 ， 就是说大家都不相信这个结果会这么好 。 嗯 ， 对吧 ， 就觉得你可能作弊了 ， 或者是根本不可能啊 ， 这个很很有趣 。 后来直接我们就去了那个就 submit 到一个 journal 啊 ， 排名最好的 journal， 当时那个 reviewer 回来大家也是不相信 ， 就要让我们跟其他的所有的方法比 ，但我们花了一个暑假全部都比了 ， 后来就接受了 。 嗯 ， 所以很有趣的故事 ， 就说你你这些东西很多科学的东西很简单 ， 就说你知道吗 ， 就说你即使做对了 ， 尤其是少只要你东西跟主流的东西不太一样 ， 那么接受起来不是那么容易啊 ， 科学家也是人 ，而且整个 community 大家甚至也会有一种 echo 效应 ， 对不对啊 ， 主流的肯定是对的啊 ， 你怎么会来冒杂音呢 ， 对吧 ， 你怎么这个怎么呢 ， 对吧 ，而且尤其是这些人并不一定花时间去精力去真正去了解理解这些东西新的东西 。 嗯 ， 啊 ， 哪哪怕是数学已经很严谨的 ， 哪怕实验是非常完善的 ，他也不是那么一蹴而就的 ，不然的话也不会我们也不会有 Hilton 这样的故事 ， 对不对 。 嗯 ， 你看到去年的得诺贝尔奖的这些 ， 对啊 ， 对 ，MRA 的发了两个诺贝尔奖啊 ， 这两个人是吧 ， 一个那个女的原来是 U 砰被被被发尔掉的 ， 对不对 ， 然后然后那个今年发的 MRA 的那个原来在在在哈佛也是没有拿到 tenure 的 ， 对不对 ， 嗯 ， 对吧 ， 后来还流浪了一段时间 ， 对不对 ， 所以是这样子嘛 ， 主流的总认为主流的是对的 ， 现在就可以 ， 所以现在我也用这些故事来激励一些年轻人。 嗯 ， 对吧 ， 尤其现在再去做同质化的 ， 现在人工智能觉得所有的这个一个模型这样 ， 现在的方法就是就是通向 AGI 的阳光大道 ， 完全不是这样 。 嗯 ， 这在阳光下很多没看到的东西会完全颠覆他们以后对这些事情的认识 。 好 ， 关于品味 ， 我有两个我觉得对我们的听友比较实用的问题 ， 一个就是我发现现在其实有很多他不是经过非常系统的学术背景 ，他可能是一个企业家 ， 一个创始人， 或者一个 AI 领域的从业者 ， 你觉得这这些人他们通过向一些顶尖的 AI 研究者去学习 ，他能获得一些类似技术品 味的东西吗 ？ 我是指他有那种坚持和笃定 ，他能获得吗 ？ 比如说我们之前有一个报道里就有写到张一鸣 ，因为字节最近也在做 AI 嘛 ， 可能他就在新加坡 ，他向冯嘉石学习一些 AI 知识什么 ， 我是说就比如张一鸣这种角色 ，他没有经过系统的学术训练 ，他能掌握这个类似 taste 的东西吗 ？ **马毅** [1:28:35] 对 ， 如果他要了解现在的这些 AI 技术在做什么 ， 啊 ， 我个人认为啊 ， 很多的至少对目前的很多的 AI 技术都在做什么 ，有严谨的一些本科的这类的数学和这个科学的知识就够了 ， 那继进一步继续探索呢 ， 可能需要更深的一些知识啊 。 所以正因为如此 ， 你看我们做了我们在港大做了一件事情 ，也是跟科普一点关系 ， 可能去年我们也是遇到你刚才讲讲了张一鸣这个例子很难 ， 我在港大这两年呃开始头一年很烦 ， 为什么每个周末几乎啊就有原来我在伯克利就有这个问题了 ， 伯克利就经常就有一些企业家啊 ， 湾区都跑过来马拉斯了解一下 AI 很比较热 ， 对吧 ， 你对 深度学习怎么看 ， 你对这个现在新出来的什么东西怎么看 。 后来我也跟他们讲 ， 我说第一我我本人这个领域很广啊 ，不是我自己也只是了解很多其中一部分 。 嗯 ，而且甚至我的 scope 也只是我可能懂的那一点清楚 ， 至于这些其他的方面 ， 比如用到某一个 ， 我们用到用到生物 ， 用到医疗 ， 用到其他 ， 我说完全不完全可能是外行 。 嗯 ， 用到什么蛋白质 ， 那我不不清楚 。 后来就跟几个同同事聊 ，他们也有同样的困惑 ，他们不光找我啊 ， 到港大对吧 ， 找其他的像罗平啊 ，其他我们说那好 ， 我们既然有这个需求 ， 那我们能不能组织起来 。 嗯 ， 好 ， 所以我们就办了一个就像 EMBA 一个这样的班 ， 专门对 CEO， 为什么他们 ，因为这些人也投资者企业家 ， 对不对 ，因为他们可能面临的问题不光只是吃瓜群众 。 **Host** [1:29:57] 对 ，他要投钱呢 。 **马毅** [1:29:58] 对 ，他是要去投他企业 ，他要做决策的 。 嗯 ，他用还是不用 ， 很多人很焦虑 ，他不用他怕落后了 ， 对不对 ， 用了他砸砸钱又没有又又又没有回报 ， 对不对 ， 所以他是很焦虑这种人又很 stressful，有些投资者又觉得很 exciting， 对吧 ，而且机会来了 ， 就很什么人都有形式 。 那么我当时说好 ， 我们能不能组织起来 ， 我们也不说是给去影响他们的决策 ， 我们就给他们提供一个从技术的角度啊 ， 从我们的数数据学院 ， 计算学院 ， 我们给他一些科学系统的介绍 ， 一一部分是比如说我们一线做科研的老师对这些技术的本质的一些了解 ， 提供一些证据 ， 当然浅显易懂啊 ， 让他们能明白的方式去告诉他们这些技术在做什么 ， 本质 是什么 ， 概念是什么 。 另一方面呢 ， 我们可以找比如在真正的一线的科技企业 ，他在用 AI 技术在布局 ， 甚至犯过错误的 ， 至少过去十年在不断的探索的这些人， 比如我们也邀请比如像他的大华呀 ， 或者这个这个王小刚啊的 ，不管成功的失败的 ， 你跟他讲一讲你对他的 ， 你或者你们公司在布局的 。 嗯 ， 你对未来可能是错的 ，不管他就跟他讲讲 ， 所以他通过这种方式 ， 所以我们就这曾经的这样一个叫叫科学企业家这个班 ， 我们说先招 50 个 40 个 ， 对吧 ， 这个因为这个商学院的一般都是 60 个人。 嗯 ， 结果一下子这个发现我们一报名就报了这个最后一第一届就招了 80 个 。 嗯 ，而且都是国内的这些头部企业的上市公司的老总 ， 还有一部分是投资者 ， 还有一部分是这个传统企业要转型的 。 嗯 ， 啊 ， 都非常的都非常成功的 ，但是呢 ， 你会发现非常 diverse，但是他都有个共同的 ， 我们都不知道会这么的大家对这件事情这么的关注啊 ， 这么的这么的这个有有有 passion。 **Host** [1:31:35] 你觉得他们的科学素养怎么样 ？ **马毅** [1:31:37] 都挺好啊 ，但这些他都是非常成功的企业家 。 嗯 ， 啊 ， 甚至都是在科技领域啊 ， 或者传统企业都是技术的 ， 或者是带有一定的 ，他不是纯粹的这个那个什么的 ， 都是跟技术相关的 。 那么他们更想了解技术本质 ， 都是带着这个非常好的诚恳的学习的态度来的 。 嗯 ，而不只是交交友 。 嗯 ，而且我们的初群里 ， 我们我我也帮职商学院教过一些这种 ，他们一般的一些初群里一个班 60 个人， 可能每次上上课也就是百分之六七十的人能到 ， 我们上课头几个模块几乎百分之百 ， 甚至不来的人都很诚恳的请假 ， 第一次组织的给的空间都不够 。 嗯 ， 所以你可以看到大家对这件事情的关注度挺有意思 ，也是也是无心插柳嘛 ， 当时也是觉得我们就做一做啊 ， 结果发现这件事情还真可能做对了 ，因为很可能人工智能这件事情能够真的是触及各行各业 。 那么我们每个模块就可以找不同的人， 对不对 ， 机器人 、 医疗 、 健康 、 金融等等 ， 就完全超越我满意的这个认知能力了 。 那么就让他们能够接触到 ， 那么这样的交流会非常系统全面 ， 然后他们看到啊现状人工智能的现状 ，以及一些已经在尝试的一些探索 。 嗯 ，他们带着这个回去去对他们的企业在做布局也好 ，是成熟不成熟 ， 什么时候做什么 ， 我相信他们的这个判断会好很多 。 **Host** [1:32:53] 我想他们可能也经常会问您一个问题啊 ， 就是因为很多 AI 的新成果嘛 ， 比如说对这些人来说 ，他去判断一个 AI 的新的成果到底靠不靠谱 ，有些什么简单的原则或者 tips 吗 ？ **马毅** [1:33:05] 有啊 ， 如果是真的有严格的证据 ， 对不对 ， 我们会给他们提供非常严谨的啊实验啊 ，他们看不到的 。 嗯 ， 自媒体报道基本上都是成功的例子 ，demo 都是对吧 ， 又蹦又跳的对吧 。 我说但但是呢 ， 你你看看真实的情况是怎么样啊 ， 负面的一些东西啊 ， 就说客观的一些东西 ， 就正反面都有 。 还有呢 ， 即使有些东西我们没有证据呢 ，但我们会从我们的角度去给出我们的一些判断给建议 。 嗯 ， 或者一些他们可能自己没有的一些角度去看这个问题 。 嗯 ， 这个是他们觉得非常有价值 ， 就是我们的这个最后让你让他们反馈回答的这个看啊 ， 这个就是感觉我简直是出奇的好 ， 完全是一辈子没有的 experience。 嗯 ， 啊 ， 对 ，但也对我们的教授也是 challenge， 为什么吗 ？ 对 ， 我经常给我们老师讲 ，因为我们老师从来没面对这样的这样的 audience， 对不对 ， 虽然他们的素养肯定比大学生可能要好 ，他们有很多的经验 ， 对吧 ，他有很多经验 ， 社会经验等等 ，他们这些人的判断能力也很强 ， 所以他们接受一件事情的这个这个这个 bar 也很高 ， 对吧 。 那我就说我们的年轻老师 ， 这些很多老师你去讲 ， 那就好啊 ， 我觉得这是 challenge 啊 ，他们一天自己牛逼哄哄的 ， 觉得自己要 change the world， 对不对 ，他做了一点什么事啊 ， 觉得我的东西马老师我做的东西了不起 ， 那行啊 ， 我说那好 ， 你一下面对 80 个 ， 你给他们讲明白你做的东西的价值在哪里 。 如果这些人都不卖账 ， 觉得你东西一点用没有 ， 解决不了他的工作 ， 那你在做什么呢 ？ 所以所以他们对我们的老师 ， 所以准备这东西也是一个 challenge。 嗯 ， 你把你做的东西能不能讲清楚 ， 你带你的价值到底在哪里 。 我们同学上次有个统计 ， 我们学员可能加起来的身价可能是好几千亿 ， 对吧 ， 哈哈哈 ， 大概这样一个一个体量吧 ， 对对对 ，但所以这也很 influential 啊 ，他他他对他的行业 ，他可能的产业都是有很大的影响的 。 **Host** [1:34:43] 嗯 ， 我觉得这个还是挺有意义的 ，因为其实他们和一些政策决策者肯定也是有一些表达的沟通 ，他们是接触到整个社会 ， 对他们的产业都是有代表性的 。 就说你看这是只是个例子 ， 对吧 ， 所以现在你看对 AI 的教育 ， 可能都不只是针对我们的大学生或者我们的研究生开课 ， 开好甚至是对高中大众 。 嗯 ， 那么这企业家 ， 我相信以后可能是甚至政府啊 ， 这些真正的尤其跟科技相关的 policy maker，他们应该要对这些技术要有比较客观系统的认识 。 ### AI通识教育 **Host** [1:35:12] 正好从这个我觉得可以聊到更广泛的教育啊 ，因为现在港大也是在做这个 AI 的同时教育 ，其实去年我们聊到的时候是说当时计划要开课 ，而且你们你你也在写一个新的教材 ， 可能是给本科生用的 ， 让他知道智能是怎么回事 ， 让他理解机器 ，因为未来我们肯定是要和机器共处的 ， 可以讲讲这个东西的进展吗 ？ **马毅** [1:35:31] 对 ， 港大可能是第一个大学啊 ， 就是说对这对学生要做通识教育 。 嗯 ， 然后这个我们有一个叫 AI literacy 的课程 ，他就叫因为原来港大的学生要上两门英文课 ， 一门中文课 ， 我们现在把英文减了一门 ， 然后把他相应的学分那个学分替换成这个 AI literacy， 然后呢 ，他基本上现在就是所有的本科生所有专业必须上， 对 ， 这是他他他 graduate 里面要求 。 嗯 ， 大概六个学分 ， 就是分两个学习场 。 嗯 ， 头三个学分是所有的学生上一样的东西 。 嗯 ， 后三个学分呢 ，是可能会是不同的 college。 嗯 ，他会有一点 customization， 比如说呃医疗啊 ， 医学院或者是法学院 ， 或者他可以有一个相对啊朝着他的方向相关的一个门课 。 嗯 ，是这么这么一个情况 。 那么今年这个这学期我们已经在 pilot 了啊 ， 这个春春天我们已经做了叫 pilot 课程 ， 呃 ， 现在有 100 多学生选修啊 ， 就 volunteer 学 ， 这不是 mandatory 的啊 ， 到秋天就是正式上课了 。 **Host** [1:36:29] 就今年九月就所有人就上了 。 **马毅** [1:36:31] 就就就新生技术学新生就全部要求要上了 。 **Host** [1:36:34] 嗯 ， 那可以讲讲就是大家上课的一些反馈啊 。 **马毅** [1:36:36] 啊 ， 非常好 ， 我觉得现在就是这一百个都是自愿选修选修课程嘛 ，而且当然我们也是第一次来设计这些课程 。 那么每一堂课实际上花很多精力 ， 一一般一门课程你就 100 多个学生 。 嗯 ， 对不对 ， 你即使上十几门课 ， 对吧 ， 十几个小时， 十几乘乘上 100， 这是多少小学生 per hour？ 那你想想现在一门课就面对的 4,000-5,000 个学生 ， 所以它的影响一每一节课的影响是不得了的 。 嗯 ， 它的总体量是远远超过一门课对学生的影响 。 **Host** [1:37:06] 那你们第一节课 ， 比如说你们这个课是怎么设计的了 ， 就教他们什么了 ？ **马毅** [1:37:09] 有不同的模块 ， 就说主要是这当然这个课程也是一个因为是个通识课 ， 主要是一个 overview。 嗯 ， 我们的目的很简单 ， 第一学生要对 AI 基本的概念搞清楚 。 嗯 ， 的智能的一些基本概念 。 第二 ， 历史我非常强调 。 嗯 ， 你连历史都没搞清楚 ， 对不对 ？ 包括我们前面谈到的 。 **Host** [1:37:28] 你们这个历史是从机器智能从 40 年代开始还是更早的时候 ？ **马毅** [1:37:31] 我知道这个课是我在教 ， 所以我给了一个包括从生命的历史智能也讲啊 ， 都讲啊 ，以后还会打磨啊 。 嗯 ， 另外呢 ， 还会对于就说讲技术本身 。 嗯 ， 比如说现在的啊语言模型 。 嗯 ， 概念是什么啊 ， 基本的概念 ，但不一定那么 technical。 第二 ， 图像处理 。 嗯 ， 对吧 ， 语言处理啊等等。 好 ，有有几个就是关于技术的 ，他们所面对的这些工具 ， 生成模型也好 ， 识别啊等等 ，他们面对的人脸识整个这些他的后面深度网络 ，他们听到的这些耳熟能详的东西 ，他的一些基本的概念和他在做什么本质 ， 给他一些浅显易懂的正本素源的一些介绍 。 嗯 ， 啊 ， 让他知道这些东西在做什么 ，他的他的能力 ，他的 limitation， 还有当然还有机器人， 对不对 ？ 哎 ， 我们怎么机器人， 对吧 ，是不是会把人给毁灭了 ， 对吧 ， 这个好 。 另外后面还会有 ethics， 伦理的问题 ， 伦理 ， 对吧 。 那么这涉及到从从某种程度上也让学生们你以后你们该怎么去正确的面对和使用这些工具 。 到个人， 那你用考试作弊抄袭是什么概念 ？ 当然这些概念到底是怎么去理解 ， 涉及到以后的 copyright 隐私保护 。 嗯 ， 还有以后这个 privacy 等等等等啊 。 那么还有安全 ，因为港大的学生以后都会是这些社会的一些精英嘛 ， 对吧 ，也会到一些 policy making，他们必须要对技术要有很好的了解 。 所以设置到那么相关的法律规范 ， 你该怎么去理解这个问题 ， 怎么看这个问题 ， 还有这些模块 。 所以整个是会给学生们第一了解历史 ， 了解概念 ； 第二 ， 了解当前的技术 ； 嗯 ， 第三 ， 了解现在这些技术对他们个人的乃至或者他们对他们的行业的影响 。 嗯 ， 甚至对社会的一些可能带来的一些影响 。 当然现在很多问题我们我也跟我们老师讲 ， 我们现在很多问题没有答案 ，但是我们的课程要起到的作用是让他们去比较批判的去看 。 **Host** [1:39:19] 嗯 ， 就是他要想这个问题 ，不要人云亦云 ， 对不对 ？ 看看自媒体上什么 ， 对不对 ？ 别人说什么就说 ，他要自己要掌握 ， 学会去掌握证据 ， 找到自己的论据去形成自己的观点 。 嗯 ， 然后去接受这东西 ，而不是现在啊 ， 别人告诉他是什么 ， 就啊 ， 这个东西什么都能干啊 ， 这个东西什么都都能做 ， 这个是安全的 ， 这个是什么 ， 对吧 ？ 哦 ， 这现在就要管开源不行 ， 对吧 ？ 这个危险等等 ， 对吧 ？ 所以他们必须要就是通过这样的课程 ， 是一方面了解他已经客观的东西 ， 系统的东西 ， 历史的东西 。 那么另外就是说对将来他们要有这种能力去去去判断 。 嗯 ， 啊 ， 所以所以所以你看传授知识到本身并不是很重要 ， 只要最终我们目的通过这些历史啊 ， 通过这些看法 ， 主要是还让学生能提升他们的判断能力 ，因为技术以后还会改进 ， 对不对 ？ 啊 ， 同样的炒作还会再出现 ， 对吧 ？ 我们即使把现在的解释清楚了 ， 对吧 ，他自己没有自己独立的判断力 ，他以后还是会被这大家这个这个误导 。 所以这一点是我想通过这个通识课程 ，不光是把 AI 讲清楚 ， 通过 AI 这个话题让同学们意识到它的独特性 ， 带来了很多实际上是蛮好的 ， 很丰富的一个话题 ， 让学生们学到很多综合 ， 甚至还有艺术 ， 对不对 ？ 像所以你看包括我们讲到的这个 ， 为什么要把历史 ， 你看你光是生命 ， 那么都是学生命的学生 ， 学 neuroscience 的学生 ， 甚至学物理的学生 ，他的这些他就可能看到他的专业跟智能这件事发生什么碰撞 。 那么学到 ethics 这件事情 ， 那些学学人文科学 ， 学法律的 ， 学艺术 ， 那么学 generative AI， 那么学艺术的 ， 什么叫创造版权 ， 你怎么去看这些事情 ？ 那你以后音乐家 、 画家 ， 你以后在这边扮演什么角色 ？ 这个技术是帮你还是跟你竞争等等 ， 你自己去看 。 所以整个这个课程就是让让整个港大 ，不管你是哪个专业的 ， 只要 AI 跟你的这个专业有些吸引 ， 对你个人也好 ， 对你这个领域也好 ， 那么帮助他们去思考怎么去去做这个事 。 而且这个内容我也给我们老师讲 ， 每一节课都有一个团队在后面 ，不是一个老师教啊 ，是每一节课每一个小时的课 ，是好几个老师来设计 ， 来共同来打磨 。 而且我说这个内容不是说这次教了拍了教以后就就教同样的东西 ， 绝对不是 。 每一年可能这个内容都要 update， 它是一个完整的 ， 就是让我们的学生 ， 每一学生都要了解最新的 AI 发展的现状 ， 然后对它的理解 ， 这样子是起到这个效果 。 所以它最后的收获形式是你们这个学院 ， 就是呃 ， 香港大学计算与数据科学研究院的好些老师一起来合作 ， 一起教的 ， 可能不同的课是不同的老师 。 **马毅** [1:41:50] 对 ， 第一门课是我们主要在承接 ，但是我们也会 involve 其他系的老师 。 嗯 ， 啊 ， 包括一些机器人， 那我们还会有这个呃 ，WE 的老师 ，其他系的老师我们都会 involve， 主要是这个事情就是头三个学分 ， 这个基础的技术的介绍啊 ， 这个整个是我们 ，而且包括 ethics， 我们还有这个来自于法律 ， 还来自于这个哲学的系的老师来来来传授 。 所以它是只是整个我们是 host 一样 ，但我们是在 coordinate。 至于第二个三个学分 ， 第二门课就会招一专业 ， 我们可能就我们学院要跟其他的各个学院共同来开发 ， 比如说针对医学健康啊 ， 那么这些我们要传授哪些 ？ 这个课的第二部分就是比较各个 faculty 和 college 啊 ， 就要去专门去 design 这个事情 。 **Host** [1:42:29] 因为您已经在春季就是有试上这个课程嘛 ，有 100 多人， 这 100 多学生他们会提些什么问题啊 ？ 他们和您互动 ，他们关心什么 ， 好奇什么 ， 困惑什么 ？ **马毅** [1:42:38] 呃 ， 很多了 ，但是第一年的学生呢 ，因为他是自愿选的嘛 ， 啊 ，有一点 bias， 对不对 ？ 这些学生第一要么很可能就是对这个事情非常感兴趣的 ，因为他他不是必须要必修课 ， 还有呢 ， 很多大部分是可能比较偏技术 STEM 的人， 对不对 ？ 好 ， 呃 ， 人文的少一点 ， 所以可能会有点 bias， 所以我们会要等到秋天才可能有比较一个完整的一个一个 sense 啊 ，但目前为止现在是效效效果非常好 。 嗯 ， 啊 ，他们呃 ， 往往会 follow up 啊 ， 就是说想更加深入的了解一些东西 。 很多学生虽然那个已经都想跟老师做做一些 project 等等啊 ， 反正反正好像打开他们那些思路吧 ， 啊 ，有些也不太现实 ， 对吧 ？ 但是他整个的反馈是蛮 positive 的 ，有点像这个 CEO 的项目 ， 就是说目前为止确实 AI 呢 ， 它比较大家都比较关注 ，而且大家确实理解的不深 ， 大家可能很多真正聪明的人都还是有这个体会 ，他还是知道你点东西不够 ，不系统 ，不全面啊 。 这样的课程他们都觉得比较 excited 的 ， 知道他能开始一下子比较系统的看到 AI 的各方方面面啊 ，在不同领域的一些影响啊 。 **Host** [1:43:39] 在你们这个课程中间 ， 你们是怎么去描述 AI 和人的关系的呀 ？ 你怎么向本科生去讲述这个关系 ？ **马毅** [1:43:45] 智能本身不是一个泛东西 ， 对不对 ？ 呃 ， 具有不同能力功能的智能系统 。 嗯 ， 我们把它们本质讲清楚就好 ， 然后让他们学生自己去判断怎么去交互 ， 对吧 ？ 当然有些工具 ， 对不对 ？ 比如说你是写作的工具 ， 你到底拿它是是是真的 ， 就就让它替代你写作业 ， 写论文 ， 实际上对我们老师也是种 challenge。 嗯 ， 现在面对这些工具 ，AI 的一些工具 ， 实际上包括我们很多老师 ， 包括学校也没有最终的定论 。 嗯 ，因为这个这些技术它也在不断的发展 ， 它能力也不断提高改进等等 ，但我相信这个过程中是是启发我们的学生去给他不同的 option， 给他不同的看法 ， 然后让他们自己去形成 。 我希望这是让他们自己去形成对这些事情的一些判断 ， 去引导他们 ，而不是去把一些东西灌输给他们 ， 这个是可能是最好的方式吧 。 **Host** [1:44:33] 对 ， 这个这个确实我觉得 AI 和人的关系确实有点复杂 ， 这可能跟哲学啊 ， 伦理啊 ， 包括 AI 未来到底怎么发展都有关系 ， 比如说它有可不可能自己产生意识之类的 。 **马毅** [1:44:42] 对 ， 我们在包括我最近浩凯在讲这个事情 ， 所以这要不对目前的东西 ， 对吧 ？ 我们知道它基本上就是把这个本质搞清楚嘛 ， 它实际上在做做非常机械的压缩 ， 数据的压缩和生成 ， 对不对 ？ 嗯 ， 所以呢 ， 就是我们把本质搞清楚之后， 我相信现在的同学们知道如何跟现在的 AI 打交道 。 嗯 ， 知道它的本质 ， 这是我们要能做的 。 但是对于未来 ， 我们可以展望 ， 当一些当智能的机制越来越被发现的更完整完善 ， 被实现的更完整完善 ， 那么这些系统 ， 比如说开始真正有自主学习的能力的时候 ，他们可以去思考有了这样的系统出现之后， 该怎么去做一个个人或者作为一个社会去面对这样的事情 。 现在可以把这个话题给讲给他们 ，但是我们希望他们比较客观看这个问题 ，而不是说现在就 worry about， 对吧 ？ 就现在的这就是现在的系统能做的事了 。 **Host** [1:45:32] 对 ， 就是他首先理解现在系统能做什么 ，不能做什么 。 对 ， 我对我刚说那个产生意识 ， 这是一个比较未来的畅想 。 **马毅** [1:45:38] 所以我们也有哲学的老师在想这个事情 ， 那么意识到底是什么 ， 对不对 ？ 那么或者是哪哪怕这个我们说到的这个 consciousness， 对不对 ？ 实际上我觉得我们可能还不知道 ， 我觉得现至少目前的这个机制都是非常 mechanical 的 。 对 。 **Host** [1:45:51] 这次采访之前 ， 我去看了下维纳的人有人的用处 ，但是我没有自己完整看完 ， 我也是让 AI 帮我速读了一下啊 。 它那里面其实也讲到了 ， 就是它认为未来如果机器对人异化的这种环境之下， 你怎么去培养一个完整的人 ？ 它觉得审美是最后的堡垒 。 嗯 ， 对 ， 它也讲到了就是批判性思维 ， 还有跨学科的这种综合的视角非常重要 。 我们也可以不严谨一点 ， 畅想一点啊 ， 如果就是想的更远的话 ， 关于 AI 和人的关系 ， 我觉得现在有两派 ，有一派就是觉得人类文明是为硅基文明铺垫的 ， 嗯 ， 然后有一派是比较人本主义的 ， 就是觉得我们还是要就是守住人类的堡垒 。 嗯 ， 就您您自己如果感性上， 您是比较偏向什么 ？ **马毅** [1:46:29] 我觉得人有人的用处 ， 机器有机器的用处 ， 对不对 ？ 但是智能这个机机制是我觉得不会是人所独特的 。 智能本身就是一种民主化的机制 ，是自然界早就把智能开源了 ， 对不对 ？ 我们这个世界上不是人这种动物 ， 对吧 ？ 还有无穷多其他的动物 ， 对不对 ？ 而且对吧 ，也人也是一个偶然变成了这个世界的主宰 ， 对吧 ？ 在这之前 ， 实际上物竞天择 ， 适者生存 ， 对吧 ？ 有很多的共同竞争的过程 。 所以智能这种机制对于这个自然界来说 ， 它不是一个谁会 ， 只是人目前处于垄断时代 ， 那么可能在一些形态上比较高级而已 。 我觉得智能你但我们把它机制搞清楚啊 ， 很可能就是一个共融 。 而且你看我们每个人都有智能 ， 对不对 ？ 我们也能学会去共存 。 我相信对吧 ， 当机器有了智能以后， 我们也会有一定方式找到共存的方式 。 嗯 ， 对 ， 呃 ， 这个很难 ， 这个也很这个可能是需要一些这个大家去思考的问题 ， 对吧 ？ 到底这个机器智能发展到什么阶段 ？ 如果真的现在的机器智能实现以后， 我们经常讲到什么 scaling law 什么的 ， 对不对 ？ 现在我们还没有找到正确的该 scale 的 ， 等这些机器人实现了 ， 就跟人的大脑皮层一样 ， 对吧 ？ 呃 ， 从小老鼠的大脑 ， 对吧 ？ 那人大脑它基本上就是在 scale 正正确的东西了嘛 。 但是你可以看到它能力大大大的提高 ， 它机制可能相似 ，但是它的这个随着这个 scale 上去 ， 它的效率 ， 它的这个能力是不得了 。 那么很可能机器硅基也好 ， 什么机也好 ， 量子机也好 ，不管它怎么着了 ， 它只要把同样的机制实现的话 ， 它很可能是人的大脑的百倍千倍万倍 。 它记忆 ， 它的推理能力 ， 或者它获取新知识 ， 假设我们认为啊 ， 智能就是获取 ，但它获取资新知识的效率 ， 甚至通讯可以远远机器人之间可以远远超过人， 对不对 ？ 那这种情况下我们该怎么办 ？ 我也不知道 ， 对吧 ？ 留给大家去想啊 ， 这个该制定什么样的一些规则规范 ， 那么怎么让机器人能够 ， 或者我们还没有说到意识 ， 只是它能够有自主的学习能力的时候 ， 就已经可能可能会比较麻烦了 。 **Host** [1:48:27] 就是您自己做这个事情的动力 ， 包括你们你们现在做白盒 ， 做闭环反馈 ， 自主纠错这些机制 ， 除了您觉得这是一个未知的东西 ， 您好奇想把它弄明白之外， 您会觉得这个东西研究出来之后， 它整体上来说是有好处的吗 ？ 还是这不是考虑的主要的问题 ？ **马毅** [1:48:42] 我觉得从我们做科研也好 ， 很多东西还是从先把事情了解清楚 。 **Host** [1:48:47] 对 ，因为我刚刚在想这个东西的方向性啊 ， 就是如果它都是一个过程 。 **马毅** [1:48:50] 对 ， 时间还很长 ， 对不对 ？ 在过程中我们还有很多的时间可以做 ， 可能这些知识还是有用的 。 那么从我们做做学问的或者是做出来 ， 我们还是希望把这些机制搞清楚 ， 搞明白 。 那么至于任何东西 ， 相信我觉得任何一个技术 ， 任何一段知识都可以用来做好事 ，也可以用来做坏事 。 所以我们为什么要把智能技术搞清楚 ？ 我们要把两件事情分开 ， 一个是这个技术是可以拿来做坏事还是好事 ， 这个技术本身是中性的 。 比如炼钢 ， 你炼钢当然有好处了 ， 造车 ， 对不对 ？ 造很多东西 ， 那你也可以做枪做刀 ，不能因为这个技术最终会去拿去做坏事 ， 你就说我们就不能研究把这钢怎么炼的越来越好 。 这是两回事 。 就是说那么你不该去限制对技术的发展 ， 你该去研究如何去 regulate 它的应用 ， 就跟互联网一样啊 。 那么智能技术也是这样 ， 这是一种情况 。 当然还有一些技术它本身就是有害的或者是危险 ， 比如说啊 ， 病毒或者是一些放射性元素 ， 对不对 ？ 它本身这种技术或者是这种就带有危险性 ， 化学等等 ， 对吧 ？ 那你就要小心了 。 这就是技术本身的研究就要 regulate。 所以为什么对生物实验啊 ， 化学实验有很多严格的这些安全要求 ， 对吧 ？ 不是任何人都能去玩的 。 所以这是要分清楚的 。 那么所以现在对 AI 也是这样 ， 对现在的智能技术就要它到底是哪一类 ， 它本身是在干什么 ， 它的本质就是危险的吗 ？ 目前做的东西是本质是很清楚的 。 **Host** [1:50:14] 就现在的是不危险的 。 **马毅** [1:50:15] 对了 ，但以后我们可以再去判断它什么时候才变成危险 ，但是我们知道现在的它的本质搞得很清楚 。 嗯 ，但是到以后当真正的技术 ， 当然技术本身可能也发展到危险 ， 光是做这个研究本身 ， 那就是要有严格的保护 ， 严格的这个规范啊 。 **Host** [1:50:30] 就如果回到你们现在的这个研究的话 ， 比如像白盒呀 ， 然后闭环反馈这些 ， 相比去年我们聊的时候有些什么进展和突破 ？ **马毅** [1:50:37] 应该会蛮多的 ， 实际上也是我们也是这个涉及到我们公司做了很多事情 。 现在我们作为做这个做了一些产业化 ，也是因为发现在学校做的东西验证一些方法验证的还是比较清楚 。 那么同时也觉得这些这些机制跟现在的这些 AI 的特别也不是很同质化 。 那么但我们现在就要就要搞清楚 ， 那么这些技术如何去更加要在更大的规模 、 更加的效率提高 ， 这些往往并不一定是学校愿意去做的啊 。 比如说我要更多的数据去验证一些事情 ， 我要在更大的规模上做一些事情 ， 或者我要去改进效率 ， 我已经知道方法了 ， 我要把效率提高 。 很多东西是比较工程化的 。 所以我们过去这一年呢 ，在这一方面就是很多的最近的一些工程 ，在我们的公司网站上也有一些表达 ， 那么也是跟学校在合作 ，因为我们还是处在研发这个阶段嘛 。 嗯 ， 那么你可以看到大部分的进展都是跟比如现有的这些白盒啊 ， 或者这闭环啊 ， 这个这种系统的机制 ， 比如在怎么去如何去大规模的 scale， 如何去大大的提高它的效率 ， 或者通过这些原理去把已有的比如说 transformer 也好 ， 里面的一些冗余的效率不高的地方给取代掉 。 这过去几年有过去这一年有不少的这样的东西 ，而且通过原理你可以现在把一些比如说训练视觉的 ， 现在大家视觉世界 ，因为现在视觉模型非常糟糕嘛 ， 啊 ， 语言模型还好一点 ，但视觉多模态很糟糕 ， 预训练非常不好做 。 那么现在的很多的最最最好的一些方法 ，DINO 啊 ， 它就是完全工程化的系统 。 嗯 ， 啊 ， 那么现在这些原料指导下呢 ， 我们可以把这些系统大大的简化 ，而且性能还反而会提高 。 所以这就是可以看到这些现在的这些技术 ， 现在我们的新的一些原理已经在对这些真正的下一代的这个比较能改进现在的 practice 已经已经在开始产生很大的效果了 。 ### 闭环与具身 **Host** [1:52:15] 嗯 ，因为我看了一些你们最近的成果的整理 ，是不是你们接下来的一个方向是因为那个闭环 ， 它其实是要在就它的一个特点啊 ， 我觉得我理解它是在一个开放的真实的物理世界里面 ， 它是可以去运转或者它可以去学习的 。 所以它这个未来是会更多的和具身这个方向结合吗 ？ **马毅** [1:52:32] 是 ， 对 ， 所以我们现在确实是这个这个讲讲的很对 ， 这很自然的一个 killer app 的就是对吧 ， 就是我们的就跟人一样嘛 ， 对吧 ， 一个一个真正的一个一个 agent， 它应该是一个能够真正的物理世界打交道 。 嗯 ，而且而且是一个开呃这个开放的世界啊 。 我经常有一句话对吧 ， open ended system is for closed world. 不管 how how however big it is， 就是不管这个世界 。 一个如果是 end to end 的这样开环的系统 ， 它只是能够记住一个封闭的世界 ，不管这个世界有多大 ，不管这个模型多大 ， 它都是一个封闭的 。 但是这个 a closed loop system is for open world, no matter how small. 哪怕小到一个蚂蚁 ， 它面对一个再大的世界 ， 它也是闭环的 ， 它能自己去学习 。 所以它实际上是 ， 所以就这样 。 所以为什么现在 end to end 的它 ， 它不管去去多少的知识 ， 它就是 fixed finite 的 ， 对不对 ？ 它没有自己改进的 。 **Host** [1:53:21] 端到端就不能是闭环的是吗 ？ 端到端和闭环是互斥的吗 ？ **马毅** [1:53:24] 我也不是完全不知道目前为止这种实现方法 ， 这个这种目前大模型这样子的 end to end 去 fine tune 去训练啊 ， 它没有这种模型 ， 它没有自己改进的方法 。 **Host** [1:53:35] 对 ，其实端到端也是一个业界的非常火的 。 **马毅** [1:53:37] 你可以认为很简单 ， 对吧 ？ 你就把它想成 DNA， 对吧 ？ 这是开 DNA 就是个开环系统 ， 你爸爸妈妈给你什么就是什么 ， 完全靠 instinct， 你改不了 ， 你这辈子已经注定了 ， 对不对 ？ 你靠本能活着的 ， 对不对 ？ 这就是开环世界 ， 输入你的 DNA， 从你的细胞开始 ， 受精卵开始 ， 你就已经注定了 。 嗯 ，但是很神奇的是 ，在一定阶段 ， 这些 DNA encode 的一些信息可以让它们个体产生大脑 ， 产生视觉 。 嗯 ，在这之前你就已经定了 ， 这就是开环系统 。 **Host** [1:54:05] 那你怎么看现在具身智能领域讲的很多的 ， 我不知道这个端到端跟你刚刚说端到端是不是一样的东西 ， 就端到端 VLA 模型什么这种东西啊 。 **马毅** [1:54:13] 嗯 ，有点像吧 ，他们这个现在技术路线还是通过很多的数据 ， 对吧 ？ 把从感知啊 ， 视觉到语言啊 ， 到这个 action 在整在一起 。 **Host** [1:54:21] 对 ， 到动作啊 。 **马毅** [1:54:22] 对 ， 现在反正还是蛮粗暴的 ， 对吧 ？ 就是这个方法 。 **Host** [1:54:24] 就您觉得这可能不是个正确的方向 。 **马毅** [1:54:26] 嗯 ， 对啊 ， 你可以至少是我 ， 你就跟坐大飞机一样 ， 你看什么叫正确 ， 对吧 ？ 正确这件事情 ， 对吧 ？ 啊 ， 比如说我们现在的飞机是不是按照正确所谓的正确的方向在飞 ， 未必 ， 对不对 ？ 动物的从昆虫到到鸟都不是这么飞的 。 **Host** [1:54:39] 但它能飞啊 。 **马毅** [1:54:39] 但它也能飞 ， 对不对 ？ 它甚至能载客 ， 甚至能挣钱 ， 对不对 ？ 嗯 ， 所以看正确与否是怎么回事 ，但是不是最高效的 ，是不是跟自然界的更自然的高效的实现方法 ， 肯定不是 。 嗯 ， 所以这个是我们可以肯定的很多 ，但是至于至于说你砸很多的数据 ， 砸很多的算力 ， 对吧 ？ 很简单粗暴去实现 ， 让这些机器人性能有些提高 ， 这个可能还是可以的 。 **Host** [1:55:02] 对 ，因为其实去年我觉得白盒我们是聊的比较多的 ， 我觉得那个呃概念可能是更相对容易理解一点 ，其实就是呃本来的 transformer 这种结构里面 ， 它从高维的东西到低维的东西 ， 它这个压缩过程里有很多经验的是试出来的冗余的东西 ， 然后白盒其实是找它的一个更底层的数学解释 ， 我可以把冗余的去掉 ， 可以让这个效率提高 。 但是我觉得去年聊的时候 ，其实闭环反馈自主纠错这个机制 ， 我觉得那个时候我我感觉是比较模糊的啊 ， 就这一块有些什么进展吗 ？ **马毅** [1:55:29] 啊 ， 这块我们现在在做不太一样的东西 ， 我们先是把这个模型的简化和效率提高了很多 。 那么现在呢 ， 我们现在实际上是已经不太局限于这个了 ， 我们现在是很是希望 ， 就是现在你发现现在这种尤其这种开环 ， 哪怕是甚至现在这种单一的单一的模型来实现这种啊 encoding decoding 来实现这种闭环 ， 可能都不是最优的方法 。 那么至少不是自然的 ， 我们的大脑不是一个一个环 ，而是多个环 ， 大量的 ， 对吧 ？ 并行的 ， 我们的大脑皮层是几十万个 column 形态相似的这样的 column 在在处理处理器 ， 所以他们的可能每一个人都在做这种 ， 每一个都在做这个 auto encoding encoding decoding， 都是一个闭环系统 。 所以我们现在已经在探索 ， 就是说在朝着就是如何能够比较实现更接近于自然人的大脑形态的这样的构架 。 **Host** [1:56:20] 这种构架其实就是它很早期 ， 对吧 ？ 我理解就是它属于一个比较前沿方向的一个东西 。 **马毅** [1:56:26] You never know， 对吧 ？ 对 ， 你你你永远不知道 ， 对吧 ？ 就是说你你你你就跟现在 ， 比如说你从的概念很清楚 ，但是真正的实现过程 ， 对吧 ？ 比如说就你有你你有了 AlexNet， 你有了 CNN 来实现啊 ， 这个就是工程到不到位 ， 实现正不正确 ， 很可能在这过程中如果真的实现正确了 ， 可能很快找到 ResNet， 很快你可以提高很多 ，transformer 也可以 ， 对不对 ？ 现在很多的改进 ， 现在现在这种就是科学的很多的进展 ， 你很难去预测 ， 很可能像像 GPT 也花了 8 年啊 ，但现在大家抄作业很快 ， 对吧 ？ 一年就可以抄上去 ， 对不对 ？ 啊 ，有时候这个探索过程那个有可能也用不到那么长 。 所以很多东西就是这样 ， 这个在在不管是科学或者技术的探索过程中啊 ， 你只要我觉得方向是对的 ， 你就已经很幸运了 。 那么只要方向正确 ， 那么大家全力以赴 。 **Host** [1:57:15] 嗯 ， 那你们现在正在探索这个方向 ， 如果我可能理解的不对啊 ， 就如果笼统的总结一下， 它是很多这个模型组合在一起 ， 然后每一个都是闭环的 。 **马毅** [1:57:25] 对 ， 应该是这样 ， 至少我们大脑的形态是这样子的 ， 我们大脑处理不同的模态 ， 对不对 ？ 我们的五官五种感知进到大脑都是并行的处理 ， 然后它在做汇总啊 ，而且大脑的区域非常的功能非常非常清楚 ， 它是一个非常的并行分布 。 嗯 ， 然后啊 hierarchical 的就是这种啊 ，有层次的这样的结构 。 **Host** [1:57:46] 因为我理解的闭环的定义就是你的输出是会影响你的输入的 ， 对不对 ？ 那那大脑的每一个这个就是它分块的这个部分 ， 它也自己知道它自己处理的结果 ， 就对不对吗 ？ 它它也输出影响输入网 。 **马毅** [1:57:58] 都都有吧 ， 这个人人类的大脑实际上这个神经网络的每一层基本上啊 ， 都在做很多的这个预测和纠错啊 ， 很多的机制在做 。 而且大脑里面很多的人的大脑处理的这个信号的 pattern 很多机制现在跟神经网络根本就没有 。 比如说我们的神经元之间的有这种 herbin connection，有些神经不同神经元看到同样东西 ， 它同时 fire 的时候 ， 对不对 ？ 它如果都同时 fire 的时候 ， 它会加强之间的 connection， 帮助它去识别一些啊共同的东西 。 那么有些神经元它对一件事情 fire 以后， 它会去限制其他周围的神经元不 fire。 像这种计算机制现在的都还不清楚 ， 现在的神经网络没有这种机制 。 对 ， 对 ， 还有很多的机制就说那大脑在做什么不清楚 。 所以但是我是倒是觉得我们现在肯定是要向大脑学习 ，而且现在我们从一些技术 ， 从一些原理的来看啊 ， 从原理来推导 ， 就发现这样的机制可能更有效 。 嗯 ， 从就是我们知道大脑有些记忆该怎么形成 ， 保证它的简压缩简约和自洽的话 ， 从这个机制来看的话 ， 这种分布并行分布 hierarchical 机制可能是更合理 ， 这是我们知道的 。 嗯 ， 原原理上本身也是在 suggest 这件事情是可能更有道理 。 **Host** [1:59:12] 所以有可能并不是说未来它是一个大统一的模型 ，因为我感觉现在好像很多人都是想把很多功能放到一个模型里面啊 。 **马毅** [1:59:19] 对啊 ，是啊 ， 一个大模型在这折腾 ， 对吧 ？ 这把什么模态的把语言都砸在一起 ， 对不对 ？ 实际上就是就是很就是暴力的这样去弄啊 ， 标很多数据 。 对 ， 就是这当然你说提供从从从工程大家找到这条路 ， 大家慢慢觉得这样不断的还能提高一些效果 ， 得到一些效果之后不断的这样也还也还是可以的 。 **Host** [1:59:38] 对 ，有可能像您说的 ， 它就像飞机一样 ， 它也有有可能是有商业价值的啊 。 **马毅** [1:59:42] 对 ， 对啊 ，但是就是可能性价比未必那么高 ， 对不对 ？ 这个从能耗的角度来说可能并不是那么高 ，但是你大家能付得起机票钱也能挣钱 ， 对不对 ？ **Host** [1:59:51] 因为一生还是一个商业公司嘛 ， 那你们就是做这些研究之外， 业务上有些什么样的进展和计划 ？ **马毅** [1:59:57] 因为你也知道智能技术是按很多点 ， 那么在有些这个技术点上啊 ， 那么我们在比如说智能它本身 ， 比如说在视觉或者在这个理解啊 ， 推理这方面一些功能提升的话 ， 它本身可能应该就会在一些场景上就有一些用处 ， 你不用把整个完整的系统做到 。 那么另外一点我也是希望做的一点迷信追问的一个公司 ，因为啊 ， 很多事情并不一定在学校能做 ， 那么很多东西我我也希望公司有一定的这个这些投资人有一些耐心 。 嗯 ， 中国真的是还是缺少一些这个 mission driven 的东西 ， 对吧 ？ 这样一个好的方向 ， 一个 promise 的方向 ， 大家我希望有点耐心把它实现下去 。 **Host** [2:00:34] 投资人实际上有耐心吗 ？ 他们应该也不会催你什么吧 ？ **马毅** [2:00:37] 我就看 OpenAI 对不对这个事情 ， 对 ， 它也是个公司啊 ， 虽然它开始不收盈利 ，但是它最终还是要还是要产生价值 ， 对不对 ？ 啊 ，而且对它的即使这样子 ， 它也做了七八年， 而且在这过程中 Elon Musk 算厉害了吧 ， 看东西看看看得看准的吧 。他 GPT 出出来之后 ，他也觉得这玩意一点屁用没有 ， 对不对 ？ 他就把它退退出去了 ，他也觉得这个完全不靠谱 。 所以你看这样像这么号称很惊艳很成功的人 ，在对一些事情的看法上也没有那么准 。 嗯 ， 那么当然微软留下了啊 ， 觉得他做的还是比可能啊自己的团队做的更好一点 。 所以就是你看实际上这里很多的他决策 ，他并不是一个科学的 ， 很科学的 ， 很逻辑化的决策 。 嗯 ， 尤其是这种带有一定未知的 ， 即使哪怕方向正确 ，在阶段大家对不同阶段发展的认可都不一样 。Elon Musk 他他他居然会犯那么大的错误 ， 对不对 ？ 嗯 ，而且他早期还是投进去的了 ，而且他是也是会对中间的结果进展 ，他到底是判断怎么回事 。 另外呢 ， 还有很多的东西我们要有 ， 还是要有点就是回到你刚才说的这个品味和信仰 ， 对不对 ？ 那么我相信做学问要品味 ， 我觉得做公司也是要点品味 。 一个东西我觉得他们重要方向正确 ， 它肯定是有价值的啊 ， 尤其是做当它能够完成的时候 。 那么像 Sam Altman 吧 ， 应该是在 3.2、3.0、3.5 的时候 ， 当时出来以后也有接受采访 ， 别人说你这个东西有什么用 ？ 嗯 ，他当时回答也是很直接了 ，但他觉得他不也不知道有什么用 ，但他说机器人理解自然语言非常重要 ， 这个事情如果做好了以后肯定有用 。 所以我相信对吧 ， 就是很多的技术 ， 当你没有达到临界点 ， 没有做到一定水平的时候 ， 你它可能什么用都没有 。 嗯 ， 当它做到 4.0 的时候 ， 你都不用去想 ， 别人就会马上就会有几百万个 。 **Host** [2:02:17] 对 ， 用处就涌现了 。 **马毅** [2:02:18] 对了 ， 这些事情肯定会有用 ，但是而且它会很有很大的价值 ， 甚至是商业价值 。 但是你在实现之前 ， 尤其在阶段进过程当中， 很可能它还没有完成达到临界点之前 ， 或者性能还没性价比还没达到一定程度 ， 可能真的什么都没有 。 嗯 ， 包括现在大模型也是 ， 对不对 ？ 现在大家在烧钱也可能 ，但也相信包括现在机器人也是 ， 你说现在机器人这里有什么用呢 ？ 好像也想不出来 ， 对不对 ？ 但是大家希望哎 ， 人性这个机器人真做好了 ， 手做的足够灵巧了 ， 应该还是应该会有用的 。 嗯 ， 所以这也是一种信念吧 。 我相信这也是不管是做学问也好 ， 还是做做产业也好 ， 如果大家都看到已经看到能挣钱的 ， 对不对 ？ 才去做 ， 都已经看到具体的商业 ， 这这不应该是个科技公司 。 **Host** [2:03:02] 对 ，但它也可以是一个 。 **马毅** [2:03:03] 这就是一个纯商业的 。 **Host** [2:03:04] 对 ， 它是个商业公司 。 **马毅** [2:03:06] 对 ， 这是纯纯商业公司 ， 这不是一个科技公司该做的事情的 ， 或者是至少不是一个一个 mission driven 或者一个这样公司来做 。 **Host** [2:03:13] 嗯 ， 我觉得投资人可能有一个 concern， 就是因为您要忙的事特别多 ，因为还有学校的很多事啊 。 **马毅** [2:03:19] 对啊 ，是啊 ，但是很多事情也是比较一致的 ，因为我们在不管在学校做的这些科研啊 ， 这个包括这个 ， 实际上都是我们不断的加深对智能的技术 ， 还有智智能的方法的逐渐深入的认识 ， 这个过程中肯定要要做到很好的平衡和协调 。 另外呢 ， 还好我们还是有不错的团队 ， 我们港大的其他几位 ， 这个有两位教授啊 ，他们的这个这个这个也是非常的这个在一线啊 ， 专门这个做这方面的技术的 。 嗯啊 ，而且大家也看到了 ， 对吧 ？ 现在实际上真正的人工智能的前沿性的研发开发和研究是分不开的 。 对 ，不管是 OpenAI 也好啊 ， 包括后来包括中国的 DeepSeek 也好 ， 包括中国的微软团队也好 ， 基本上这些 ， 包括 Google， 实际上他的很多的团队核心构架 ，他都是在现在在读的学生啊 ， 老师们参与啊 ， 这个实习都是一半 ， 这些团队一半都是在在读的学生 ， 或者刚刚毕业的博士生 。 **Host** [2:04:14] 其实我看 DeepSeek 和你们团队也合作了 ， 去年底的时候你们也有发一个论文啊 。 **马毅** [2:04:18] 对 ， 反正有些合作啊 ， 对啊 ， 我们还跟他们抢个人呢 ，但我们抢不过 ， 对啊 。 **Host** [2:04:22] 抢不过 ，是因为他 。 **马毅** [2:04:24] 对啊 ，他他钱太多 ， 对不对 ？ 所以大家都在做 ， 可是他们的重点不一样 ，他们可能是想把现有的技术先实现的非常高效啊 ， 我们不太一样 ， 我们不太想去纵身至地物啊 。 **Host** [2:04:35] 其实我觉得 DeepSeek 它特别火这件事情 ， 就至少在创投圈啊 ， 我觉得它带来一个呃 ， 可以说是好事吧 ， 就是大家会认为现阶段最重要的还是技术能力的提升 。 因为 23 年那个大模型的创业热潮开始之后， 其实有一段时间大家讲的很多的是叫双轮驱动 ， 就是模型和应用要一起做 ，因为你只靠技术好像很难单独的成为一个商业上的壁垒 。 然后 DeepSeek 这个事之后， 我觉得是有很多人确实愿意相信说技术有一个进展之后， 有很多就像你刚刚说的很多事 ， 它自然是会有用的 。 但是虽然这个在商业逻辑上不一定是持续成立 。 **马毅** [2:05:10] 我倒不觉得最终会怎么样 ， 我也不清楚 ，但是它已经现在 AI 的这个领域的 ， 尤其在哪怕是在学界还产业界 ， 已经颠覆了很多以前的范式 ， 你发现没有 ， 对不对 ？ 学界该怎么做研究都已经有点乱了 ， 然后这产业界这些公司最终这些公司是否成功我们也不好说 ，但至少它在现在已经很成功的融资 ， 对吧 ？ 不管是文本图像的这种生成公司都是非常小 ， 非常早 ， 非常年轻 。 嗯 ， 它已经没有什么资产 ， 甚至连专利都没有 ， 甚至全部都开源的都有 ， 对吧 ？ 但它的估值像 Hugging Face 估值得好几十亿美金 ， 对不对 ？ 甚至它都不产生任何新的东西 ， 它就是这帮这个领域来组织这些开源的资源 ， 就已经价值很大了 。 所以大家不知道 ， 就是这些估值怎么来 ， 大家也不知道 。 很多东西不是直接马上就已经产生 ，有很明确的商业模式 ， 就是比如包括现在机器人的这种东西 ， 对吧 ？ 那那商业模式在哪里呢 ？ 啊 ， 那么真的是用在哪里呢 ？ 现在都很不清楚 ，但是大家有一个技术信仰 ， 它的创新已经在颠覆这个传统的这个投资 ， 要有非常明确的产品 ，有非常明确的商业模式 ， 要非常明确的这个 ， 甚至盈利造血的这样的东西 ， 甚至市面上比较所谓比较成功的公司 ， 包括 OpenAI 在一起 ， 对不对 ？ 它是非常不清楚的 。 嗯 ， 机器人公司也好 ， 人工智能公司也好 ， 包括这个这个大模型公司也好 ， 几乎是不清楚的 。 嗯 ， 虽然不管什么大家大家吹牛的商业计划书是怎么回事 ，但是在心里的心知肚明 ， 它的很多东西都是还处在技术不断革新打造的这个阶段 。 嗯 ， 当然这个过程中大家也在积极的探索哪些东西能落地 ， 哪些东西还不能落地 ，也有很多探索 ， 包括现在很多 agent， 对吧 ？ 早一步是先烈 ， 晚一步是先驱 ， 对不对 ？ 有时候就是很多的不断的尝试 ， 根据技术的成熟度 ，也会那些 agent 实际上也不是现在这些 manual 也在 manual 烧的很 ，manual 世界炒的也很热 ，但是也很难说像类似的这个这些 agent 很早都有了 ， 对吧 ？ 很多东西都有了 ， 对不对 ？ 那么只是说大家什么时候它真的成熟能够产生价值啊 ， 这个大家去判断啊 ， 这个可能可能都还不一定是我们很擅长的 。 嗯 ，但是呢 ， 我觉得还是要有一种技术信仰吧 ， 看到一个好的有有有机会创造出这种现象型的技术产业的这种这种机会 ， 我们还是要去努力去抓住的 。 嗯 ，不然我们都不去抓 ， 或者不去做 ， 那谁去做呢 ？ 嗯 ，是像这样的机会 ， 我个人觉得反正为什么我们愿意出来 ， 我们几个老师也觉得 ， 实际上说真的 ， 你用去实现现有的技术去做点事情 ， 我们不是我们的诉求 ， 大家也是觉得这也是 once in a lifetime， 我们从学术和科研上看到了这样的可能性 ， 就是可能下一代更完整完善的智能系统该去该怎 么去实现 ， 该具有什么样的特征 ，而不是现有的系统和现有的这种方法的这种 approach，不管是先烈也好 ， 先驱也好 ， 我们肯定要去尽力去推动 。 **Host** [2:07:53] 对 ，因为商业组织或者说公司的这个形式 ，有可能能加速这个过程 。 **马毅** [2:07:57] 嗯 ，是的 ， 另外呢 ， 一个是加速这个过程 ， 另外呢 ， 它确实是很多事情可以对对学学校能做的事情很互补 。 嗯 ， 包括我们很多东西 ， 这个你说学校要做一件事情 ， 即使你有个很好的想法 ，但是你好要申请经费 ， 写个工案还未必能拿到这个时机 。 嗯 ， 商业的动作很快 ， 另外还有你还要培养学生 ， 学生不 ready 怎么办 ？ 好不容易培养好了又毕业了 ，而且现在的很多东西需要持续性啊 ， 公司那一部分它能保证一定技术上在一定的 push 一些东西的一些持续性 。 **Host** [2:08:25] 团队也要持续一些 ， 对吧 ？ **马毅** [2:08:27] 对 ， 对 ， 像从科研的资源来说 ，在港大我们实际上是非常丰富的 ， 从研究的角度来讲 ， 我们并不是需要 ， 我们是需要需要去做研究的经费 。 嗯 ，不是这个 ， 那而是而是确实是觉得这个产业这边啊 ， 你有更多的专利 ， 更多的数据 ， 更多的规模化 ， 或者能培养啊比较对这种技术熟悉的工程团队啊 ， 这个让这些技术达到的越来越越来越成熟 。 你看很多的科研做的突破或者是呃进步都在点上， 我们在每一点上哎 ， 视觉做的更好 ， 某一个做的更好 ，但是现在的系统 ， 这个智能系统是个集成的系统 ， 它要求多种功能在一起 ， 又能识别图 ， 又能是感知 ， 还要认知决策 ， 然后执行 。 公司是比较适合做这样的事情的 ， 你不可能让学生一个什么时候什么都去做 。 嗯 ， 所以我们也在这个过程中也是个动态探索的过程啊 ，也不是每个人都能认可这个 。 嗯 ， 所以这个都是一个动态的这个啊探索的工程吧 。 **Host** [2:09:22] 对 ，因为你们现在在的这个方向 ， 就是你们想探索下一代的智能架构 ， 我觉得它是呃比较小众 ，也需要一些理解的 。 那你们在招人的时候 ， 你想去吸引一些比较 top 的 AI 人才的时候 ， 你遇到哪些反馈 ？ **马毅** [2:09:33] 还是有些 challenge， 倒是因为一方面就像你讲的 ， 对吧 ？ 你你要对 ，因为现在有些已有的一些技术路线看着比较热 。 嗯 ，而且有很多的资源 ， 然后公司给的工资也很吓人。 对对对 ，是啊 ，但还是我们还是有信心的 ，因为我们本身也有比较好的人才储备 ， 尤其是在我们的大学 ， 对吧 ？ 我们的学生都还有 ，而且这些学生本身就是呃大家知道 ， 就尤其在前沿的东西 ， 反而是掌握在年轻学生手上 。 嗯 ，而不是引擎所谓的有多少年经验的工作经验 ，但我们也需要一些 ， 对吧 ？ 不同的这个人才 ， 所以我们也在看 ，不断的这个努力的去打造我们的团队 。 **Host** [2:10:07] 现在研究特别前沿的方向的博士生 ， 还会像您当时毕业的时候 ，其实找不到研究方向的工作的情况吗 ？ **马毅** [2:10:14] 现在好一点 ， 现在这个人工智能 ， 我们那个时候是真找不到 ， 这个方向是比较困难的 。 你或者你做比较冷门的东西是是比较困难的 ，是要需要一些勇气的 。 但现在呢 ， 这个当然这个领域已经比较那个成熟了啊 ， 所以这个相对来也好一些 ， 甚至有点过热 。 但是我也是觉得 ， 就是为什么要做这个这这些产业公司呢 ，也是希望把一些 talent 能够逐渐的聚在一起吧 ， 那而不是都是毕业以后大家学生们都去做打工 ， 去去做一些同质化的东西 。 因为我也知道在公司待过 ， 对吧 ？ 这些学生 individual 到一些 ， 尤其年轻人到这公司 ，他很难很难有自己的独立的事情能做 。 **Host** [2:10:49] 你应该有不少学生是去了这种大公司的 。 **马毅** [2:10:52] 是啊 ， 我在那个对 ， 我在 Google 都有四个四个学生 。 嗯 ， 苹果还有一个 ， 微软有好几个 ， 对 ， 包括中国一些大公司也有的 。 嗯 ， 包括还有自己创业的 。 对 。 **Host** [2:11:01] 嗯啊 ， 对 ， 像那个明可瑞 ，他就自己创业嘛 ， 所以确实有一些去大公司的学生 ，他会反馈说其实去了大公司之后， 你你的这个空间探索空间就是比较受限的 。 **马毅** [2:11:11] 对 ，是肯定的 。 对 ， 你想做的事情的独立性 ， 或者是至少是想做一些不一样的东西很难 。 嗯 ， 对 ， 尤其是年轻人， 你基本上没有很少有这种自由度 。 嗯 ，但是这做在这初创公司也确实有它的有它的风险 ， 就是要看这件事情要大家如何去认可这个事情 。 ### AGI与焦虑 **Host** [2:11:29] 嗯 ，以及看你想要的是什么吧 。 反正我之前跟一些谷歌的就是做 ， 还是比较核心的做他们 AI 的一些人聊 ，他们讲的有一个想法 ，有一个诉求 ，是他们想成为第一批看到 AGI 到来的人。 **马毅** [2:11:42] 但是先把 AGI 先定义清楚 。 嗯 ， 什么是 AGI， 对吧 ？ 我在 Twitter 上还有杨乐坤 ， 我们都还有包括李飞飞在问到底什么是 AGI， 对不对 ？ 但是连个科学的定义都没有啊 ， 所以大家不要去谈这种虚无的东西啊 ， 这个尤其是造造一些语用语这个术语啊 ， 造这些概念 。 嗯 ， 所以我们现在做的很多人工智能的过去就是你把这些科学的问题 ， 智能的不同能力定义清楚 ， 界定清楚 ，而不是笼统的去谈一件事情 。 自然界的智能都还分好多个阶段 ，而且它后面的机制都相似 ， 它又不同 ， 对不对 ？ 他要把这些问题搞清楚 ，而不是笼统的去谈 。 **Host** [2:12:20] 其实您自己不怎么提 AGI 这个概念 ， 对不对 ？ 你觉得还是先搞清楚 ， 对 ， 还是智能的那个机制那些阶段啊 。 **马毅** [2:12:26] 对 ， 我觉得智能的机制搞清楚了 ， 就自然就是通用 ， 没有什么通用不通用的 ， 你就是只有对和不对 ， 完整不完整的概念啊 。 嗯 ， 这个包括这个早期的这些呃 ， 我相信这些维纳提出来的这个框架 ， 对吧 ？ 他当时就已经说出来了 ， 就是就是你看看那个 Cybernetics 那个文章的那个书的书标题 ， 就是你这个 on communication control in animals and machine。 就你把这些机制搞清楚 ， 你不管是你只要在通过机器实现以后， 动和和机器是分不开的 ， 你这个合并去谈它是通用不通用的 。 你关心的是应该把机智能后面的原理机制搞清搞明白 ， 这才是关键 。 **Host** [2:13:06] 然后最后一个问题是我想问您 ， 当您身边的一些非 AI 研究者的人 ，他们因为 AI 感到焦虑或者特别兴奋或者困惑时， 你会和他们说什么呀 ？ **马毅** [2:13:16] 很简单 ， 焦虑就是来自于不懂 ， 兴奋你要至少是知道自己为什么兴奋 。 我现在这样很很奇怪 ， 包括我们学术界的人吧 ， 经常遇到一些同事啊 ， 都是我想了解智能的本质 ， 我想了解我想理解的人工智能 ， 我想理解这个深度学习 。 好的好的 ， 就问你 ， 你去认真去看过几篇文章 ， 认真去坐下来好好的读过一些东西 ， 把这些梳理出来没有 ？ 曾经在自媒体上刷 ， 每天就是推这个推来推去的 ， 对不对 ？ 都是一些肤浅的东西 ， 当然吃瓜群众无所谓了 ，但如果你是这个领域的人， 有几个认认真真的去把这些事情梳理清楚 ， 比较客观的 。 所以有时候我比较喜欢写书 ， 对不对 ？ 就是你教这个课 ， 我经常在讲 ， 对不对 ？ 你你你只有自己去把梳理出来以后， 你就会发现哪些是有 gap， 哪些是有你不明白的地方 。 你不去做 ， 你连历史都没有搞清楚 ， 就稀里糊涂的就觉得就就开始焦虑了 。 **Host** [2:14:06] 所以总结一下就是少看点自媒体 ， 然后多去看一些系统性的东西 。 **马毅** [2:14:10] 你要明白以后你不会焦虑了 。 所以我们为什么在做 AI literacy，也是给大家提供 ， 让学生知道有这些钱 ， 你应该做出哪些努力之后再去形成你的判断 ， 形成你的结论 。 这个 critical thinking 的过程你走过没有 ？ 你的结论可能不对 ，但你只要用这个方法 ，不断的用这种方法去理解形成你的概念 ， 那么你的焦虑会少很多 。 嗯 ， 你错误判断的概率会大大降低 。 嗯 ， 就这么简单 。 所以你看正因为很多人也说这个啊 ， 黑盒子 ， 对吧 ？ 就不愿意搞明白 。 所以你看任何东西一个黑盒子 ， 大家就会利用 ， 正因为大家会焦虑 ，他不懂嘛 ，他就会产生焦虑或者甚至恐惧 。 所以这些所谓的权威说什么 ，他就是认为是什么 ， 说是原子弹 ， 说是病毒 ，他就信了 。他也不知道他为什么 ， 为什么是原子弹 ， 为什么是病毒 。他不是自己建立的 ，是别人灌输给他的 ， 对不对 ？ 嗯 ， 所以那么很多人就会利用这种恐惧 ， 焦虑 ， 迷信也是这么产生的 ， 权利也是这么产生的 。 **Host** [2:15:10] 本期的连点呈现分享三个和之前节目的关联 。 一是这期开头不久 ， 我们在聊智能的诞生时， 马老师就提到他很喜欢的一句引语 ：" 就像熵增是宇宙的基本法则 ， 生命的基本法则是不断变得更结构化和对抗熵增 。" 这和第 101 期中王小川提到他为什么在 2000 年做基因测序时， 开始对生命和生物科学非常感兴趣 ，是同一个想法 。 当时王小川说 ， 我们从父母的 DNA 结合的受精卵变成一个人， 还长得很像爸妈 ， 这在数学上是一件非常不可思议的事 。 物理世界很精确 ，但走向了熵增 ； 生命看起来不精确 ，但走向了熵减 。 不过王小川认为 ， 宇宙是不是一直在熵增是一个未知数 ，因为我们尚不清楚这是否是一个封闭系统 。 总之 ， 这是对智能的一个很有趣的观察和定义 。 第二个联想是在本期和第 103 期 《 用注意力机制串起大模型优化史 》 中， 我们都讨论了生物的智能机制是否是智能机制的最优解 。 这确实是一个上代发现的问题 ，但有共识的一点是 ， 生物确实是用了一种比目前的机器智能高效的多的方式实现了智能 。 如果我们把智能定义为能够学习 、 能够发现新的知识和规律 ， 就像这期中马老师说的 ： "An open looped system is for a closed world, no matter how big it is." 一个开环的系统能应对封闭世界 ，不管它多大 ， 就像现在的大模型 。 "A closed looped system is for an open world, no matter how small it is." 一个闭环的系统才能应对开放世界 ，不管它多小 ， 哪怕小如一只蚂蚁 。 第三个联想是上一期中我们与戴宇森聊 Agent，他在最后分享的两本书都与智能的历史有关 。 一本是 《A Brief History of Intelligence》（ 智能简史 ， 这个还没有中文版 ）， 另一本是 《 第一只眼 》 讲寒武纪物种大爆发中， 感光细胞和后来眼睛的诞生如何促进了智能的发展 。 这是在 5 亿年前 ，而我们今天在讨论智能在地球的起源时 ，也提到了一个关键的转折点 ，是在 5.5 亿年前神经系统的诞生 ， 又过了 5000 万年开始了寒武纪大爆发 。 这一次我们开头和 Jay 的 BGM 用了音乐杀手里的 《Tears in Rain》。 如果说智能是在学习可学习的规律 ， 那么根据我们现在对宇宙的观测 ， 随着熵增 ， 世界终有一天会变得无规律可学 。 就像音乐杀手里的那句台词 ： "All those moments will be lost in time, like tears in rain." 智能可能只是宇宙中的一个过程 ，但它是一个无比神奇 、 令人着迷的过程 。 本期节目就到这里 ， 欢迎收听 。 如果你对今天聊的话题有观察 、 好奇或疑问 ， 欢迎在评论区分享想法 ， 这也会成为我们节目的一部分 ， 让整个讨论更完整 。 你也可以把我们的节目分享给对这个话题感兴趣的朋友 ， 欢迎推荐更多你想听的主题和嘉宾 。 你可以从小宇宙 、 苹果 Podcast 等渠道关注晚点聊 LateTalk，也欢迎关注我们的公众号晚点 LatePost。 下期再见 。 --- 本节目库由 PodHood（https://podhood.com）提供支持——播客网站平台。