Grok

179: 蒸馏风暴：一场无人公开谈论的技术竞赛

2026年8月16日 · 49:33

《晚点聊》主播高洪浩与《晚点 LatePost》科技报道负责人程曼祺在本期中拆解AI模型蒸馏：它并非简单抄答案，而是有门槛的复杂系统工程。围绕字节跳动，节目披露张一鸣在内部会上反对蒸馏，理由是只能逼近难超越，且会让组织依赖捷径、丧失长期探索动力；程曼祺也分析Seed 2.1可能曾用蒸馏，字节在讨论后仍决定不走这条路。节目梳理了蒸馏出圈的关键节点——OpenAI o1开启推理模型与DeepSeek-R1发布推动规模扩大，并详解大规模蒸馏的账号与数据管线know-how、隐藏行为的难度，以及学生模型理论上可超越教师但代价是组织激励偏向确定性路径。此外，节目提及Anthropic曾点名DeepSeek、Kimi、MiniMax和阿里千问疑似蒸馏，并讨论蒸馏对商业模式的冲击：更便宜的智能让许多任务‘够用’，V4和Grok这类高性价比模型正在‘斩杀’高价低能的模型。

108: 与马毅聊智能史:“DNA是最早的大模型”，智能的本质是减熵

2025年3月17日 · 2:18:18

香港大学计算与数据科学学院院长马毅在《晚点聊》中提出，智能是生命对抗熵增的机制，DNA是最早的大模型，35亿年历史中它从DNA进化、神经系统个体记忆、语言文化演进到数学科学，因此机器智能的起点应回溯至1940年代维纳的控制论和香农的信息论，而非1956年达特茅斯会议。他认为知识本身不是智能，智能是获取和更新知识的能力，当前大模型仍停留在类似DNA的强化学习阶段，缺乏闭环反馈和自主纠错，OpenAI o1和DeepSeek-R1的推理更像刷题式的记忆模仿，而非真正的逻辑推理，甚至不如猫狗的适应能力。他预言开源模型终将超越闭源，DeepSeek式突破只是where and when的问题，不是if or not的问题。谈到技术品味，马毅强调它来自探索未知的价值观和严谨科学训练，并透露自己引用最多的成果一度没有任何会议接收，博士毕业时也找不到对口教职。他正在推动港大面向所有本科生的AI通识教育（以一门英语课为代价），并通过忆生科技研发白盒大模型和闭环纠错机制，认为人脑是并行结构，闭环系统才能应对开放世界，而端到端VLA未必是具身智能的正确解法。智能在熵增宇宙中只是短暂过程，但对抗熵增本身就构成生命的意义。