179: 蒸馏风暴:一场无人公开谈论的技术竞赛
2026年8月16日 · 49:33
《晚点聊》主播高洪浩与《晚点 LatePost》科技报道负责人程曼祺在本期中拆解AI模型蒸馏:它并非简单抄答案,而是有门槛的复杂系统工程。围绕字节跳动,节目披露张一鸣在内部会上反对蒸馏,理由是只能逼近难超越,且会让组织依赖捷径、丧失长期探索动力;程曼祺也分析Seed 2.1可能曾用蒸馏,字节在讨论后仍决定不走这条路。节目梳理了蒸馏出圈的关键节点——OpenAI o1开启推理模型与DeepSeek-R1发布推动规模扩大,并详解大规模蒸馏的账号与数据管线know-how、隐藏行为的难度,以及学生模型理论上可超越教师但代价是组织激励偏向确定性路径。此外,节目提及Anthropic曾点名DeepSeek、Kimi、MiniMax和阿里千问疑似蒸馏,并讨论蒸馏对商业模式的冲击:更便宜的智能让许多任务‘够用’,V4和Grok这类高性价比模型正在‘斩杀’高价低能的模型。