IBM

144: “大而强”到“小而强”|与刘知远、肖朝军聊密度法则、RL 的 Scaling Law 和智能的分布式未来

2025年12月11日 · 1:41:54

本期嘉宾是清华大学副教授、面壁智能首席科学家刘知远和清华大学博士后、面壁 MiniCPM 文本模型负责人肖朝军，他们在《自然·机器学习》子刊发表封面文章提出大模型“密度法则”：能力密度每 3.5 个月翻一番，用更少算力和数据获得同等甚至更多智能。节目先谈 Gemini 3、Nano Banana 等行业动向，区分“能力更强”和“能效更高”两条主线，并复盘面壁 2023 年下半年放弃花几千万训 140B 模型追 GPT-4、转向端侧智能的商业判断。提升密度被拆为架构（MoE 与稀疏注意力）、数据治理（Ultra-FinWeb 用不到十分之一数据达到更好效果）、算法（强化学习还没有自己的 Scaling Law，有继续扩大规模或寻找新学习方式两条路）和软硬协同四层。他们还预测 2027 年端侧模型能支持大规模强化学习，2030 年手机可跑 60B 参数、8B 激活的模型，能力相当于 GPT-4 到 GPT-5；未来智能是分布式的，每个人可拥有随身“NAS”终端。肖朝军介绍了面壁开源的 InfLLM-V2，将稀疏注意力做到预训练阶段，128K 上下文只需关注 4-6K token，并认为长文本应更多关注长输出而非长输入。最后讨论 AGI 下一步：从自主学到 AI 协作网络再到真正创新，刘知远认为“用 AI 制造 AI”是智能时代本质，他不担心生产力过剩，而担心人类自我束缚。

128: 小众AI场景拿到10亿级收入：测测任永亮首次讲述14年创业史

2025年7月30日 · 1:17:27

本期《晚点聊》对话测测创始人兼CEO任永亮，讲述他从北大医学部预防医学专业转做程序员、因个人情感问题在2011年创立测测的14年创业历程，并首次详细拆解测测从工具型社区、双边服务平台到AI对话机器人的四个发展阶段。任永亮透露，测测现有5000万注册用户，80%为女性、80%来自一二线城市，公司长期自给自足，他拒绝了外界的高价收购要约，为的是用现金流支持现在投入巨大的陪伴机器人业务；这款机器人预计明年面世，成本不低，核心是主动交互和情感陪伴，对标日本LOVOT，试图通过产品形态激发催产素而非多巴胺，打破短视频式的沉迷循环。他还分享了对泛心理赛道的独特理解：MBTI是自我认知工具，星座、生辰本质是太阳历周期假说，人是一个对初值敏感的混沌系统，这些体系只解释了一小部分规律，之所以人们总想'测测'自己，源于智人寻找确定性的本能。对AI趋势，任永亮明确表示悲观，认为大模型不会像前几次工业革命那样创造新的分工和分配体系，反而会替代工具化岗位，让多数人失去价值感，因此测测想成为'精神避难所'。他同时透露，自己因错过GPT-2而极其后悔，如今把机器人项目视为'有科学家执念的不理性选择'，并借用李想的经历表达80后创业者在大风口到来时想做更大事情的心态。节目最后，他留下一个开放式问题：这个世界到底是否可被计算，能否在爱因斯坦的质能方程中加入信息维度——这也是他高中以来一直思考的困惑。

49: 3nm 是谎言？光刻工厂真能造芯片？与汪波聊芯片行业那些流传的误解

2023年10月25日 · 1:02:50

本期《晚点聊》邀请《芯片简史》作者、北大深研院教师汪波，澄清芯片行业流传的误读：制程数字只是命名标签，3nm芯片里没有任何真实3nm尺寸；7nm与3nm相隔两代，因EUV光刻机这道坎，实际差距可能超过四年，苹果3nm芯片性能仅提升约15%，手机体验差距更小。汪波指出摩尔定律并非物理定律，而是从成本出发、靠“我要赚大钱”欲望维系的行业号召，1975年由每年翻倍修正为两年，如今已放缓到三年甚至更久；冯·诺依曼架构下的内存墙，也让CPU的峰值性能常因数据搬运而空耗。回顾历史，英特尔原本主营DRAM，1971年发明CPU时只有2250个晶体管，曾差点被格鲁夫放弃，后来在日韩DRAM冲击下转为以CPU为主业；GPU1999年诞生，凭并行计算在AI时代爆发，但不会取代CPU，谷歌TPU和各类NPU等更专用芯片也难以撼动英伟达CUDA生态。汪波以美国空军1965年买下全美20%芯片、日本“超大规模集成电路”计划为例，说明政府扶持与市场自由都不可或缺，而中国半导体需在设备、EDA、人才等全链条推进。他总结，芯片比原子弹更复杂，因为它还要经受市场考验，应在敬畏技术规律的同时保持耐心，把“弯道超车”的期待转化为具体发明。