# 149: 具身模型哪家强？|与范浩强、高阳聊具身模型的测评、RoboChallenge，26 年具身展望 晚点聊 LateTalk · 2026-01-25 本期节目邀请原力灵机联创范浩强与千寻智能联创高阳，核心是讨论具身模型“哪家强”，并介绍由原力灵机与 Hugging Face 联合发起的 RoboChallenge 真机测评平台——用 Table 30 的 30 个桌面任务和每任务约 1000 条示例数据，让团队微调后远程提交，以平均成功率排名。最新结果显示，π0 在 Table 30 上平均成功率仅 20% 多，π0.5 翻倍至约 42%，千寻的 Spirit v1.5 更以超过 π0.5 的成绩登顶；平台上线两个多月已收到超 1 万次测试提交，覆盖国内外多家机构。两人对比了 Physical Intelligence 发起的 RoboArena（分布式 zero-shot 测评）与 RoboChallenge 的集中式 few-shot 思路，指出具身模型难以像 CV 一样统一测试，因为物理环境、物体、光照都有差异；而 Table 30 中的碎纸、插花、扫二维码等任务各考察不同能力，比如扫码任务暴露了单帧 VLA 模型没有记忆、分不清是否已扫码的局限。展望 2026 年，他们认为学习原理已收敛，Scaling Data 是行业主题；高阳团队 bet 仿真之外的人类视频、可穿戴、遥操作三类数据，认为仿真多样性难提升，原力灵机则以真机采集为主。关于落地，他们反问“机器人时代的 Coding 是什么”，并预计破圈时刻可能在三四年后出现。范浩强期待中国出现具身的 DeepSeek 时刻，高阳希望基础模型能达到 GPT-3 水平；节目还揭示了行业心照不宣的 demo 工程（cherry pick、遥操作、AIGC 等）以及测评可能被 hack 的方式与反制手段。 ## Questions this episode answers ### RoboChallenge 是什么？为什么发起这个具身测评平台？ 范浩强说，RoboChallenge 是原力灵机与 Hugging Face 发起的社区化大规模真机评测平台，要求任务和协议标准化，想用几百次执行的平均成功率衡量模型。高阳补充，学术界早有类似设想，但缺乏资源让评测连续运行并广泛接受。 [7:29](https://latetalk.podhood.com/36ca28e6-932f-4b07-8968-52c8e1b65cb2?t=449000) ### π0 和 π0.5 在 RoboChallenge 的 Table 30 上成功率分别是多少？ 范浩强说，测 π0 时只测出来了百分之20多，基本看四次只能成功一次；π0.5 权重公开后第一时间去测，成绩是四十二左右，接近翻倍。他说现场看机器人运行很震撼，说明具身模型确实在快速进步。 [9:51](https://latetalk.podhood.com/36ca28e6-932f-4b07-8968-52c8e1b65cb2?t=591000) ### RoboChallenge 和 RoboArena 的测评方式有什么不同？ 高阳说，RoboArena 是 Physical Intelligence 发起的分布式 zero-shot 测评，每次在同一实验室的同一台机器人上跑两个算法比较。范浩强说，RoboChallenge 是集中式 few-shot 测评，30 个任务各有约1,000条示教数据，提交者自己微调后再测。 [22:05](https://latetalk.podhood.com/36ca28e6-932f-4b07-8968-52c8e1b65cb2?t=1325000) ### 2026 年两位嘉宾最想验证什么？ 范浩强说，他特别想知道具身的 DeepSeek moment 能不能到，想见证中国追上美国、国产模型超越。高阳更期待具身基础模型能到 GPT-3 甚至 GPT-3.5，并表示自己看事情越来越清楚，信心越来越高。 [1:14:53](https://latetalk.podhood.com/36ca28e6-932f-4b07-8968-52c8e1b65cb2?t=4493000) ## Key moments - **[0:00] 开场** - [0:11] 范浩强：“测π0的时候，我们只测出来了百分之20多…你看4次它只能成功1次，是30个任务的平均数。” - **[6:53] 测评缘起** - [10:27] π0.5权重公开后，范浩强第一时间拿去RoboChallenge测试，现场看机器人运行觉得它比π0明显更灵光，震撼到给行业很大信心。 - [12:17] π0.5在Table 30平均成功率约42%，比π0的约20%翻倍，范浩强称多个简单任务微调后能达到100%。 - **[12:40] 过往方法** - [16:02] Q: 为什么不能把所有机器人拉到同一个场地直接比试？高阳：具身模型需要物理环境交互，杯子、摆放、光照不一致会让成功率无法归因。 - [18:23] 范浩强：“Robotics is about noise，你很难去永远控制住一个物理世界里所有的东西。” - [19:22] 范浩强：现在RoboChallenge榜单最高分也还没到60，这个阶段比的不是99和99.5，而是0和非0。 - [20:06] 高阳：仿真器跑benchmark的局限是仿真不够真实，程序性轨迹和人类遥操轨迹差异大，机器人会议通常不接受只有仿真结果的论文。 - **[21:47] RoboArena** - [22:11] 高阳介绍Physical Intelligence发起的RoboArena：分布式号召全球实验室，在同一机器人上对比两个算法的零样本泛化表现，而非微调模型。 - [24:25] 范浩强介绍RoboChallenge：30个任务每个提供约1000条示例数据，参与者用基础模型微调后提交机器人执行，这是few-shot评测。 - [26:13] 范浩强对比：RoboArena像LMArena做开放性对比测试，RoboChallenge专注fine-tune，具身智能现在还远没到zero-shot时代。 - [27:22] 高阳：智能发展是指数级的，三年前大语言模型刚出什么也干不了，今天已有模型能刷爆IMO题，具身也会一样。 - **[28:33] 榜单进展** - [28:52] 高阳：千寻智能Spirit v1.5在RoboChallenge最新结果超过Physical Intelligence的π0.5，暂列榜单第一。 - [31:16] 范浩强：RoboChallenge运营一两个月收到1万多次测试提交，最远来自英国伦敦IP，热度远超预期。 - [32:37] 范浩强：RoboChallenge目前只有9台机器、4种机型，提交后常要等一两天反馈，最大压力是测不过来。 - **[33:04] Table30** - [33:56] 范浩强拆解Table 30任务：碎纸要插进缝隙且纸会遮挡手眼，插花涉及物体与物体的交互，每个任务都有不同难点。 - [37:08] 范浩强讲扫二维码任务：扫码前后图像状态完全一样，模型分不清扫没扫，很多模型一伸手就停住不动。 - [37:56] Q: 机器人怎么知道自己扫完二维码没有？高阳：它需要记住自己之前干了什么；范浩强补充现有开源VLA多为单帧输入，没有记忆，约每0.7秒失忆一次。 - [39:44] 高阳：Table 30刚发布时担心没人来玩，现在很多公司已掌握π0那一档技术，提交量说明行业信心增长明显。 - **[40:24] 开源社区** - [41:39] 范浩强：RoboChallenge平台只提供机型控制API，微调由参与者自己做；要上榜自证清白，就得开源权重让别人能复核。 - [43:48] 高阳：RoboChallenge已发展成约10多家公司的社区，有本体厂商捐机器、有伙伴捐benchmark，未来可能增加新任务集。 - **[45:08] 2026展望** - [45:36] 高阳：具身瓶颈主要在数据层；沿大模型三部曲（预训练、SFT、RLHF）这条路，如果数据像文本一样多，做出好模型是大概率事件。 - [48:05] 范浩强：具身学习原理已经收敛，用VLM吸收知识再加大量robot data建立动作与感知映射，Scaling Data是2026年最重要主题。 - **[48:53] 数据路线** - [49:05] 高阳：行业有四类数据——仿真、人类视频、可穿戴、遥操作；千寻押注除仿真外所有真实世界数据源，分别用于预训练和后训练。 - [50:01] 高阳解释不用仿真数据的原因：仿真场景多样性要靠艺术家搭建，提升慢且专业化，不如让普通人采集遥操、可穿戴和视频数据。 - [51:09] 高阳评李飞飞WorldLab的Marble：demo只是静态场景3D巡游，3D/4D高斯技术还无法处理动态场景，暂不能用于具身。 - [53:14] 范浩强：数据路线条条大路通罗马；原力灵机以真机采集为主，也关注Generalist每周1万小时的可穿戴采集，真正决定性的是总知识量。 - [55:00] 范浩强提及OpenAI X embodiment等数据共享联盟已经不少，高阳补充公司层面的大规模数据集共享目前还很少。 - [56:21] 高阳预测：沿当前规模数据路线，Table 30做到90%可能很快；范浩强说做到90%才证明算法不缺major parts。 - **[57:21] 落地应用** - [58:29] 范浩强 vs 高阳：LLM落地是“实际普惠没想象多”还是“正在孕育变化”——高阳认为能力转化需要时间，手机助手点外卖已在路上。 - [59:10] 范浩强：机器人时代里的Coding是什么？除了叠衣服，能像编程推动LLM那样推动具身的杀手级应用还没有答案。 - [1:01:24] 范浩强：创业时给自己设的信号是机器人能把家里被子叠好——有点用、不trivial、老检测分割技术做不了，但至今还没实现。 - [1:03:04] 范浩强：把袜子团起来简单，再翻面抠开才是挑战；叠被子很沉，考验硬件负载和精细度，不只算法问题。 - [1:04:32] 高阳预测：具身智能的破圈时刻约在3到4年后，类比GPT-3.5到GPT-4；范浩强说27年能有奇迹最好，没有也值得长期做。 - [1:05:55] 高阳：具身基础模型现在约等于GPT-2时期；范浩强类比为视觉的CIFAR时期，ImageNet还没出现但已经不远。 - **[1:07:00] 行业认知** - [1:07:28] 范浩强：“搭上LLM快车，最好方法是GPT-2文章发出来之后重仓英伟达。” - [1:08:41] 范浩强谈公众认知两极分化：一些人认为具身公司都是视频剪辑，另一些人认为日本仿生机器人早就能跑能跳。 - [1:09:55] 范浩强：“Demo，demo工程，这肯定是公开的秘密。” - [1:11:00] 范浩强总结四种不实demo手法：Cherry Pick、视频剪辑、遥操作、AIGC；要分辨只能站在实物面前现场看，这是唯一光束。 - [1:12:00] 高阳：学术界用iPad时钟、随机哈希值甚至区块链来防止demo剪辑和Cherry Pick，但仍是没有完全解决的学术课题。 - [1:13:06] 范浩强：RoboChallenge最简单的hack是同一模型同一任务提交100次取最好成绩，平台取最后一次，再用产能和行业自律反制。 - **[1:14:53] 2026悬念** - [1:14:59] 范浩强预测2026年想验证的悬念：具身领域的DeepSeek时刻能否到来，即中国具身模型能否追上并超越美国。 - [1:16:24] 高阳预测2026年最期待：让具身基础模型达到GPT-3甚至GPT-3.5水平，今天自己非常有信心。 - [1:17:47] 曼祺总结：可以从数据、模型、硬件三个维度观察具身进展，行业共识是数据是当前最大议题。 - [1:20:29] 曼祺总结具身团队三类来源：自动驾驶背景、Robotics学术背景、其他AI（如CV）背景，显示这是个跨学科跨领域的创业方向。 ## Speakers - **曼祺** (host) - **范浩强** (guest) - **高阳** (guest) ## Topics 机器人, AI模型团队动态 ## Mentioned Generalist AI (company), Hugging Face (company), Physical Intelligence (company), Sunday Robotics (company), 千寻智能 (company), 原力灵机 (company), 旷视 (company), OpenAI X (product), RoboArena (product), RoboChallenge (product) ## Transcript ### 开场 **范浩强** [0:06] 但是我们测了很多模型 ， 成功率就非常非常低 。 **曼祺** [0:10] 低到多少 ？ **范浩强** [0:11] 比如说像测派零的时候 ， 我们只测出来了百分之我记得 20 多 。 那就是说基本上你看 4 次 ， 它只能成功 1 次 ， 就 30 个任务的平均数 。 那时候我们自己心里其实是很慌的 ， 就是如果把这个成绩最后又公之于众了 ， 那大家是不是说对整个行业都没信心了呢 ？ 对 ， 然后直到派 05 的权重公开了 ， 然后我们第一时间去测 ， 然后测完之后， 哇 ， 非常的震撼 。 **高阳** [0:38] 其实这个问题它的本质的原因是因为具身智能的模型在执行的时候 ， 它需要一个物理的环境跟这个模型进行交互 。 因为这个物理的环境 ， 比如说我家的杯子和你家的杯子就不一样 ， 那么比如我的模型它成功率低 ， 它到底是因为把手不一样 ， 还是因为我的模型真的差 ？ **范浩强** [1:00] 因为现在真的就是 Scaling Data 可能是 2026 年最重要的一个主题 。 **高阳** [1:04] 我们自己的尝试是仿真的数据的这个 diversity， 就它的多样性比较难以提升得比较高 。 **范浩强** [1:15] 那你说现在机器人除了叠衣服之外干什么呢 ？ 就是机器人时代里的那个 Coding 它是什么呢 ？ 我觉得这个可能是一个很核心的问题 。 **曼祺** [1:29] 欢迎收听 《 晚点聊 》。 我是曼祺 。 虚拟空间的大模型有大量 benchmark， 测试非常直观 ，而在如火如荼的具身领域 ， 怎么衡量模型能力本身还是个需要探索的课题 。 这期我们邀请了两位具身智能的从业者 ， 原力灵机联创范浩强和千寻智能联创与首席科学家高阳 ， 一起来聊 " 具身模型哪家强 "，也就是具身模型的测评 。 两位都是清华校友 ， 范浩强从高三就开始在旷视工作 ，有丰富的计算机视觉开发与落地经验 ， 高阳回国前在伯克利 BAIR 攻读博士 ， 和 PI 的联创 Sergey Levine 有诸多学术合作 。 去年 10 月 ， 原力灵机和 Hugging Face 一起发起和上线了 RoboChallenge 开源测试平台 。在前不久释放的最新测评结果中， 千寻的 Spirit v1.5 模型登顶榜单 ， 表现超过了派 0.5。在 RoboChallenge 的测评中， 机器人不再只活在精挑细选的 Demo 视频里 ，而是要在多样化的 Table 30 任务中接受真实世界的 " 毒打 "， 包括碎纸 、 插花 、 扫二维码等等。 我们与小强和高阳一起聊了具身模型测评的难点 ，RoboChallenge、RoboArena 等目前的大规模测评尝试是怎样的思路 ， 行业里心照不宣的 Demo 工程 ，以及 2026 年我们可能从哪些路径逼近具身智能的 GPT-3 时刻 。 小强和高阳说 ， 组织与参与测评的过程 ， 本身增强了他们对具身的信心 ， 从派 0 在 Table 30 任务上只有 20% 的成功率 ， 到派 0.5 的翻倍成功率和一些国产模型的超越 ， 具身仍然非常早期 ，但进步速度也非常惊人。 下面我们正式进入节目吧 。 这次的节目我们请到了具身智能领域的两位一线的从业者 ，Dex Mall 原力灵机的联合创始人范浩强 ， 千寻的联合创始人高阳 。 两位可以和我们的听友和观众简单地打个招呼 ， 然后简单自我介绍一下你们之前在 Robotics 和具身领域的一些经历 。 **范浩强** [3:24] 大家好 ， 我是范浩强 ， 一般都叫我小强 。 原力灵机的话是 2025 年 3 月份刚刚成立的一家具身智能的创业公司 ， 海上了很多之前旷视时候的老同事们 ，以及一些新的加入的伙伴 ， 我们一起做的这么一家企业 。 我们原力灵机的话主要还是专注于具身智能机器人产品及相关的应用 ， 另外我们还会做里面的 AI 相关的这些技术 。 **高阳** [3:52] 大家好 ， 我是高阳 。 我现在是千寻智能的联合创始人， 然后现在也是清华大学交叉信息研究院的助理教授 。 我自己做具身就是已经有好多年头了 ， 最开始是在我在 UC Berkeley 读博的时候 ， 最开始做计算机视觉 ， 然后但做到大概博二的时候就开始跟比如说 Sergey Levine 开始对于机器人这些比较感兴趣 。 所以那个时间点大概是 2016 年左右吧 ， 博士后半段我就做了很多具身机器人视觉的一些融合研究 。 我们当时都讲什么模仿学习 、 强化学习 ，但今天其实把这些技术聚合到一起 ， 就是所谓的具身智能 。 我大概是 2020 年开始在清华开始任教 ， 对 ， 然后这中间其实经历了像 ChatGPT 这个浪潮 ， 然后让我觉得这个其实我们已经掌握了通往 AGI 的一个道路 。 于是我们在 2023 年左右的时候就开始去 ， 就包括我和韩孟涛 ， 包括郑丽音 ， 我们一起联合创始了千寻智能 ， 然后我们的目标其实就是做具身领域的最强的模型 ， 然后以及希望这个模型能够以一个机器人硬件的产品形式能够让它走进大家的生活 。 **曼祺** [5:12] 因为两位都是清华的校友 ， 你们是同一级的吗 ？ 还是 。 **范浩强** [5:15] 我是男性的 ， 我是 04 班的 。 **高阳** [5:17] 对 ， 我是 2013 年上的本科 。 对 ，因为我的过去的人生其实大部分时间其实花在了旷视上， 就是我差不多从 2022 年开始加入旷视 ， 旷视是 2021 年成立的嘛 。 对 ， 所以我的本科生涯其实一直是在做计算机视觉创业的这个过程中度过的 。 **曼祺** [5:36] 我上次跟原力的创始人唐文斌聊 ，他说你高三就去旷视上班了 。 **高阳** [5:42] 是的 ，是因为那 2021 年刚好 。 **曼祺** [5:44] 因为他那会儿保送了嘛 ， 就是那个性校赛你是得了金牌保送之后， 所以高三其实就有挺多时间是在旷视工作的 。 **范浩强** [5:51] 对 ， 那时候文斌刚开始弄嘛 ， 然后那时候计算机视觉还很新 ， 那时候甚至还没有 DeepLearning 这个东西 ， 完了之后最早是拿什么 CIFAR 那些特征 SVM 分类器去搞 。 但是搞的时候我就觉得特别有意思 ， 就是说跟这些真实的这些图片 、 数据去打交道 ， 我觉得这事特别好玩 。 后面 DeepLearning 神经网络这个技术来了之后， 我就非常笃定 ， 就觉得这个技术不只是说发 paper， 一定能实用化 。 那个我觉得是说是可能过去一段时间对我影响最大的这么一个过程 ， 就是最早的时候 ， 比如说做旷视的时候 ， 那个人脸识别可能最早准确率只有百分之八十几 ， 你就识别个五个人可能就肯定会错一次了 。 后面一路做一路做 ， 差不多最后做到了 12 个 9， 就是 99.999999999， 一共 12 个 9 的准确率 。 所以在这个过程中我发现就是说只要这个算法原理是对的 ， 然后投入大量的聪明才智和付出这些心劳汗水 ， 那个技术一定会给回报 ， 就这个点给我冲击特别大 。 ### 测评缘起 **曼祺** [6:53] 对 ， 我觉得正好两位的背景也是 ， 就是有相似的地方 ， 然后也有就不一样 、 有互补的地方 。 然后这次想请两位来聊的话是我觉得大家非常关心的主题 ， 就是具身模型哪家强 。 然后翻译一下就是我们现在到底怎么去测评一个具身的模型 。 背景也是原力灵机这边和 Hugging Face 你们一起发起了一个新的测评的平台 RoboChallenge， 然后其实千寻包括中国还有很多别的公司 ， 还有海外的一些公司模型其实都有参与进来 。 那你们可以讲讲就是这个 RoboChallenge 的背景是什么 ， 比如在这之前大家是怎么来测具身的模型的 ， 然后你们现在新做的这个评测的标准 ， 它不一样的地方是什么 ？ **范浩强** [7:29] 这个我大概讲讲 ， 就是当时搞 RoboChallenge 的背景 ， 就是说 Robotics 其实看这个 research， 它很多时候很像做图形学 ， 就可能比如说每个文章一定要有几个叫做 Demo video， 那可能它做那几个任务看着很酷 ，并且大家一般都是我们叫 cherry pick 出来的 ， 就可能你录了很久 ， 最后有一条好的 ， 那就拿出来去告诉大家至少这事是可做的 。 然后另外的话 ， 比如说做这个 benchmarking， 那可能大家绝大多数还是依赖于就是仿真测试 ，因为那个东西它测起来相对容易些 ， 变现 noise 相对可控 。 那比如一般来说真机的话 ， 甚至可能说最好的 paper 也就放三四个任务 ， 大概秀一下 ，并且的话就是不同 paper 放那三四个任务还不一样 ， 那可能比如都叫 table buzzing，但是说那他测的和另外一个人测的就完全不一样 。 对 ， 就是说我们干 RoboChallenge 这事其实最大的问题在于就是我们自己的研发被困扰了 ，因为大家是当年那个就是一点点去 improve 一个模型走过来的这个人， 现在发现没这么一个帮可做 ， 这个突然感觉这个迭代 、 实验什么的感觉就非常的费劲 。 所以我们当时就问了一个问题 ， 我能不能做 large scale 的 robot 的这个 evaluation， 就是说最终你要想把它这个方差控制住 ， 最终还是得测很多很多次 ， 那不只是说大家测三四五次就去评价这个模型 ，而是说我能不能至少测个几百次的这个执行 ， 然后把这个成功率平均下来 ，也许这个指标是能有一些意义的 。 那一旦想到了这点之后， 很多东西就顺就来了 ， 对吧 ？ 那一旦要想做 large scale， 那这些任务本身的格式和描述都必须得是标准化的 ， 得是 standardized， 然后这个测试这个 protocol 必须得足够的通用 ， 能够兼容这个单 B、 双 B、 不同的这些机型之间的这个区别 ， 然后把所有的这些东西放在一起之后， 那我们就大概有了做这个 RoboChallenge 的这么一个雏形 。 对 ， 然后 RoboChallenge 我们做过程中其实有段时间一直很困惑 ， 就是我们选了 30 个我们觉得对人来讲很 trivial 的任务 ， 就是你肉眼 。 **曼祺** [9:27] Trivial 是琐碎和简单的意思吗 ？ **范浩强** [9:28] 就是简单 ， 就是你人不可能失误的问题 ， 比如都是说把一个东西从这拿起来放到那个地儿 ， 或者说稍微复杂点的可能 ， 比如说拿张餐巾纸擦擦桌子 ， 你让一个人干 ，他绝对能够百分之百一定干好 。 但是我们测了很多这个模型 ， 包括那个开源的派什么的 ， 就当时就这成功率就非常非常低 。 **曼祺** [9:51] 低到多少 ？ **范浩强** [9:51] 比如说像那个测派 0 的时候 ， 我们只测出来了百分之我记得 20 多 ， 那就是说基本上你看四次它只能成功一次 。 **曼祺** [9:59] 你说的是哪个任务 20% 多的成功率 ？ **范浩强** [10:01] 就 30 个任务的平均数 。 那时候我们自己心里其实很慌的 ， 就是如果把这个成绩最后又公之于众了 ， 那大家是不是说对整个行业都没信心了呢 ？ **曼祺** [10:12] 你们当时测派 0 是几月份 ？ **范浩强** [10:15] 我们差不多从七八月份开始想干这事 ， 那时候派 0.5 的全都还没公布 ， 所以那时候我们自己其实心里很紧张的 ， 就是说如果你一个 benchmark 把大家分数都测得很低 ， 它就不是个好 benchmark。 对 ， 然后直到派 0.5 的全都公开了 ， 然后我们第一时间去测 ， 然后测完之后哇 ， 非常的震撼 。 就它那种震撼就不光是说你看那个成功率 ， 你就站在旁边看那个机器运行 ， 你就觉得它比之前的模型都更灵光一点 。 这种感官体验就对我们冲击非常大 ， 我也给我们很大信心 ， 这个行业的确是在很 concrete 的在往前进展的 。 所以我们就想 ， 那我们看见这件事情 ， 我们也想把它分享给大家 ， 对吧 ？ 甚至说我们也很想见证 ， 凭什么第一的模型都得是人家国外发呢 ？ 对吧 ？ 那就是说国内这些模型 ， 大家之前都是在 PR 上说自己是第一 ， 对吧 ？ 那有没有种方法能让 ， 甚至比如说 maybe 其他人也信服的方式 ， 然后我们能够去见证就是说好的这个国产模型诞生 ？ 那在这些想法的叠加之下， 我们最终就说要搞 RoboChallenge，并且要把它做成一个 community based 的这么一个 program， 那就是说不光是说灵机干了多少事 ，其实是要把公司这么都拉在一起 ， 大家一起去把它做到尽可能的客观公正 ，在技术上严谨 。 最后是本质上是希望是说能让就是可能具身圈子的外界也能去承认是说咱们的这个具身 ， 那不光大家发了很多新闻 ，而且它真的是有非常非常 concrete 的技术上的进展的 。 **曼祺** [11:47] 所以从派 0 到派 0.5， 就你们自己测试的这个变化 ， 至少证明在全世界范围里是有人在比较短的时间里把具身的模型的性能提升得很快 。 **范浩强** [11:56] 其实也不短了 ， 这两代模型人家派之间也隔了挺长时间的 。 **高阳** [12:01] 快一年吧 。 **范浩强** [12:01] 但是我们觉得就是说这种对比和冲击 ， 你会觉得哇 ， 这一定是下一代的东西 。 **曼祺** [12:06] 那实际上把这个成功平均成功率 ， 就你们的那 30 个任务从之前派 0 的 20% 提升到了多少 ？ **范浩强** [12:12] 派 0 我记得是四十几是吧 ？ **高阳** [12:14] 四十二左右 。 **曼祺** [12:16] 派 0.5 是四十二左右 。 **范浩强** [12:17] 对 ， 你就翻倍了 。 对 ， 变成它很多任务就是简单 fine-tuning， 它都能做到百分之百 ， 比如最简单那个什么叠瓦那几个任务 ， 它就很放心 ， 就你会觉得它学了可能多少条之后， 它真的就不会错了 。 这个其实就是说我觉得是非常强的一个信号 ， 就是说这个具身模型它 is improving， 它正在逼近那个临界点 ， 虽然可能现在还没有达到 。 ### 过往方法 **曼祺** [12:40] 对 ， 所以总结一下 ，其实你们最开始做这件事情 ， 它有一个思路是想把以前你们在计算机视觉 ， 包括比如说像 NLP， 就是那些更纯虚拟空间里的模型的那种测评的方法 ，也迁移到就是具身里面 ， 对吧 ？ 那正好我想就是请高阳补充一下 ，因为你从 2016 年开始你读博士 ，其实你一直就是在做这个 Robotics 相关的 。 那在此之前 ， 大家行业里是有什么公认的方式来大范围的去评估不同模型的能力吗 ？ **高阳** [13:07] 其实大家意识到这个问题很久了 ，但是就是因为我刚才讲那个原因 ， 就是不同的 ， 就现在以前现在有很多公司嘛 ， 然后大家有更多的资源来做这件事情 ， 比如说原力这边做的 RoboChallenge， 我觉得是一个非常好的尝试 。 但是以前因为没有这些做机器人的公司 ， 所以相当于都是一个一个独立的高效的实验室在尝试去有这些 efforts。 但高效的实验室其实大家也提出过类似的方案 ，也是和原力这边比较像 ， 就是我有一个机器人， 然后我有一个场景 ， 我这个场景就在我的实验室里保证可以复现 ， 然后你可以远程连到我的这个机器人上 。其实这一个想法在学术界很早就已经出现了 ， 就是我知道的最早的是卡内基梅隆大学的这个 Abhinav Gupta，他在我忘了哪年， 反正至少我读博之前 ，他就已 经有过这样的一些尝试 。 对 ， 然后后来又有很多就是类似的尝试 ， 包括 Klea， 然后包括我记得上周卢策乌老师也有一些类似的一些尝试 ，但这些尝试因为是比较小规模在一个实验室里面 ， 然后高校的实验室往往随着一个学生的毕业 ， 这个 setup 就没有人管了 ， 然后并且它测的场景也比较有限 ， 可能它只能测那么一两个 、 两三个任务 ，因为一个实验室的这个 空间也有限 ， 它的机器人也有限 ， 然后也没有那么多人去看着这个机器人去测 ， 然后去比如说帮助这个机器人复位等等 ， 这里面有很多人力的一些需要去做 。 对 ， 所以学术界就这样就是说有这个 idea，但是没有足够的资源能让它成为一个能够连续运行 ， 然后并且被广泛接受的一个事情 。 那以前机器人的模型另一个痛点就是说大多数模型你让它做一件事 ， 它根本做不了 ，因为以前的机器人模型其实并没有 VLA 模型 ， 现在的是说我能做 ，但是可能我的成功率没有百分之百 ，但至少我现在的模型是什么事情 ， 对吧 ？ 理论上来讲我都可以做 ，但以前的模型或者以前的机器人算法 ， 它只能 ， 对吧 ？ 我只能缝一个手卷 ， 或者我只能剪一个东西 ， 你让我去做一个其他任务 ， 它根本做不了 。 **曼祺** [15:31] 就它只能做一个单一的任务 ， 或者少数几个任务 。 **高阳** [15:35] 对 ， 它对任务的这个限制是比较强的 。 那么所以我觉得是因为这两个点 ， 所以我们今天会一个是对于这个 benchmark 的需求也更加强烈 ， 另一个是技术也到来了一个拐点 ， 使得我们真的可以开始做任何任务 。 **曼祺** [15:51] 对 ， 一般普通人来说 ， 可能会觉得你最直接的方式就是把这些机器人都弄到一个地方 ， 然后我们来测 ， 让他们做一些任务 。 为什么直接测试的这种最直观的方式其实是不太行得通的在这个领域 ？ **高阳** [16:02] 其实这个问题它的本质的原因是因为具身智能的模型在执行的时候 ， 它需要一个物理的环境跟这个模型进行交互 。 这个听起来它其实并不是很难 ，但是实际上你在执行的时候 ，因为这个物理的环境 ， 比如说我家的杯子和你家的杯子就不一样 ， 可能我这个把手是 ， 对吧 ？ 就我们现场这几个杯子的把手的都不太一样 。 那么比如我的模型它成功率低 ， 它到底是因为把手不一样 ， 还是因为我的模型真的差 ， 就是因为有很多这种物理的因素导致 ，以及我们比较难以在就是不同的地理的条件下有一模一样的场景 。 那这个一模一样也包括了比如说这个物体一模一样 ， 然后它的摆放位置 ， 然后光照这个等等所有的东西都一模一样 。 所以这个是一个就是困扰机器人非常非常多年的一个评测的一个问题 。 **曼祺** [16:56] 那这个岂不是正说明了就你这模型的泛化很差吗 ？ 难道要一模一样才能测吗 ？ **高阳** [17:01] 对 ， 就是我觉得这个是这样的 ， 就以前的模型泛化性很差 ， 所以你得一模一样才能去比 ，但现在的模型它已经变得越来越好了 ， 它可能不太需要一模一样才能让它成功 。 但如果比如说我们做实验的时候 ， 我们还是希望这个评测是一模一样的 ，因为很多时候比如说一个创新它可能带来的提升也就是百分之零点几 ， 甚至就如果一个创新很大的话 ， 它可能提升也就百分之五 ，但如果能评测不够准确的话 ， 可能你就看不出来这东西是一个创新 。 **曼祺** [17:36] 可能你就不能正确的衡量这个东西到底是进步了还是退步了 。 **高阳** [17:39] 对 ， 然后计算机视觉的这个时代 ，因为大家就只需要一个数据集嘛 ， 所以你可以把那个评测做得非常精准 ，但因为机器人它需要真的去执行一个轨迹 ， 你就很难有这样高的一个准确率 。 **范浩强** [17:54] 这个说到计算机视觉我感受很深 ， 就是刚才说比如说从八十几到五十九 ，其实它每一步的小的那个 improvement 你拆开来看都是只是一点点 ， 就刚好比上一次曲线盖住一点点 ，但是其实就是靠无数种小的这个改进和创新一点点堆上去 ， 它这个才是整体的往上走的 。 对 ， 我觉得这可能是说就之前比如做视觉的时候它的一个 privilege， 就是说它的测试是非常可重现的 ，并且那个样本足够多的时候性价比可以 。 对 ，但机器人的话它没法这么搞 ， 真是就是我记得有句话叫做叫 Robotics is about noise， 就是你很难去永远控制住一个物理世界里所有的这个东西 。 **曼祺** [18:36] 就是它是有很多噪音 。 **范浩强** [18:37] 对 ， 所以现在就是我们反而就是说跳出来想 ， 就是说那我可能追求不是说我百分之百能去测出来这个 ， 比如说 meter 出来这个数字 ， 就是说是百分之几 ， 那百分之几都不差 ，而是说它要能够去反映这些模型发展的趋势 ， 对吧 ？ 就当比如说几个模型之间有比较明显的代差的时候 ， 那的确测试的这个结果也是能够明显看出差异的 。 那如果说比如说它其实都大差不差 ， 那最终的分数也能集中在一起 ， 对吧 ？ 那我觉得就是能把这种大块的这个就是这个区别给做出来 ， 我觉得可能是现在去做这个 evaluation 的使命 。 毕竟咱们现在都很早期 ， 它还不是个说比你是 99， 我是 99.5 的这个阶段 ， 现在比的是说这个它是 0， 我不是 0。 所以从这个角度讲的话 ， 我觉得就是说那包括现在在看 ， 比如说现在这个搒单上它那个很多成绩 ， 你看最高那也甚至也就是说那 60 分都没到呢 ， 那我觉得这反而可以为之了 。 就我们就是把它卡在一个现在叫敏感区 ， 就不同模型的这个区别可以被放大 ， 那这样的话其实它是去能够更好的 measure 这些模型之间的区别 ，也就是说大家这些模型代际之间的这个进步的这么一个样子 。 **曼祺** [19:50] 那刚才其实你们也稍微提了一下， 就是说之前还有一种跑 benchmark 的方式 ， 就是在仿真的环境里去看一个模型 ， 它在仿真环境里表现如何 ，但是那个东西是不是对应用的意义没有那么大 ， 或者说它仿真环境里的表现到实际我部署到一个真实机器上 ，其实 gap 会比较大 。 **高阳** [20:06] 对 ，是的 ， 就是其实对在学术界另一条路线 ， 就大家就是想用一些仿真器 ， 那么这些仿真器你就只要把代码开源出去 ， 每个人去下载仿真器 ， 只要这个代码是一样的 ， 跑出来的结果肯定一样 。 但是这里面也有很多难点 ， 就是仿真器它往往不够真实 ， 然后并且仿真器里面这些轨迹呢 ， 它的采集很多轨迹不是人类的咬操作去采集的 ，而是它写了一个程序 ， 写了一个你可以理解为说我先要挪到这个上面 ， 再往下走 ， 再抓 。 那么这种程序性的轨迹它就和比如说我们真实世界 ， 比如说咬操作采集的轨迹就非常不一样 ，因为它的这个相当于它的这个状态的数目很少 ，在这种数据上学习也不是能够充分反映这个机器人在现实世界的表现 。 所以学术界有很多在这种这个仿真器上的一些工作 ， 然后它们呢 ， 就是能够反映一些算法的进步 ，但是大家尤其是机器人的会议往往不接受一个论文 ， 说如果这个论文里只有仿真器的结果 ， 我就这个论文很难被接受 ，因为审稿人也知道这个东西不见得是能够在真实世界就有同样效果的 。 所以当然现在仍然有很多学者 ， 包括李飞飞 ， 然后包括 MIT 的 Russ Tedrick，他们仍然在有一些仿真器这方面的一些努力 ， 然后也不是说这个事情完全不行 ，但是它是一个很难的一个事情 。 ### RoboArena **曼祺** [21:47] 因为你刚才讲到就是有两个变化 ， 一个是技术本身的变化 ， 就机器人可以做很多任务了 ， 还有一个就是有更多的公司出现 ， 然后更多的创业者出现 ， 大家也需要这样一个更大范围的评测 。 那除了就是你们在做的这个 RoboChallenge 之外， 全球范围还有什么类似的事情吗 ？ **范浩强** [22:05] RoboArena 其实也逐渐渐做起来了 。 **曼祺** [22:08] RoboArena 这个发起方式 ？ **高阳** [22:11] 是 Physical Intelligence， 就是 。 **曼祺** [22:13] 就是 Pi。 **高阳** [22:14] 对 ， 就是 Pi。 它们的做法其实和原来的那个实验室的做法比较像 ，但是它多了一层分布式的这种机制 ， 就是说它不再依赖于某一个实验室 ，而是相当于号召全球很多实验室都每个人参与一点点进来 ， 然后在每一个参与的实验室的这个机器上每次跑两个这个算法 ， 然后去比较谁好谁坏 。 那么假如说你有足够多这种 sample 这种观测的话 ， 你就能够去对所有算法有个排序 。 **曼祺** [22:48] 但是这个方法的有一个难点 ， 就是说不同实验室的环境是否特别一致 ，是吧 ？ **高阳** [22:53] 其实这个方法就没有这个问题了 ， 就因为它每次是在同一个实验室的同一个机器上跑两个算法 ， 测的是一个零样本泛化的一个模型 ， 它不是测的这种微调的模型 。 **曼祺** [23:07] 你们可以解释一下 Zero-shot 的模型吗 ？ **高阳** [23:09] 其实这个就是是这样的 ， 就是现在的具身模型还是一个比较初级的一个阶段嘛 ， 所以大模型比如 GPT-4 你就直接上那个这个比如说 OpenAI 的网站 ， 你跟它说什么话 ， 它就能直接给你回话 。 但是在大模型发展到比如 GPT-3 的时候 ， 这个模型它能跟你说的话还是没有那么有道理的 。 那在那个时间点 ， 大家就会拿一些专家的一些数据 ， 比如说你问它这个什么今天这个股市怎么投资 ， 然后有个专家给你写一通回话 ， 用这些专家数据去微调这个模型 。 如果你用了专家数据微调 ， 我们就叫做这个模型是 few-shot。 **曼祺** [23:53] 少量的样本去 。 **高阳** [23:54] 对 ， 少量的数据去微调 。 那如果你的模型已经非常非常强 ， 你不用任何数据 ， 这个模型就直接能给你一个合理的解答 ， 我们就叫它 zero-shot。 然后现在就是 Pi 的那个 RoboArena 是一个 zero-shot 的一个设定 ， 就是它假设你模型足够强 ， 你可以做任何的事情 。 原力灵机这边的 RoboChallenge 是一个 few-shot 的一个 setting。 **曼祺** [24:19] 这个 RoboChallenge 和 RoboArena 的区别是什么 ？ 现在 RoboChallenge 的一个测试 ， 它整个的流程是怎样 ？ **范浩强** [24:25] 对 ， 首先我们测的还叫 fine-tune 的 model，也就是说有 30 个任务 ， 然后每个任务都有个清晰描述 ，并且的话我们会给这个任务提供基本上 1,000 条左右的示例数据 ，也就是说我一个人去采集这个任务怎么做 ，并且会可能差不多最多会每个任务会有 1,000 条 。 那就是说测的人的话 ，他可以他有个基础模型 ， 我们叫基模 ， 完了之后拿这 1,000 条数据去 fine-tune，也就是再进行训练 ， 那得到一个就是精调后的模型 ， 之后他再来去在这个任务上指挥机器人去做 。 那么其实就是说这 1,000 条任务你可以认为这 1,000 条数据它其实就定义了这个测试的这个分布 。 那这个你说 1,000 条数据 ， 我们其实可以管它叫 few-shot learning， 更古典的模型它可能都是几万条的那个去做训练的 。 对 ， 所以这个是 ， 然后像比如说像 RoboArena 它就是说那你要测什么任务呢 ，其实是那个测试那个 lab 现场指定的 ， 那你什么任务你都得能根据那个文本理解自己去做 。 那其实就是说他们测试的对象其实就是不一样的 。 **曼祺** [25:28] 而且它那个是分布在不同的实验室 ， 你们是集中在一个场地 ， 就或者说集中在同一个环境里的硬件来测试 。 **范浩强** [25:35] 对 ， 就像这种它就一般要做对比性测试 ， 就是说比如说我给这个任务 ，因为我每次测的那个 lab 和测任务道具可能全都不一样嘛 ， 所以说就单次的结果本身它是无法被拿去平均的 ， 那只能说我一次测两个或多个模型之后相互比谁比谁好 ， 那这样有个平均就相对关系 ， 之后再把这个一对一对的这个关系拿去最后统一出一个总的这个 值出来 。 像比如现在那个 LMArena 其实是大语言模型界最有影响力的那么一个搒单嘛 ， 它其实就做的是这么一种就是说 zero-shot 或者叫开放性的这么一个这个就是问题 ， 然后再加上这种对比性的这个测试 。 那我们觉得是说可能也许具身哪天也能走到了 zero-shot 那个时代了之后， 也许这么测试就是很有道理的 ，但但现在我们看到的是说就是这任务要想做成还是得做 fine-tune。 那所以的话 ， 那就是说 RoboChallenge 的这个第一个 benchmark， 那就专注在这个 fine-tune 的这么一个 setting 下去做这个测试 。 **曼祺** [26:30] 那 RoboArena 直接做 zero-shot， 岂不是很多模型在它那其实都根本完成不了任何任务 ？ **范浩强** [26:37] 就你去看它那些测试视频 ， 它的确是大部分任务其实是成功率那个比那个比较低的 。 **高阳** [26:44] 所以这也有一定问题 ， 就像大家的就如果都接近于 0 的话 ， 你反倒也比不出来 。 **范浩强** [26:50] 就它就对比性测试 ， 它就只能说虽然它们都没抓住 ，但这个看上去好像走得更 promising 一点 ， 它最终就只能得出这种结论来 。 **曼祺** [26:59] 所以它的那个方法其实对现在的模型来说太难了 。 完了 ， 听完这个之后， 就我不知道你们跟投资人或者说跟就其他人有没有讲过这个事情 。 那一般人的感觉是会觉得这个行业还确实很早期啊 ， 这领域啊 ， 就和我们想象中的机器人可以 。 **范浩强** [27:14] 它就是很早期啊 。 **曼祺** [27:14] 就想象中机器人可以比如说到一些场景 ， 一些家庭或者说商业服务场景干活 ， 似乎还有很远的距离 。 **高阳** [27:22] 我觉得是这样的 ， 就是就智能的发展是一个非线性的一个东西 ， 它是一个指数的一个东西 。 三年之前大语言模型刚刚出来 ， 就是它什么也干不了 ， 就是它就给你说一些话 ， 哎 ， 你觉得这个东西好像技术极客可能会觉得哎 ，有点意思 ， 它这个竟然会说人话了 。 但到今天这个时间点 ， 已经有很多个模型能把 IMO 的题都刷爆了 ， 就是就中国啊 ， 对吧 ， 美国每年派出 5 个人参加的比赛 ， 现在这些大模型已经可以完全都解掉了 。 对 ， 所以我觉得具身模型其实也是一样的 ， 就是它也是一个就刚开始你觉得这个东西就是很菜很菜 ，但它是一个指数级别的变化的一个趋势 。 **范浩强** [28:08] 对对对 ， 这一方面其实我也更乐观 ， 就是之前我们搞 Vision 的时候弄那堆模型加起来可能打不过现在一个 Grounding Deno，但是不耽误 ， 我们真的已经把它卖到了祖国大江南北 。 就其实就是说最终你去做场景做产品 ，其实它还有它自己的那套逻辑在 。 所以我觉得是说那那那就是你基模已经 zero-shot 百分百了 ， 那肯定最好 ，但那之前的话 ， 我我觉得它并不阻碍大家可以先去做一些落地的尝试 。 ### 榜单进展 **曼祺** [28:34] 那回到就是你们就是具体看到的一些进展啊 ，因为你们这次肯定是陆陆续续就测了很多模型嘛 。其实前面你稍微说了一下， 就是 Pi05 相比 Pi0， 它是有一个翻倍的成功率上的一个进展的 。 那其他你们测过的模型可以透露一下吗 ？ 包括千寻你们应该也是有去参加这个测试 ， 对吧 ？ **高阳** [28:52] 我们千寻测试的模型 ， 我们最新测试结果大概是比 Pi05 会高一些 ， 现在暂时是位列搒单第一名。 对 ，其他模型小强可以 。 **范浩强** [29:03] 对 ，其他的话那个我们 9 月份发布的时候 ， 我们把一些开源的 ， 比如什么 Call ACT 啊这些经典的 ， 我们也自己做了边浮现 ， 做了个 baseline。 对 ， 后面的话我们也是邀请到了那个一家公司 ， 它那个叫做 Wow OSS Flow，他们那个模型 ，他们公司也出了一些这个志愿者去在我们这上面做 fine-tune， 完了之后也也拿到了一个就是成绩吧 ， 差不多应该是能比 Pi0 好一些 ， 我印象中 。 **曼祺** [29:30] 现在有哪些公司参加 ， 可以透露一下吗 ？ 国内的公司里面 。 **范浩强** [29:33] 目前就是就能够绑定到公司名字上的 ， 目前主要就是这两家 ， 然后其他的还有好多公司其实也已经在测试了 。 不过一般来说 ， 都是这个可能测完之后才会去讲 ，是说这个 who's who 啊 ， 就就到底这是谁的这个这个结果 。 **曼祺** [29:50] 那在你们现在测的这个过程中间 ， 大家有谁甩开其他人一个身位吗 ？ 就有明显好的这种模型吗 ？ **范浩强** [29:57] 那现在看肯定那个 Spirit 1.5， 它是一个比较亮眼的 。 我可以可能再给点那个 background， 就是说首先 RoboChallenge 本身 ， 它参与的单位其实并不是说 organization， 就其实大家能看到的公开信息都是说一条一条的测试记录 。 那测试记录里 ， 比如它那模型名字其实是就是也是用户自己上传的 ， 然后那我们唯一要求就是说 ， 就是说那用户你你是谁 ， 你得把自己的那个自己这个自己自然人的这名字写上去 ， 来去做这个标识 。 所以实际上就是作业平台本身的话 ， 它它是没有这种所谓的商业属性 ， 说这个公司跟那公司比的 。 **曼祺** [30:32] 所以在这个平台里 ，其实对组织来说 ， 它可以是匿名的 。 **范浩强** [30:36] Exactly， 对 ， 所以往往是说就是先是说有成绩之后， 然后才出来有人认领说这个其实是我的 。其实对 ， 这这个我觉得因为我们做 RoboChallenge 初心的时候 ， 我们也不想让这事太夹杂了太多这种商业化这些东西在里面 ， 还是就是想把它做成一个干干净净的一个 benchmark， 对吧 ， 就像当年的像 ImageNet， 像当年的那些什么 CIFAR， 对吧 ， 那大家都可以有成绩 ，并且你去上面取个成 绩 ，也不需要付出太多的这种代价 ， 那万一测好了也也不会驳谁面子 ， 就这是我们去做这个事的这个这个这个这个初衷 。 **曼祺** [31:10] 所以目前就是有公司认领的标签 ， 最好的就是千寻的这个 Spirit 1.5， 对吧 ？ **范浩强** [31:16] 是 ， 我们差不多 RoboChallenge 运营至今差不多 ， 我今天听令案说已经有 1 万多次不同的这个测试的这个 run 了 。 **曼祺** [31:22] 1 万多次是来自多少不同的模型啊 ？ 你们统计过吗 ？ **范浩强** [31:24] 哎呦 ， 这很难统计 ，因为他们经常他比如说他自己给自己起模型名字 ，他有时候他也不是特别的规律 。 所以说但但很震撼 ， 比如说现在不光是国内在测 ， 我们最远也收到比如说来自那个英国伦敦的那个 IP， 然后那个就真的是那个信号传了整个地球 ， 然后来到了我们 lab 去指挥这个机器人， 然后他他那任务竟然还能动起来 。 就说实话 ， 这这个这个过程我们觉得还还是挺还是个挺 rewarding 的这么一个过程的 。 **曼祺** [31:51] 你们获得 1 万条记录是多长时间啊 ？ **范浩强** [31:53] 我们是我记得 10 月 ，10 月的时候我们 announce 的这个 RoboChallenge 嘛 。 对 ， 后面其实也就这一两个月的这个运营吧 。 **曼祺** [32:00] 这个是超出你的预期的 ， 还是在你们预期之内 ？ **范浩强** [32:03] 远超出我预期的 。 那个就现在我们其实就是 RoboChallenge 最大的压力是我们现在测不过来了 ， 就现在我们因为机器一共就那么几台嘛 ， 完了之后现在大家经常得是说你提交了之后， 我可能得等一天两天我才能给你反馈 。 就这个的确现在有挺多的这个团队 ， 然后除了公司之外可能还有很多 ， 比如说他想发 paper，他也想去拿一个成绩 ，其实现在提交的人挺多的 。 这个其实这个 popularity 其实已经远超出我们 ， 就早知如此我们肯定再多准备点机器了 ， 肯定不能只用这么点了 。 **曼祺** [32:35] 你们现在一共多少多少台机器啊 ？ **范浩强** [32:37] 我记得当时应该是差不多 9 台 ， 差不多大概大概大概这个规模吧 。 **曼祺** [32:42] 然后这个 9 台是包括了不同类型的 ， 就是有 。 **范浩强** [32:44] 有四四种不同的类型 。 **曼祺** [32:46] 就是有双臂的 ，有协作的各种 ， 对吧 ？ 双臂单臂 。 **范浩强** [32:48] 对 ，有双臂的一种 ， 然后剩下的主要是单臂的 ， 我们准备了三种 。 **曼祺** [32:52] 那说明整个就是具身的研发社区确实非常需要这个东西 。 **范浩强** [32:56] 对 ， 我我觉得 ，并且我觉得好处就是说有更多人敢来测试了 ， 说明的确大家的这个模型水平就是就提上来了 。 ### Table30 **曼祺** [33:04] 那展开说一下， 就是你们这 30 个任务是怎么挑选的呀 ？ 你们这个任务集是叫 Table 30， 所以比较直观来理解肯定是跟就是桌面操作相关的一些 。 那如果再进一步的分类是怎样的了 ，以及为什么是挑选这些任务 ？ **范浩强** [33:19] 对 ， 这个因为就就是说这个其实是内部孵化出来的嘛 ， 就是说那个就我们想去做测试的时候 ， 大家说哎那先找点任务测测吧 ， 然后当时我们就有一个我们的这个研究员 ，他画了 30 个勾 ， 然后大家测功能发现哎 ， 这 30 任务真的挺有道理的 ， 就是他测的那些 ， 比如有些要考验你操作柔性物体 ，有些考验你那个定位精度 ， 还有些考验 你比如说有没有一些这种就是上下文的记忆啊等等。 就就就所以我们是事后去分析了一下， 就是说这些任务它的这个考点呀 ， 它对应的这些场景 ， 对应机型的分布 ， 最后拉下看哎 ， 觉得其实还蛮合理的 。 **曼祺** [33:51] 那你可以讲讲事后分析的逻辑吧 ， 就比如你们来总结它可能是哪几类 。 **范浩强** [33:56] 对 ， 我觉得是主要就是考点丰富 ， 就是说这 30 个任务啊 ， 几乎每个任务都有它一点点的这个难点 ，并且都很不一样 。 比如说像那个 ， 比如说有个很难任务叫碎纸 ， 它就是考验你那个纸能不能插进那个碎纸机的缝里 ，并且插进空中那个纸它会遮挡你那个手上眼 。 所以说就是你模型要想把那个任务做出来 ， 你必须得有办法去克服这一点 。 然后像比如像那个插花 ， 插花的话 ， 它不光是考验你对你自己手的这个定位 ， 它得看你拿起那个花饼是不是 touch 到另外一个物体 ， 就是说它的这个考点不光是执行器和物体之间的 interaction，并且已经扩展到了物体和物体之间 interaction。 对 ， 然后我觉得就是现在 Table 30 最有意思的地方 ， 就是每个 task 几乎你都能找出它的那个与众不同难点是什么 ， 所以它最终它形成的是一个很 diverse 的这么一个分布 。 这个我觉得是说可能现在这个东西 ， 它能把这个模型的区分度测出来的 ， 我觉得是一个可能比较重要的 factor。 就是说虽然这 30 任务其实是挺 ad hoc 的选择的 ，但是就它很丰富 ，不像是说比如说第一个任务测拿杯子 ， 第二个任务测拿皮球 ， 那那那样的话 ， 它可能考点就会很单一 。 然后这些任务它的那个 source 怎么来呢 ？ 当时我们是就是说公司里我们就是组织一帮人， 就是说大家都去想 ， 每个人拿拿嘴说你觉得这将来机器人一定能做成什么 ， 弄了个特别长的 ， 可能几千条一个列表 。 **曼祺** [35:15] 就是有点像一个愿望清单的东西 。 **范浩强** [35:17] 对对 ， 然后后面那个就是说那就数据采集团队就就一个个去看看吧 ， 哪个能采哪个能采 。其实所以它的那个基底是从这里采样出来的 。 对 ， 所以我我们就事后总结就是说 ， 就是人民群众的真实需求 ，其实就是最有代表性的 、 最 high quality 的这个的这个 benchmark。 那那那这个是我觉得是事后去看它的这个就是这个成因吧 。 **曼祺** [35:38] 千寻在测的过程中间觉得什么任务比较难啊 ？ 有什么你印象比较深的 ？ **高阳** [35:42] 其实我我们测的时候 ，其实就是我们一个一个积模 ， 然后统一去做的微调 ， 然后我们其实并没有特别去关注任务本身的一些特性 ，因为我们在做一个基础模型 ， 然后基础模型它的意义就在于说 ， 我无论想做什么样的东西 ， 我需要一个标准化的一个流程 ， 然后通过这个标准化流程 ， 它就能做这些事情 。 **曼祺** [36:08] 那实际上在这些不同的 30 个任务里面 ， 比如说它哪些成功率是相对高点 ， 哪些成功率是相对低一点的 ？ **高阳** [36:14] 有一些比较精细的一些任务 ， 成功率的确还是比较低一些 ， 比如说有一些把那个什么杯子放到某一个洞里面 ， 就那种它的那个容差可能只有几毫米 ， 这种东西的确就是比较难 。 **范浩强** [36:31] 还有比如说那个擦巾纸 ， 擦桌子 ， 对 ， 擦那事都能擦好 ， 就最后你要把一个就已经皱了的擦巾纸放回纸篓里 ， 它那个要的这个功夫还是比比比就比较深的 。 就就就就就这些任务的确现在可能 even 最好的模型都还是很有挑战性的 。 **曼祺** [36:48] 因为你们这边有很多记录嘛 ， 就从你们的大面的这个数据去看 ， 什么任务它的成功率会高 ， 什么任务成功率低 。 **范浩强** [36:54] 我觉得是说就就说击中了现在模型的可能就是它的一些盲区 ， 比如比如就像刚才讲的 ， 比如说那就比如说像这种柔性物体 ， 那你很难去建模 ，并且它采就是 demonstration data 的时候 ， 它也很难去把所有 case 都给涵盖住 。 然后另外有个任务 ， 比如说那个叫做那个扫二维码 ， 就是左边拿起个东西 ， 右边拿起个扫码枪扫一下再放下去 ， 这种看动作看着挺简单的 ， 它难在哪呢 ？ 就是你扫之前和扫之后的状态是图像上一样的 ， 所以这模型分不清说它刚才扫没扫 。 所以好多模型它测的时候 ， 它一伸手它就不动了 ， 它就它不知道说我该再去扫一下还是说我其实已经扫完了 。 **曼祺** [37:33] 就我应该把它拿开还是 。 **范浩强** [37:35] 是的 ，是的 ，因为它那个扫完之后那两个东西本身并没有变嘛 ， 所以你图像上区分不出来的 。 **曼祺** [37:41] 哇 ， 你们这个任务很刁钻哎 。 我还之前从来没想过这个场景 。 **范浩强** [37:45] 就是我们自己也挺意外的 ， 就是哎 ， 就是拍脑袋想出来任务 ， 最终你做了之后你才发现哦 ， 它的难点在这啊 。 **曼祺** [37:52] 如果要让机器人知道它是不是扫完了一个二维码 ， 这个需要什么能力啊 ？ **高阳** [37:56] 需要你模型有一个记忆的能力 ， 就相当于模型不仅能看到当前场景 ， 知道你要干什么 ， 它还得能记住自己之前干了啥 。 **曼祺** [38:06] 那怎么让它理解扫二维码这个任务了 ？ 这个是 。 **高阳** [38:08] 其实扫这个动作它其实不难 ， 难点是在于 ， 比如同样我看到这个场景 ， 我可能以为我已经扫完了 ， 扫完我就要静止了 ， 我可能也以为我还没扫 ， 我就开始去扫 。其实扫这个动作本身它其实并不难学 。 **范浩强** [38:25] 对 ， 就就是因为现在的模型它都是叫做单帧输入 ， 就就都是给三张图片它就开始动了 ， 它其实它并没有一个机制能去把这个我是不是已经扫过的这个上下文放进去 。 就是就就你就你可以想象 ， 比如说你生活的时候每过 100 毫秒你就失忆一次 。 **高阳** [38:42] 你想一想 ， 它就是金鱼 ， 金鱼就是说什么每 7 秒它就忘了吗 ？ **范浩强** [38:47] 它就忘了 。 **高阳** [38:47] 但是模型现在每每过一帧它就忘一次 。 **范浩强** [38:50] 每 0.7 秒它就忘了 。 **曼祺** [38:53] 所有的 VR AI 都是这样的吗 ？ **高阳** [38:54] 就是当然这个会有一些就是 fix， 比如说把记忆的有一些工作会把记忆放进去 ， 它会修复这个问题 。 但是现在大多数的开源的 VRA 或者这种基础模型都是基于单帧的这种去 ， 就它没有没有记忆 。 **曼祺** [39:11] 然后记忆放进去也不是放在模型里面的 ， 对吧 ？ 它并不是训在模型里面 。 **高阳** [39:14] 对 ， 它并不是放到模型里面 。 **曼祺** [39:16] 它通过一些工程化的方式让它记住更多帧 ， 知道之前发生了什么 。 **高阳** [39:20] 对 ， 就有一些用比如 agent 的方式去记住之前发生过什么事情 。 对 。 **曼祺** [39:25] 这个任务还挺巧妙的 。 **范浩强** [39:27] 所以就就就我们说有意思的地方 ， 就每个任务它都有它的那个独特那一面 。 我觉得这个是我觉得整个过程中最好玩的这个点吧 。 **曼祺** [39:35] 那在就是测的过程中间 ，因为有两个多月的时间嘛 ， 你们有看到就整个行业的一个怎样的进步的趋势或者速度吗 ？ **高阳** [39:44] 我觉得还是挺快的 ，因为很多比如我们刚发这个 Table 30 的时候 ，其实我们最担心的是没人来玩 ，因为那时候就很多人比如看那个派零都觉得是个天外来物一样的东西 ， 觉得它好厉害啊 ， 这个这个不知道怎么做 。 但是现在我们接触下来 ， 感觉很多公司我觉得至少比如说派零这档怎么做的 ，其实技术都已经掌握能能够掌握掉了 。 然后毕竟那大家现在比如说在挑战派零五 ， 甚至将来派零六 ， 就是趋势还是很明显的 。 那就是从动作上看 ， 就是说有越来越多的这个这个机构或者个人愿意来去这个搒单上提交 。 那就是说大家交的人都是为了能交出个好成绩嘛 ， 那说明就是大家至少自己的这个自信心其实这个增长我觉得是非常明显的 。 ### 开源社区 **曼祺** [40:24] 除了大家主动来提交之外， 你们会去特意邀请一些你们还比较好奇或者说比觉得比较强的公司来测吗 ？ 比如说我就很好奇派零六如果来测是什么表现啊 。 **高阳** [40:36] 这个这个我们不一定请得来 。 **曼祺** [40:39] 那你们 1 万条记录里应该也有 IP 是美国的 。 **高阳** [40:42] 因为它好的 ，因为它如果是这种比如说比如说个人啊或者纯学术的那个还好嘛 ，但是一旦这种公司对公司的 ， 尤其这种比较敏感的行业 ， 我觉得可能这个顾虑就会多一些 。 对 ，但但但现在比如说说实话 ， 我们最早放这个搒单的时候 ，因为我们都没跟别人说这事 ， 所以说就说它原来一个别人贡献的结果都没有嘛 。 所以那时候我们为了能启动它 ， 我们其实就是去找 volunteer，因为反正现在那个模型大家都是开源的嘛 ， 那我总能去找个人来 ， 然后那他去下载这个 Codebase 跑一跑 ， 然后测出个分数来 。 那其实就是说最早一批的那那我记得 6 个吧 ， 那结果其实都是这么来的 。 后面的话才有那个很多这种公司啊说哎那你们测我不放心 ， 那那那那由我来去做这个 fine-tune， 然后来去那个就是去 evaluate 成绩 ，其实其实这个是后面才发生的事情 。 **曼祺** [41:32] 所以现在如果大家来测的话 ， 这个微调的部分不是这个测试的社区或者平台来统一做的 ，是每个人自己做的 。 **高阳** [41:39] 当然当然当然 ， 就这是这个设计的 purpose， 就是我们当时也选是说这个测试界面到底是什么 ，是你提交一个模型文件还是你提交个 Docker 还是什么的 。 最后我们选择了是说就是说我们都把这些东西 leave out， 就是说我平台我只提供一个机型控制的 API， 然后你理论上可以用任何的计算的架构 ， 用你的控制的逻辑去跑你的程序 。 那就我们做一个最通用的这么一个设计 。 那这种情况之下的话 ， 那比如说假设比如说是我们来做微调 ，但微调它其实有很多这种手艺问题嘛 ， 对吧 ？ 那大家用的参数不一样 ， 甚至哪怕这个显卡换一块也许结果都不一样 ， 那这里太多事情说不清楚了嘛 。 所以说呢 ， 就是说这个 RoboChallenge 设计的初衷的时候呢 ， 就是说平台只保留最核心的那个功能 ， 那大部分的事情其实是留给这个测试的参与者 ，他能够完全自己去掌控整个的这个过程 。 **曼祺** [42:29] 但另一方面 ， 如果大家自己来微调的话 ， 那你你你们怎么知道他到底为了多少 episode？ **高阳** [42:35] 对 ， 所以我们现在在号召就是说大家上搒人都去做 open source。 现在这个设计的话 ， 哪怕你是比如说遥操作出来的 ， 理论上你也可以提交这么一个就是测试结果上去 。 那除了是说就是说这种就是说这个道德约束之外， 那我们觉得最好的方法就是说自证清白 。 那就是说如果你有个成绩 ， 那你就把你当时取得这个成绩的这个模型 code 放出来给大家看 ， 那理论上其他人可以再去提交一遍 。 对 ，他可以再去交一遍这个东西嘛 ， 对吧 ？ 那也许因为有些误差的问题 ， 这个结果不是百分百重合的 ，但至少那个大的趋势它得是对的 ， 对吧 ？ 那用这种方式我们觉得是说至少能够去解决这个所谓叫可信度的这个问题 。 **曼祺** [43:12] 所以现在这个更多是靠大家的自律是吗 ？ **高阳** [43:15] 是的 ， 我我们还是相信 ， 就是就是相信绝大多数的这个参加人员 ，他是一个就是说就是说为了学术目的的 ， 就是是这么技术严谨的这么一个事情嘛 。 那你说如果真的有人作弊的话 ， 那那他也交不出来这个将来就是说可供去开源的这些东西 。 并且的话 ， 我觉得随着时间的这个演进 ， 那那那那最终还是会大家会理清楚就是说哪些结果是真正可靠的 。 **曼祺** [43:39] 你们这个测评平台接下来有什么新的计划吗 ？ 因为我看你之前在推特上发 ，有人给你们捐了灵巧手 ， 就你们接下来可能也会上跟灵巧手这个硬件相关的一些测评 。 **高阳** [43:48] 当然当然当然 ， 就是现在 RoboChallenge 它其实已经远远不是说说 Dexmo 在做 ， 它其实是一个我们叫做 partnership 和 community， 差不多现在可能有 10 多家公司都加入进来了 。 **曼祺** [43:59] 那主要是中国公司是吗 ？ **高阳** [44:01] 对 ， 像比如 Hugging Face 就是国际的 ， 比如有些做本体的厂商 ，他就是说那想捐一个这个机器进来 ， 那比如说有些他比如说也有自己的数据采集厂 ，有自己实验室 ， 那他就是说我我也去捐一套 benchmark， 那就是你们也可以提交到我这来去测我那些任务 。 那那其实那对于 RoboChallenge 来讲 ， 我们其实是希望是说就是所有的人都能把自己的这个 contribution 放进来 ， 那这样的话呢 ， 这个整个的这个 program 它就可以内容越来越丰富 ， 越来越丰富 。 那不只是说现在有个 Table 30， 那也许将来还有一个别的什么 kitchen 多少 ，restaurant 多少 ， 那这样的话 ， 我觉得才能对这个整个的这些模型有个更好的一个 evaluation。 **曼祺** [44:39] 厨房里的任务 ， 餐厅里的任务 。 **高阳** [44:40] 对 ， 所以当时有一家我记得 Tesoraya 吧 ，他们说他们那个首眼开源的 ， 就是他们说哎 ， 你想这个进来可能设计一些这个就是相关的这些任务 ，是将来打个 benchmark， 我们说哎 ， 那这个 idea 我们也非常欢迎 。 那那我觉得这些可能都是将来可以选的方向吧 。 当然了 ，因为这事毕竟还是十点几任务重 ， 所以只能说这些 feature 这个这个排队逐个上线 。 对 ， 我觉得其实往未来看的话 ，其实可做的事情还真的是蛮多蛮多的 。 **曼祺** [45:08] 然后接下来是想从就是测评延展聊一下现在模型的一个状态 ，以及你们看到就接下来具身 ， 比如在 2026 年怎么往前去推进 。 ### 2026展望 **曼祺** [45:16] 因为其实刚才你们讲的目前的测试现状啊 ， 比如说把一个杯子放到一个洞里 ， 或者说把餐巾纸放到一个纸篓里 ， 确实对人甚至是比如说很小的小孩来说 ， 都是很简单的任务 。 那我们如果这个具身模型要往下走的话 ， 目前它面临的瓶颈可能是什么 ，以及大家是怎么解决的 ？ **高阳** [45:36] 我觉得现在具身模型面临的瓶颈主要还是数据层面吧 。其实如果数据层面我们有像大语言模型这样无穷多的数据 ， 具身模型它的解决我觉得并不是一个很难的一个问题 。 因为其实大语言模型已经给我们摸出来一条很清晰的一个道路 ， 那么其实我们沿着这条道路去做 ， 我觉得大概率可以做出来一个非常非常好的模型 。 对 ， 所以我觉得在 2026 年的这一年或未来一年， 我觉得我们会看到具身模型有一个非常非常大的一个进步 。 **曼祺** [46:13] 那更具体描述一下你说的大语言模型 ， 指出这条路它是什么样 。 **高阳** [46:17] 大语言模型这条路线其实就是有一个三部曲 。 第一步就是说我们用互联网上的所有的这种文本的数据给模型做一个预训练 。 那么第二步呢 ， 就是用一些高质量的这种数据给模型做一个监督微调 。 最后用这个 RL 强化学习给模型做一个 RHF， 让它在最后这些任务上的成功率上提升比较多 。 所以就是这个是基本上现在所有大语言模型都是沿着这套三部曲去在做 。 我觉得对于机器人来讲也是一样的 。 **曼祺** [46:53] 那在你描述的这个方法里面 ，其实它模型的架构倒不一定是现在大家说的最多的 VRA 是吗 ？ 有可能是别的模型 ，但是是这样一个预训练的流程 ， 预训练到后训练的一个方法 。 **高阳** [47:04] VRA 它只是在描述一个模型的输入和输出 ， 就是它可能是 VLTA，T 是比如说 tactile， 就代表触觉 ， 它也可能是别的 ，但是反正它是一个模型能够去做事情嘛 。 **曼祺** [47:19] 所以 VLA 其实也并不代表说就是我的方法是我先有一个大语言模型 ， 然后得到 VLM， 再得到 VLA。 **范浩强** [47:26] 现在大家比如说觉得 ， 比如说那种视频生成模型也许是更好的基座 ，其实这个问题至今仍然还是开放的 。 **高阳** [47:33] 对 ， 就具体的做法是开放的 。 **曼祺** [47:35] 那你们你们两家公司的时间是怎么样的 ？ **高阳** [47:38] 我们还是通过一个 VLM 去开始去做 。 **曼祺** [47:42] 就是先以一个 VLM 为一个底座 ， 然后 。 **高阳** [47:45] 为一个底座 ，但在后面会加一些这个一些视频的一些数据 ，但是并不是一个 word model 的形式去加入 ， 然后会加入一些比如说遥操啊或者可穿戴式设备的一些数据来做微调 。 对 ， 然后最后可选的会做一下强化学习 。 **范浩强** [48:05] 学习原理其实蛮收敛的 ， 就是你 VLM 去吸收尽可能多的这种胡撂知识 ，以及这种叫不变性 。 完了之后的话呢 ， 就是说加大量的 robot data， 让它去建立起从动作到感知之间的这个映射 ， 然后最后发版之前再搞一些有的没的的这个最后的这个工艺 。 我觉得就就这个框子我觉得蛮明就蛮固定的 ， 那只不过说这过程中到底拿啥积木 ， 到底加啥数据 ， 什么比例 ， 这个其实就是仁者见仁智者见智的这么一个过程了吧 。 对 ， 所以我我同意就刚老师讲的 ， 就是说这个大的范式或者叫原理 ， 你看到它收敛之后， 你就会对这事特别就有信心了 。 因为现在真的就是 Scaling Data 可能是 26 年最重要的一个主题 ， 那就是说它它数据多了之后， 它那些泛化性鲁棒性 ， 它才能一点点的这个体现出来 。 ### 数据路线 **曼祺** [48:53] 那你们都是怎么去获得数据 ， 或者说你们看到的业界去把数据规模化这件事都有一些主要的什么样的做法啊 ？ 然后你们觉得什么做法可能是比较合适的 ？ **高阳** [49:05] 对 ， 就有四种数据 ： 仿真数据 、 人类的视频数据 、 然后可穿戴式设备的数据和遥操作数据 。 我们自己是 bet 是除了仿真之外的所有的数据源 ， 就包括人类的视频 、 可穿戴和遥操 ， 就是是因为其实这些每一种数据源它有不同的一些自己的特性 。 那有的量很大 ，但它质量比较低 ， 它比较适合来做预训练 ； 有的量非常少 ，但它质量很高 ， 它比较适合来做后训练 。 所以我们自己就是在相当于把所有的这种真实的世界的数据都拿过来 ， 然后以合适的算法去喂到我们模型里面 。 **曼祺** [49:49] 为什么要把仿真的数据 ？ **高阳** [49:51] 因为仿真的数据 ， 当然是我们自己的经验啊 ， 就这个东西不见得是正确的 ，因为行业里面还有很多公司也在尝试用仿真数据来去做 。 我们自己的尝试是仿真的数据的这个 diversity， 就它的多样性比较难以提升的比较高 ，因为每一个仿真的场景其实都是需要有这种我们叫艺术家 artist 来在这个仿真器里面把这个场景去搭出来 。 这个搭的过程其实是比较缓慢的一个过程 ，并且仿真器就没有那么好用 ， 然后这个搭建过程还是一个很专业化的一个过程 ，不太可能让一个比如说这个只做过体力劳动的人来去把仿真器给你搭起来 。 但是你可以让这些人， 比如说帮你去采集一些遥操作的数据 、 可穿戴式设备的数据 、 视频的数据 ，他们都可以帮你去做 。 **曼祺** [50:47] 所以有一个成本的考量是吗 ？ **高阳** [50:49] 对 ， 对 。 **曼祺** [50:50] 那随着仿真器如果变得更好的话 ，其实仿真数据可能也是你们未来会考虑的 。 **高阳** [50:55] 对 ， 就如果它变得更好的话 。 **范浩强** [50:56] 如果说随手一做就能出个黑神话 。 **高阳** [51:00] 对 ， 那仿真数据就真香 。 **曼祺** [51:02] 是 ，是 。 你们你们有关注李飞飞 WorldLab 对世界实验室他们发的 Marble 这个新的模型吗 ？ **高阳** [51:09] 这个模型 ， 就这个 specific 模型 ， 我不知道我有没有看 ，但我的确看过他们一些 demo。他们的 demo 是一个 ， 就现在的 demo 都是一个静态场景的一个 3D 这种巡游的这种感觉 ， 然后因为他们背后的技术是用一个叫 4D 高斯高斯的一个东西来做的 ， 或者 3D 高斯啊 ，但这种技术暂时还没有办法去处理动态的一些场景 。 对 ， 所以对 ， 所以这些技术暂时还不能用在 。 **曼祺** [51:41] 只用在具身里面 。 对 ， 它可能会更早用在比如说游戏啊或者一些就跟视觉 3D 视觉更相关的一些场景 。 **高阳** [51:48] 对 ， 对 。 **曼祺** [51:49] 你们你们的实践是怎样的 ？ 就数据这块怎么去规模化的获得数据 ？ **范浩强** [51:53] 对 ， 我我其实我我个人的观点啊 ， 我其实觉得路线可能没那么重要 ， 就它最终条条大路通罗马 ， 对吧 ？ 你搞仿真的 ， 那你就天天想怎么做 3D asset， 对吧 ？ 做大规模的这种资产扫描嘛 ， 对吧 ？ 然后呢 ， 想办法去做各种的方方法去做 ， 让它就是 sim to real gap 去做泥补 ， 对吧 ？ 你想搞信真机的 ， 那就不停的研究就怎么大规模的用一大堆的操作员把这个东西工业化的降本 。 我相信也许最终都能走到终点 ，并且就是可能最后那个卡点难点会是一样的 。 比如像 3D 资产 ， 那那仿真说是说这东西无穷无尽 ，但是说里面的那些知识 ， 那还是来自于你对这个物理世界本身获取来的这个东西 ， 对吧 ？ 所以比如说你做仿真和做采集 ， 可能最后都变成是说我怎么才能有一个一个集合 ， 比如说去枚举了大家日常生活中能接触到的所有商品 ， 对吧 ？ 就就我相信就其实最终这些本质难点是一样的 。 对 ， 所以在这块的话 ， 那就是说对从我们公司角度来 ， 我们就是选了个自己最擅长的 。 我们当年搞什么人脸数据采集 ， 我们建了一个非常完善的线下大规模采集的这么一套体系嘛 。 那所以现在我们就数据还是以真机为主 。 那现在其他的 ， 比如我们关注 ， 比如像现在那个 Generalist， 它做这种离体式的采集 ， 号称采了 27 万条数据 ， 可能也挺 promising 的 。 那我们觉得就是说如果这些东西能成熟的话 ， 那其实对我用户来讲 ，其实它并不改变我本身数据采集逻辑 ， 最终我还是得回答我那些场景从哪来 ， 我那些人从哪来 。 那其实这是我觉得说数据收集里面最核心的这些这些难点 。 **曼祺** [53:29] 你刚说 Generalist 离体式的采集是什么意思 ？ **范浩强** [53:32] Generalist AI 是个美国的公司 ， 然后他们就是主打的就是说人拿这个夹子去做这个采集 ，而不是说机器人拿着夹子去做采集 。 这样它采集效率很高 ， 毕竟它可以把这东西寄出去去做采集 。 它当时说了很恐怖的数字 ， 说他们已经采了 27 万小时 ，并且每周能采 1 万小时 。 那也就是说如果它说的是对的 ， 那差不多 26 年过完 ， 它可能也得有不到 100 万小时的数据积累了吧 。 那像比如说现在做那种可穿戴采集 ， 就头上绑着个相机去采 ， 我听到有公司甚至说今年要采 1,000 万小时 。 这这这个是我觉得就是说我就说所以叫条条大路通罗马 ， 可能最终是说就是说你把那个智能孕育出来的这个东西 ， 最终还是那个就是总的知识量到了 。其实你无论这个 data 的 representation 是啥样 ， 可能都可以最终走通 。 这个这个是我觉得是可能就是说 ，但反而是说就是你花了多大精力去收集这个世界里的 knowledge，是实际上的这个就是就它的这个真正的决定性要素 。 **曼祺** [54:33] 不过具身领域和之前做大语言模型 、 做视觉有一个不一样的地方 ， 我觉得是大语言模型和视觉模型 ，其实它大量的数据是每个人都可以 touch 到的 。 就是每一个参与其中的创业公司 ， 比如说你去网上至少有很多很多公开的信息 ， 然后后面大家才去做那些比较特别的信息 ， 对吧 ？ 特别的数据 。 就现在在具身领域 ，是不是每个公司数据肯定都是采了还是自己用的 ？ 有什么机制能让就是这个数据更好的就普惠到整个行业吗 ？ **范浩强** [55:00] 像比如说 OpenAI X embodiment，其实就是一个业内的数据共享的那么一个联盟 。其实现在这种已经挺多的了 。 **高阳** [55:07] OpenAI X 是一个就是学术的一个数据集 ， 这些数据集本来就是公开的 ， 然后它是一个相当于一个 effort 把它整理起来 。 然后公司层面的话 ， 就数据集我觉得暂时还没有实现比较大规模的共享 。 **曼祺** [55:22] 因为以前就是互联网的数据 ，其实对每个创业公司来说是免费的 ， 当然后面也有些版权纠纷啊之类的问题 。 但是因为现在大家的具身的数据 ， 确实是每个公司要要花钱去采的 。 **范浩强** [55:33] 它那个其实是 it's a fairy tale， 就是那互联网数据每家公司得自己洗 ， 它也不是直接喂进模型的 。 实际上它是大量大量的那种优秀的工程师去清洗出来的数据 ， 然后最终才训练出那么好的模型 。 就就这些地方都是真正的人类劳动在里面的 ，并且我觉得就是说恰恰就是这些人员劳动 ， 它造就了现在这模型的伟大 。 **曼祺** [55:55] 就是其实那些数据也不不是说直接用的 ， 只是说它它有了 ， 就是可能采集这一步它就成熟了 。 **范浩强** [56:00] 你说真说那具身 ， 对吧 ？ 那现在 YouTube 上那那有可能非常非常大的这些 video data， 那大家有本事你能用起来也行啊 ， 对吧 ？ 那所以实际上我觉得就就可能具身可能要还是先解决就是说 scaling data 之前的一些前置性问题 ， 完了之后才能去踏上这个快车往后走 。 **曼祺** [56:19] 那那个 scaling data 的前置性问题有哪些了 ？ **范浩强** [56:21] 开个玩笑 ， 至少 Table 30 得做到 90% 吧 ， 这才知道我们的算法不缺 major parts 了嘛 ， 对吧 ？ **高阳** [56:29] 对 ， 我我觉得就是 Table 30 做到 90%， 它我我觉得就是沿着现在这条我们在 scale 数据这条路 ， 可能我觉得可能很快 ， 可能很快就会做到 。 然后我自己是不觉得有什么特别大的瓶颈 。 对 ， 可能只是说我们需要去比如说去 develop 算法 ， 让这个算法能够去处理这么多的数据 ， 然后到底这个学习的算法需要进行一些怎么样的一些调校 ， 一些改变 ， 然后包括真实世界的数据采集 ， 我们应该以一个什么样的社会性分工去实施 。 我觉得这些是需要去解的这些问题 ，但我觉得这些问题它并不是说不可解 ， 我觉得它是可解的 ，并且即使我们最开始解的没有那么好 ，也是可以产生很大的效果的 。 对 ，是是 。 **曼祺** [57:21] 接下来就是行业比较共识性的命题 ， 除了刚才提到的就是怎么大规模的获取数据之外， 还有什么呀 ？ ### 落地应用 **范浩强** [57:28] 落地应用方向吧 。 **高阳** [57:29] 对 ， 这可能是一个应用方向 。 这两件事是怎么说呢 ， 就是基础模型能力是决定了你能做啥 ， 然后然后你能做这些东西是有一些商业逻辑背后在那去决策你要不要做这些事情 。 然后对 ，但但我觉得现在的可能主要的瓶颈还是说基础模型的能力还是没有特别特别强 。 所以我觉得落地应用当然可以去做 ，但是可能基础模型的进步是更加紧要的一个事情 。 **范浩强** [58:04] 对 ， 我觉得我们可以想想 LLM 都落地什么场景了 。 据说有好事有统计说是一半流量是去 AI 编程用的 ， 然后剩下的话 ， 比如说就是类似 TLS 搜引擎啊 ， 做做那种问答 ， 可能占了余下的这个 。 对 ，但实际上哪怕它已经是个 AGI 的这么一个表现方式了 ， 实际上它能真正普惠的这个人群和就是替代了生活中的这个环节 ， 没有大家想中的那么多 。 **高阳** [58:29] 那我我这个我有一个不同观点 ， 我觉得它是一个正在孕育变化的一个过程之中 。 **范浩强** [58:36] Maybe maybe。 **高阳** [58:37] 对 ， 就是其实它已经很厉害了 ，但是大家需要一些时间把这个能力真的能转化成比如说我手机的这个助手 ， 对吧 ？ 我就不用什么打开一个外卖软件点了 ， 我就跟他说啊 ， 我想吃巴拉巴拉 。 **范浩强** [58:51] 对对 ， 所以刚刚才我说下应用 ， 比如说 Code 其实把整个 LLM 社区往前推了一大截 ， 对吧 ？ 像 Agentic 其实就又推了一大截 。 对 ， 就最终你会发现就是说能推这个技术走的 ，其实是一种对一个很具象化的应用方式的这么一种想象和思考 。 **高阳** [59:09] 是 ， 对吧 ？ **范浩强** [59:10] 那你说现在机器人除了叠衣服之外干什么呢 ？ 就是机器就是机器人时代里的那个 Coding， 它是什么呢 ？ 我觉得这个可能是一个很核心的这个问题 。 **曼祺** [59:20] 这是个很好的问题 。 有什么备选的答案吗 ？ **高阳** [59:23] 其实这个问题对于 LLM 来讲很简单 ，是因为 LLM 它已经真的无所不能了 。Coding 呢 ， 又是一个很消耗人类智力 ， 然后并且单位价值很高的一个事情 。 但是机器人就我觉得就是如果你说机器人已经无所不能 ， 对吧 ？ 那我把这个房间收拾一下， 对吧 ？ 我很开心 ， 然后什么下楼拿个快递 ， 拿个外卖 ， 什么你有很多很多事情可以去做 。 对 ，但是它现在还没有那么厉害 。 **曼祺** [59:52] 似乎它的规模又非常大 ， 然后这个东西有很高价值的场景好像还比较难想到 。 **范浩强** [59:57] 那种场景一旦出现了 ， 原来那些工业 6 轴加上那个定妆算法 ， 它其实已经在做了 ， 对吧 ？ 它的 baseline 其实很高的 。 **曼祺** [1:00:07] 对 ， 就可能以前的那种传统的机械臂 ， 它已经占据了一些这样的场景 ， 比如说在汽车装配厂里的一些组装那种工作 。 **高阳** [1:00:14] 对 ，其实另一个原因是我们在中国 ， 然后因为中国人力比较充沛嘛 ， 所以可能我们比较难以想想象到一个比如说哎 ， 真的这个很贵 ， 对吧 ？ 我们需要这个机器人一定要机器人帮我们做 。 但是其实在就更多的海外的一些市场 ， 然后人力相对没有那么充裕 ，其实很多东西都需要就是大家付很多钱去做 。 **曼祺** [1:00:39] 欧美的服务也是很贵的 ， 比如说理发 ， 或者你找一个人来收拾房间应该也都很贵 。 **高阳** [1:00:45] 是的 。 **曼祺** [1:00:45] 但它确实比 Coding 我觉得更难的一点在于什么 ？ 在于就它每一个细分的这种服务 ， 就它就它比较分散 。 **高阳** [1:00:51] 对 。 **曼祺** [1:00:51] 但是编程其实它就是几大类嘛 ， 比如说前端可能就已经是能覆盖很广的人群和场景了 ， 比如说我能做一个网页 。 **高阳** [1:01:00] 所以我我觉得机器人就是它是一个怎么说 ， 相对于大模型可能更加分散的一个一个行业的一个形态 。 就我觉得最后行业里可能会出现很多公司 ， 就是垂类的公司 ， 可能这个对吧 ？ 机器人就是做家政的 ， 然后那个机器人就是给你去修房顶的 ， 可能会有很多不同的这种就是 subcategory。 **范浩强** [1:01:24] 就说什么时候就就感觉能看到那个应用 。 我当时刚创业时候 ， 我自己在不停说服我自己 ， 说这个什么时刻来了 ， 我就觉得哎 ， 具身这事肯定能成了 。 当时我想的那个事情说就是能把我家那个被子叠了 。 说为什么呢 ？ 因为我想了半天 ， 就是扫地机器人的厂家和那种电器厂肯定不觉得这事该他干 ， 对吧 ？ 同时这任务呢 ，有点用 ，并且也也没那么 trivial。 所以当时我就想 ， 哎呀 ， 如果说那个算法和这个机器人本身的本体 ， 它的这个负载啊 ， 智能能够说每天我早上起床之后， 我不用管那被子 ， 它自己就能给我叠好 ， 然后晚上一回来的时候 ， 那就是个叠好 。 哎 ， 那我就非常心情非常舒畅 ， 对吧 ？ 哎 ，并且我坚信这个东西肯定原来那些检测分割这套科技做不出来 ， 对吧 ？ 那个我就哎 ， 如果那那天诞生 ， 我觉得那就非常的说服我自己 。 当然了 ， 此时此刻现在肯定还没见着 。 所以我觉得类似这种 ， 像比如像这种家政 ， 或者这种比如说所谓叫做通用的这种简单操作 ， 我觉得可能也许是一个 maybe 是一个第一个大的这么一个方向 。 那现在很多公司也都在瞄瞄准这些问题 ， 这这正在做了 。 **曼祺** [1:02:28] 虽然现在它可能还没有到能在你家叠被子这个状态 ，但是有什么业界的进展 ，是让你看到这个东西的信号了吗 ？ **范浩强** [1:02:34] 至少 PI06 能能在工厂叠那个纸纸盒 ， 还是叠的挺好的 。 **曼祺** [1:02:38] PI06 可以叠纸盒 ， 对吧 ？ **范浩强** [1:02:40] 对对 。 **曼祺** [1:02:40] 因为我看像美国有些公司 ， 比如说那个 Sunday Robotics， 它的展示里是可以把袜子团起来的 ， 然后 Della 它它主攻的方向就是叠毛巾 ， 叠一些软叠衣服 ， 软的东西 。 **范浩强** [1:02:51] 把那袜子团起来简单 ， 你能再给它抠开吗 ？ 你就把那个面翻过来 。其实这些东西它可能考验都不是说你的算法 ，而是说你的硬件 ， 你本身那个精细度和那个就是说负载能力到不到 。 为什么说被子呢 ？ 被子很沉的 。 对 ， 你一个机器人本体能给它拎起来自己不倒 ， 说实话 ， 这可能对硬件都是个很大的挑战 。 **曼祺** [1:03:11] 你的你的这个私藏的任务挺有意思的 ， 看什么时候你们的 RoboChallenge 里面也能把这个叠被子加进去 。 **范浩强** [1:03:18] 我觉得这这这个 ， 我觉得可能是个比较具象化的这么一个想象的这个这个方向吧 。 当然了 ， 你说是不是说大家最终都去做那种所谓叫做家务类的这个 ， 现在家务类的说实话的确在学界算是最火的 ， 这东西任务也很好布置 ，并且它的精度要求也没那么高 ，并且也很考验智能 ， 对吧 ？ 所以大家讲的时候都喜欢讲这个 ，但我相信最终落地商业化的时候肯定还是很很细分的 。 但也许就是说那个大家共识是说 ， 哎呀 ， 这个整体的这个从不可做变可做那 moment 出现 ， 我觉得也许会有那么个时刻 ， 可能就是说真的出现了几个 ， 就是说就当年 ChatGPT 一样 ， 就是说震撼心灵的 demo， 它做出来之后呢 ， 虽然它没做那个任务 ，但你相信 很多别的任务就都能做了 。 对 ，并且更重要的是 ， 我觉得是客户们信了 ， 然后这些需求啊 ， 这些东西它就能够正向的流转起来了 。 这个我觉得是可能是说我觉得叫具身智能的破圈之日 。 就它这个破圈 ，不光要破圈到公众投资人， 我觉得更重要的是客户哪天信了 ，其实那真的就是应用它的爆发之时 。 **曼祺** [1:04:22] 你们觉得这个破圈之日有可能在什么时候出现 ？ **范浩强** [1:04:28] 你高老师怎么去 ？ **曼祺** [1:04:29] 这个是已经比较好预估了 ， 还是有还是挺不确定的 ？ **高阳** [1:04:32] 还有一定不确定性 ，但我自己比较乐观 。 我觉得就破圈它是一个非常非常就是重大的一个事情 ， 就是它是到了其实其实 3.5 GPT-3.5 还不算破圈 ，GPT-4 是真的破圈 ， 对吧 ？ 大概是至少 3.5 到 4 这个阶段 。 我自己的判断是可能会在 3 到 4 年左右 。 **曼祺** [1:04:57] 3 到 4 年左右 ， 那那你说的这个时间比我想的还稍微长一点点 。 **范浩强** [1:05:01] 如果 27 年就是说能有奇迹 ， 那最好 。 那那但没有 ， 那我相信机器人肯定还是个值得长期去做的事情 。 **高阳** [1:05:10] 我觉得就是 3 到 4 年是让普通人看到这个事情 ， 就是但我觉得让从业者看到这个事情是要比这个快很多 ，因为就是就是有一些 early sign， 它对普通人来讲没有那么 impressive。 但是从业者 ， 比如说你从业者一看到一个模型 ， 它可能对吧 ， 后对齐没有对齐的很好 ， 可能它不是特别遵守你的指令 ，但它做什么都很溜 。 只是有时候你告诉它做一个事 ， 它不听你的 ， 或者怎么地的 ， 你就知道这个东西已经马上要来了 ， 你只需要做一些后训练的一些步骤 ， 你就可以做到这个事情 。 **曼祺** [1:05:46] 它现在类比大语言模型的发展的话 ， 可能在一个什么时间点 ？ **高阳** [1:05:51] 我觉得是 GPT-2 左右 。 我不知道小强你觉得呢 ？ **范浩强** [1:05:55] 我感觉差不多 。 就我最喜欢类比是我觉得现在是视觉的 CIFAR 时期 ，ImageNet 还没出现 ，但但是说实话 ， 你从年份上看也不远 。 **高阳** [1:06:04] 对 ， 就是是这样的 ， 就是它历史是一波一波 ECHO， 然后它的 ECHO 的频率越来越快 。 **范浩强** [1:06:12] 感觉是在进入加速进化的前夜 。 **高阳** [1:06:14] 对 。 **曼祺** [1:06:15] CIFAR 和 ImageNet 的区别是什么 ？ **范浩强** [1:06:17] CIFAR 我记得就经典就就 10 个类 ， 对吧 ？ 并且那图很小 ，32 乘 32 的 ， 就你很明显知道这是个 toy example。 就 ImageNet 的时候 ， 它的类非常多 ，1,000 类 ，并且那图都是全分辨率的 。 就你觉得这模型这个能做对 ， 它真能干活了 。 **曼祺** [1:06:30] 所以就说在识别这个任务上，ImageNet 相比于 CIFAR 的话 ， 它是一个更接近真实大家识别的这样一个数据集 ， 对吧 ？ **范浩强** [1:06:38] 所以我感觉现在很像这个说类比宗驾驶 ， 我觉得算不算是类似 ， 比如说那个阿波罗那个时期 ， 就好多公司都在那搞开源的 ， 后面它逐渐收敛成了说大家都去服务客户去了 ， 对吧 ？ 那那那个现在就进入成熟阶段 。 我觉得现在具身可能刚刚可能是就相当于是它已经走出实验室了 ，但是距离走进客户它还有个距离 。 **高阳** [1:06:59] 对对 。 **曼祺** [1:07:00] 我觉得具身这个行业比较特别的一点是 ， 从业者和不是从业者的有时候认知可能差别会非常大 ， 就相比于大语言模型 ，因为它其实对很多人来说 ， 你没有直接接触它的途径 ，但同时大家又传播很多视频 ， 大家又又在很多展会上有很多现场的演示 。 ### 行业认知 **范浩强** [1:07:17] 公众认知的确它会就是领先或落后这个非常久 。 对 ， 我们有开玩笑说法说就搭上 LLM 快车 ， 最好方法是 GPT-2 文章发出来之后重仓英伟达这个 。 所以你就是说其实从业者很多 ，他是能看到那个最早期那些 Sigma 出现的嘛 。 那的确那个时候就会存在一个时期 ， 叫做说从业者们需要向公众证明自己 ， 对吧 ？ 就我们已经看到了 ， 觉得像高老师说的 ，其实具身这条路已经很清晰了 。 但是观众们除非看到那机器人真的在那倒茶倒水叠被子 ， 否则他是不信的 。 那其实这里面它就是有个必然存在的这么一个时时间差的 。 **曼祺** [1:07:51] 我觉得现在是它有的人是认为这个事已经很强了 ， 就是因为我刚才说的大家拍了很多视频 。 **范浩强** [1:07:57] 有反向的反向的差别 。 **高阳** [1:07:59] 大家都在叫什么 ， 叫叫短期内高估 ， 长期内低估这个东西 。 **曼祺** [1:08:03] 是 ， 那这个确实也和就是有有很多这种 demo 的展示有关系 。 **高阳** [1:08:07] 对 ，因为就是普通公众很难理解一个 demo 它的边界在哪里 。 比如说一个机器人在叠衣服 ， 你肯定会觉得哎 ， 这个叠衣服都能叠了 ， 你给我团个袜子吧 ， 把衣服给我放到柜里 ， 这个看起来比叠要简单 。 对 ，但是它并不是这样的 。 对 ， 所以公众因为公众理解的方式是一个对自然人的一个方式 。 **曼祺** [1:08:33] 你们最近这一两年就是遇到的比较常见的对你们所做的这个事情的误解是什么 ？ 我指的是普通人对你们的误解 。 **范浩强** [1:08:41] 我感觉就是完全的两极分化 ， 就一些人是觉得你们这些都是搞视频剪辑的公司 ， 另一些人觉得机器人不早都实现了吗 ？ 当年那个日本搞那些什么仿生机器人不也能碰能不能跳的吗 ？ 对吧 ？ 我感觉它是一个完全的两极分化 。 **高阳** [1:08:55] 而且可能对于一个特定的一个展示的一个 demo， 大家会觉得哎 ， 你你做叠衣服是不是你要这个已经要进家庭了等等等等 ， 就是大家会对一个 demo 有一些就他看到的不仅仅是技术了 。 我们可能最初始做这个东西的目的是我们想看看这个技术到底怎么样 ， 然后对吧 ， 想 advance 这个技术 ， 然后它只是一个像我们阶段性的一个东西 。 对 ，但是公众往往会就是把这个东西联想到说啊 ， 这个马上可以进我家叠衣服吧 。 **曼祺** [1:09:31] 就是会把一个技术展示直接联想到一个应用落地上， 对吧 ？ **高阳** [1:09:34] 对对 ，但是中间还有一定距离 。 **范浩强** [1:09:38] 对 ， 就是很二级化的 ， 就是看你这 demo 觉得哎呀美好 ， 马上实现 。 然后听说一点点你的负面新闻就觉得啊 ， 这都是假的 ，不能信 。 对 ， 就可能我觉得也就是从业者才能看到那个 0 到 1 的那个中间态的那个点 。 **曼祺** [1:09:50] 就是你们觉得这个行业里有什么 ，其实大家是心照不宣 ，但是不太会去公开讨论的事情 。 **范浩强** [1:09:55] Demo，demo 工程 ， 这肯定是一个叫公开的秘密嘛 。 **曼祺** [1:09:59] Demo 工程是指什么 ？ **范浩强** [1:10:00] 比如说在什么微信公众号里或者什么的 ， 就是说你放出一段机器人很厉害做的 ， 就就那背后到底都对应了多少多少多少实际上的这个实现方式 ， 这个事情我觉得算是个公开的秘密吧 。 **高阳** [1:10:12] 对 ， 就有很多视频 ， 比如说一个机器人这个 ， 比如它很厉害 ， 然后什么又爬到这上又搞了一下这个东西 ，但实际上就如果你真的去看的话 ， 那个东西每一个东西的位置都不能变 。 **范浩强** [1:10:26] 你最早看 Figure 那些视频 ， 你觉得机器人已经实现了 。 **高阳** [1:10:29] 对对 。 **曼祺** [1:10:30] Figure 是怎么实现的了 ？ **高阳** [1:10:32] 其实我不是百分之百清楚它的泛化性到底怎么样 。 **范浩强** [1:10:35] 不特指 Figure， 就很多就像刚刚才那个高阳讲的 ， 就是说你不停的去找那个甜区 ， 就刚好这个杯子摆到这的时候 ， 那算法成功的 ， 那你录视频录 demo 时候 ， 你就把这段给它录下来 。 对对吧 ？ 对 ， 然后比如一个事你录 100 遍 ， 把那一遍成功的拿出来给大家看 。 **曼祺** [1:10:51] 那有什么比较简单的方法可以去分辨什么样的视频或者什么样的 demo 是相对真实一些的 ？ 什么样的可能是做了比较多这种 demo 工程呢 ？ **范浩强** [1:11:00] 这个我还真思考过呀 。 我觉得现在主要反而四个 ， 第一个叫 Cherry Pick， 第二个叫视频剪辑 ， 第三个叫遥操作 ， 第四个叫 AIGC。 然后 AIGC 我觉得应该是能分出来的 。 然后最好的方法就是带着大家站在东西面前现场看 ， 这是唯一的光束 。 **曼祺** [1:11:19] 是的是的 。 **高阳** [1:11:20] 所以在 RoboChallenge 社区内 ，其实大家也在讨论这个问题 ， 就有没有种线上的方法能够去 ， 就是说尽可能接近现场带着看的这么一种体验 。 当然了 ， 这个问题学术就作为一个学术问题本身说的话的确挺难的 ， 现在可能还没有一个特别好的这么一个想法 。 **曼祺** [1:11:34] 其实作为一个测评的社区的话 ， 你们可以比如说在那个场地里放摄像头是可以的吗 ？ 就比如说通过远程的监控来看 ， 就会比较接近在现场的状态吗 ？ **高阳** [1:11:43] 就如果你能跟这个 demo 交互的话 。 **曼祺** [1:11:46] 会更好是吧 ？ **高阳** [1:11:47] 对对对 ， 比如说像比如说比如像那种可能 ， 比如说那你怎么防止它是个剪辑的呢 ？ 对 ， 或者说就这里面我觉得其实有挺多 ， 就是 evaluation 本身说的话 ， 就有很多 open question 需要需要被解决 。 像现在大家很多 demo 里 ， 比如说为了防止说后期剪辑加速 ， 一般放个 iPad 的时钟 ， 然后还有些 ， 比如最近有些学术界他们 program 是说你 demo 的时候 ， 每次你要把一个 random 的哈希值放在这 ， 然后来证明是说你这个视频是唯一的 ， 就你不是 Cherry Pick 的 。 就比如说你每个人， 比如说你只能申领一次这个哈希值 ， 然后拍完之后你必须得把含有这个哈希值的视频再传上去做你的 demo 展示 。 然后并且比如这些东西还可以跟什么区块链啊这些东西结合 ， 就就就这个东西展开 。 我觉得说实话本身都是个挺好玩的学术课题的 。 对 ，但但是但肯定现在这是个还没有被解决的问题 ， 就是至少技术方面 。 **曼祺** [1:12:36] 我觉得它还挺有意思 ， 就是它有很多东西是是直接就是你在物理上怎么去给它做一个标记 ， 这个跟那种大语言模型的测评还还挺不一样的 。 **高阳** [1:12:44] 是的 ，因为大语言模型它最好就是它是它能接受 open set 问题 ， 所以你让真实用户去问 ， 这个就几乎就是很难作弊的这么一个事情 。 **曼祺** [1:12:51] 因为大语言模型领域其实也有一些 hack 这个数据集或者 benchmark 的方式嘛 。 那你们可以稍微透露一下， 比如具身领域 ， 据你们所知有什么去 hack 的方式吗 ？ 比如说你们这个 Table 30 出来之后， 我我可以怎么针对性的去优化吗 ？ 以及你们怎么反制这种事情 ？ **范浩强** [1:13:06] 最简单的攻击方法就是你同一个模型同一个任务交个 100 次取最好成绩 。 所以这这这个首先我们规则上我们是取最后一次嘛 ， 所以这个先数学上去砍到 ，其次的话我们也没那么多产能供应来反复提交 。 所以这这个就靠一些这种行业自律来去约束了 。 **曼祺** [1:13:25] 那除了这个之外还有什么 hack 的方式 ？ **范浩强** [1:13:27] 说实话现在防的挺多 ，因为大部分这种水作弊手法都是你自己得能 control 这个 environment，但是像 RoboChallenge 它是在线测评嘛 ， 就是说你是 touch 不到那个环境的 ， 对吧 ？ 那那你顶多是说你背后你不是个模型 ，是个人遥操什么的 。 那这可能是我们目前可能最就是就潜在的最大的这个攻击方法吧 。 **曼祺** [1:13:47] 对 ， 我觉得一涉及到真实世界就挺有意思的 ， 可能你要 hack 只能社会工程学了 。 **范浩强** [1:13:52] 对 ，是的 ， 来我们这应聘这个这个测试员是吧 ？ **曼祺** [1:13:56] 其实你说到这个 ， 我想起来以前就是比如说你要是去一些工厂里面 ， 或者说去一些那种制造业企业的大客户 ，因为它有那个就是 POC 验证的环节嘛 。 就比如说以前就有创始人跟我说 ， 你就一定要打点好这个测试体系里的从上到下的所有人， 就是你不要让它来害你 ，因为你 POC 可能同时比如是测测很多家嘛 ， 对不对 ？ **范浩强** [1:14:16] 那可能打点打点那条机械臂比较重要 ， 别测别测一边卡了 ， 别测一边挂了 。 **曼祺** [1:14:22] 因为你们是一个商业公司 ， 就你们做这个事它肯定也会有投入人， 也会有一些这个 ， 包括你比如说买设备换设备也有经费的一些东西 。 你们长期是怎么怎么怎么去考虑这个事情 ？ **范浩强** [1:14:33] 对外提供测评服务 ， 相对于我们对内提供测评服务来讲 ， 这是一个 a fraction 嘛 ， 就是因为我们自己内部就非常大量的去评估模型的这些这些需求 ， 所以实际上 。 **曼祺** [1:14:44] 它不是一个很大的额外的成本 。 **范浩强** [1:14:46] 对 ， 我觉得就目前至少还在可负担的这个范围内吧 。 当然了 ， 就是有更多的公司一起来做 ， 一起来分担 ， 这肯定是更好的 。 ### 2026悬念 **曼祺** [1:14:53] 最后想请两位分享一下， 就是你们接下来一年 2026 年， 你们想验证的一个悬念是什么 ？ **范浩强** [1:14:59] 我先说吧 ， 我特别想知道那个具身的 DeepSeek moment 能不能到 。 **高阳** [1:15:03] 你想中国超越美国 。 **范浩强** [1:15:04] 对 ， 就是这个 ， 就是就是以前比如看很多国外工作都是心里只能剩个羡慕 。 我想看看是不是说这个 ， 就是说国内国外的这个追上的这个时间点能在 26 年最终能够见证到 。 我觉得就当时比如到做视觉的时候 ， 曾经看 Google 那些工作 ，也真的就是那种天外来物的感觉 ，但是其实做个几年之后慢慢发现其实也能追上 。 **曼祺** [1:15:27] 你们从看 Google 东西天外来物到追上大概中间是当时是花了多久 ？ **范浩强** [1:15:32] 其实也没多久 ， 比如像那个比如人脸最早那个 Google 它做那种什么几千个服务器生成一张那个猫脸的那个工作 ，其实到比如说我们人脸 ， 我们就说 Human Performance 其实是国内国外一起做到的 ，其实我感觉也就三年， 其实其实时间是挺快的 。 **曼祺** [1:15:49] 而现在的这个节奏可能更快了 。 **范浩强** [1:15:51] Exactly，因为现在大家的做实验代码都是 Codex， 都是 cursor 写出来的 ， 比当年的这个生产力高多了 。 **曼祺** [1:15:59] 是 ， 进行一下去验证看会不会发生的 26 年是否会有具身领域的 DeepSeek 时刻 。 **高阳** [1:16:05] 对 ，其实我关于中美之间的叙事的这个东西可能会更少一些 ，但我 26 年最期待的还是说就是具身的这个基础模型 ， 我们到底能让它对吧 ， 到底能让它能不能让它到 GPT-3 对吧 ， 能不能让它甚至到 GPT-3.5。 对 ， 我对这个东西非常非常期待 ，并且但是我先今天啊 ， 今天的我非常有自信啊 ， 可能这个有有可能干了几个月可能会更有自信 ，也可能就没有自信了 。 对 。 **曼祺** [1:16:38] 从你就是开始做机器人， 包括你创业到现在 ， 你这个自信是一直比较高 ， 还是中间有什么波动啊 ？ 如果有波动是当时发生了什么 ？ **高阳** [1:16:47] 我觉得是越来越高了 ， 越来越高了 。 对 ，因为很多东西看的越来越清楚了 。 对 ， 就是很多可能最开始困扰的一些疑惑 ， 它变得越来越少 ， 变得越来越确定 ， 所以我觉得是越来越自信了 。 对 。 **曼祺** [1:17:04] 那今天非常感谢两位做客晚点聊 ， 分享了从 RoboChallenge 开始聊的这个行业里之前是怎么测评的 ， 然后为什么现在可能大家在 VLA 之后是非常希望一个更大规模的 ， 然后来比更多模型的能力的这样一个测评的社区和平台 。 然后我们也从这个话题延展到了就是现在具身模型是一个什么样的状态 ，其实和很多人想象的不一样 ， 就是它一方面没有视频里展现的那么厉害 ，但是绝对也不是就一些人说的可能什么都做不出来的 ， 全部都是泡沫的一个东西 。其实你们作为从业者是能每天每天感受到这个东西的进步和进展的 。 那今天的节目就到这里 ， 感谢大家的观看 ， 各位拜拜 。 **高阳** [1:17:44] 拜拜 。 **曼祺** [1:17:47] 本期零点呈现将讲做了多期具身智能访谈后的一些总结和观察 ， 大家也可以去听几期晚点聊直接相关的节目 ， 一是上一期访谈他时创始人陈毅伦 ， 还有 112 期我们对高阳的专访 ，以及 86 期对清华插院许华哲的专访 。 高阳和许华哲都曾在伯克利 BAIR 攻读博士 ， 第一个总结是关于具身的大的框架 ， 或者说可以从几个维度去观察 ， 简单来说是数据 、 模型还有硬件 ，其中数据和模型是和智能能力直接相关的部分 。 行业的共识是数据是当前的最大议题 ， 更准确的说是如何规模化且相对低成本的获取大量有效的数据 ，也就是小强在这期里说的 Scaling Data 是 2026 年的一个行业主题 ，以及陈毅伦在上期提到的三道观察中的第一道就是数据 ，而怎么获取数据则是现在行业分歧所在 。 有些是从视频里来学 ，也有人侧重真机 ， 真机数据又可以分为比较重的去做遥操采集 ， 它的质量是最高的 ，但是很贵 ，因为你需要造一个机器人， 或者至少是一个同构的结构才好做遥操 。 而现在很火的一个方向是 UMI， 简单来说就是让工作中的人带着可穿戴设备来采集真实场景里的真实工作数据 。Generalist 还有 Sunday Robotics 和他时都有这样的尝试 ，26 年我们肯定会看到更多团队有类似的工作 。在模型架构上，VLA 或者说端到端是当前最主流的方向 ，但是怎么做 VLA， 包括怎么理解 VLA， 每个团队也都有不同的想法 ， 比如高阳在这期提到也可以是 VLTA，T 这里是指触觉 。 小强也提到 VLA 不一定是要像现在最主流做法那样以 LLM 就是大语言模型为基座 ， 它也可以是以视频为基座 。 硬件则是一个更跨学科的问题 ， 它要实现的目标很多 ， 包括寿命 、 耐久性 、 可靠性 、 精度 、 负载等等 ， 还有续航背后需要能源材料的突破 。 理论上智能也就是大脑和小脑的部分和硬件的部分是可以结构分开的 ， 所以在海外也有一些只做大脑和小脑而不做本体的创业公司 。 但是从研发迭代的速度和落地应用的角度来说 ， 软硬垂直整合可能会有一些优势 ， 我们看到大量中国公司都是大脑和本体一起做 ， 这样也可以利用国内的供应链的优势 。 另一个观察视角就是具身团队的来源 ， 我们访谈过的对象刚好涵盖了几种主要的来源 ， 第一是来自自动驾驶领域 ， 比如陈毅伦 ，他是华为前自动驾驶的首席科学家 ， 类似的还有新海图的创始人高继阳曾在 Waymo 和 Momenta 工作 ， 质检动力的两位创始人贾鹏和王凯都曾在理想工作 。 二是一直做 Robotics 学术研究的人， 比如高阳 、 许华哲 。 三是来自其他的 AI 领域 ， 如 CV 计算机视觉 ， 范浩强就有很强的 CV 背景 ， 同一个公司里几个主要联创的背景也会有互补 ， 比如在新海图 ， 高继阳有更多的工业界经验 ，在清华任教的赵航则有更多研究背景 ，在千寻 ， 高阳的创业合作伙伴 ， 千寻的创始人韩丰涛来自洛石 ， 这是一家国产协作机器人公司 ， 韩丰涛有很强的工业界经验 。 这两个视角其实指向了具身智能一个共通的特点 ， 就是这是一个非常跨学科跨领域的创业方向 。 这是具身智能目前让人感觉比较混乱 、 难以看清和头大的地方 ，也是它很有意思的地方 。 可以想象这不是一个巨头靠砸资源就能快速取得成效的领域 ， 未来它还会有很多变数 ， 我们可以一起观察 ， 一起见证 。 本期节目就到这里 ， 欢迎收听 。 如果你对今天聊的话题有观察 、 好奇或疑问 ， 欢迎在评论区分享想法 ， 这也会成为我们节目的一部分 ， 让整个讨论更完整 。 你也可以把我们的节目分享给对这个话题感兴趣的朋友 ， 欢迎推荐更多你想听的主题和嘉宾 。 你可以从小宇宙 、 苹果 Podcast 等渠道关注晚点聊 LateTalk，也欢迎关注我们的公众号晚点 LatePost。 下期再见 。 --- 本节目库由 PodHood（https://podhood.com）提供支持——播客网站平台。