# 59: AI 3D 生成会有“抖音时刻”吗？与 VAST 聊人人玩 3D 的未来 | AI 大爆炸 晚点聊 LateTalk · 2024-02-01 本期对话 AI 3D 生成公司 VAST 创始人宋亚宸（Simon）与 CTO 梁鼎，两人提出：3D 内容将延续文字、图片、视频的演进路径，从高门槛的 3A 内容走向大众创作，第一步是做出大众级 3D 生成工具。VAST 去年开源了 Wonder3D，并上线产品 Tripo，支持文字和图片生成 3D 模型，已生成超 30 万个模型。他们解释技术现状：Tripo 背后是多种模型组合，且 3D 表示（Mesh、NeRF 等）尚未定型，这与 2D 图形有本质区别。他们预测生成效果在 2024 年底达到 Midjourney V4 水平，2025 年初达 V5，届时出现工具成熟的“Midjourney 时刻”，随后会迎来内容平台爆发的“抖音时刻”，头显成熟只是充分不必要条件。他们还谈到，VAST 的差异在于面向大众创作者而非替代 Blender 等专业软件，并拥有大量 3D 原生数据集；长期壁垒在产品和社区运营。最后讨论了年轻 AI 创业者：团队里既有连续创业的老炮也有年轻人，老炮避坑、年轻人敢冲。 ## Questions this episode answers ### 宋亚宸说的“Midjourney时刻”和“抖音时刻”分别指什么？ 宋亚宸用“Midjourney时刻”指3D生成工具成熟的里程碑：效果达到Midjourney V4、V5水平，预计2024年Q4到2025年初到来；“抖音时刻”指3D内容平台爆发，标志是一种可被跟风、模仿的3D原生内容范式诞生，边际创作成本无限接近零。 [23:57](https://latetalk.podhood.com/71642384-22dd-4381-afb5-e06fc8990c4c?t=1437000) ### 3D生成现在到了什么水平？ 宋亚宸说，2022年9月DreamFusion让3D生成成为可能；到2023年9月行业做到Midjourney V2水平；截至2024年1月已达Midjourney V2.5，预计2024年3月达V3、2024年Q4达V4、2025年初达V5。 [14:19](https://latetalk.podhood.com/71642384-22dd-4381-afb5-e06fc8990c4c?t=859000) ### 3D生成和文生图、大语言模型在技术上的核心区别是什么？ 宋亚宸说，3D生成产品是多模块组成的系统性工程，不是单一端到端算法；梁鼎补充，3D表示仍在探索，Mesh、NeRF、Gaussian Splatting、SDF都不够用，而2D图像是矩阵、文本是token，因此3D与ChatGPT、Midjourney有本质区别。 [11:52](https://latetalk.podhood.com/71642384-22dd-4381-afb5-e06fc8990c4c?t=712000) ### VAST正在内测的3D内容平台是什么？ 宋亚宸说，VAST内测的3D内容托管平台可理解为“3D的TikTok”，解决3D内容的存储、托管、展示、分享和体验；已有1000多个开发者在里面创作。玩法包括自己造3D鬼屋请朋友来体验，也有开发者做了Tripo Go，让不同的人生成的3D模型对战并偷取对方的prompt。 [16:32](https://latetalk.podhood.com/71642384-22dd-4381-afb5-e06fc8990c4c?t=992000) ## Key moments - **[0:00] 开场** - [0:57] VAST 的开源项目 Wonder3D 去年 10 月上线，三个月内获近 4000 颗 GitHub Star，可从单张 2D 图片生成 3D 模型 - **[2:03] 创业缘起** - [2:31] 梁鼎：从文字、图片到视频、3D 是信息载体升维过程，3D 是唯一双向互动、让用户代入自己角色的内容形态 - [3:41] 梁鼎：「3D 的创作门槛非常高，创作成本也非常高，它缺乏大众级别的创作者工具」 - [6:01] 宋亚宸：3D 内容爆发第一步是大众级创作者工具，第二步是 3D 内容平台，平台永远发生在工具之后 - **[7:17] Tripo产品** - [7:24] VAST 首款产品 Tripo 于 2023 年底上线，支持文字和图片生成 3D 模型，已生成超 30 万个模型 - **[8:17] 技术原理** - [8:34] 宋亚宸：Tripo 背后是多个模型组合的系统工程，文字/图片只是控制条件，并非同一个单一模型 - [10:54] 宋亚宸：3D 生成的大方向已收敛，业界普遍先用几秒生成粗糙模型，再用优化方式得到更精细模型 - **[11:52] 3D表示** - [11:52] 梁鼎：3D 生成与文生图的本质区别是 3D 表示仍未定型，NeRF、Gaussian Splatting、SDF 目前都不够用 - **[13:50] 大众化节点** - [14:19] 宋亚宸预测：3D 生成已到 MJ V2.5，2024 年 3 月达 V3，Q4 达 V4，2025 年初达 V5 水平 - [16:26] VAST 正在内测 3D 内容托管平台，已有 1000 多个开发者在上面创作各种 3D 内容 - **[17:10] 内容平台** - [17:17] 宋亚宸：「可以理解为一个 3D 的 TikTok」 - [19:06] 宋亚宸：全球已有大几千万 3D 内容创作者，但从业者约 100 万，专业建模师仅 10 万 - [21:28] 宋亚宸：有用户花两个月手 K 1:1 高达，却只能搬去现场展示或发截图，没有平台让他驾驶高达战斗 - **[22:26] 用户玩法** - [22:41] 宋亚宸：有用户做 3D 鬼屋请朋友体验，用 jump scare 僵尸吓人，是约会看恐怖片的 3D 升级 - **[23:57] 抖音时刻** - [24:41] 宋亚宸：全球三四十亿游戏玩家、市场已两三千亿美元，游戏比整个视频行业市场更大，3D 内容很大众 - [26:07] 宋亚宸预测：未来 2—3 年 3D 模型数量至少翻 5—10 倍，3D 生成对应近千亿美元市场 - [27:12] 宋亚宸：3D 的抖音时刻将诞生一种可被跟风模仿的原生内容范式，并逐渐形成新内容品类 - [27:58] 宋亚宸：XR 是 3D 内容爆发的充分不必要条件，Kindle 成熟前起点小说平台早已爆发 - [30:53] VAST 已开始为 Vision Pro 做 3D 生成开发，生态开发者已把其 3D API 接入其他 XR 体验 - **[31:13] 竞争格局** - [31:40] 宋亚宸：Luma、Meshy 更偏专业 3D 用户，VAST 则像 Midjourney 一样面向业余创作者和 UGC - [33:22] 宋亚宸：3D 生成领域核心论文作者基本是中国人/华人，中国团队在该赛道不落后于海外 - [35:01] 宋亚宸：VAST 技术三优势是技术路线领先、高质量 3D 原生数据集、清华/商汤/腾讯/Adobe/Google 人才 - **[36:18] 数据壁垒** - [37:48] 宋亚宸：3D 生成远期壁垒在产品与社区、开发者运营，算法本身扩散很快 - [38:11] VAST 开发者用工具做出 Tripo Go：不同用户生成的 3D 模型互相对战，赢家可偷走对手 prompt - [40:54] 宋亚宸：Tripo 上线后先迎来大流量，之后保持稳步增长，不到一个月生成 30 多万个模型 - **[41:02] 年轻创始人** - [41:50] Q: 这波 AI 创业，最后跑出来的创始人画像是什么？ - [42:57] 宋亚宸：创业者因共同愿景聚在一起，像海贼王相信 One Piece，也有人看到成本从几千元降到几分钱而入局 - [44:49] 宋亚宸：创业老炮能提前避坑、承受波折，年轻人初生牛犊不怕虎、没有包袱敢全力拼 ## Speakers - **曼祺** (host) - **宋亚宸** (guest) - **梁鼎** (guest) ## Topics AI模型团队动态 ## Mentioned Luma (company), MiniMax (company), VAST (company), 商汤 (company), Blender (product), DreamFusion (product), Gaussian Splatting (product), Meshy (product), Midjourney (product), NERF (product), Roblox (product), SDF (product), Tripo (product), Tripo Go (product), Wonder3D (product) ## Transcript ### 开场 **曼祺** [0:08] 大家好 ， 欢迎收听本期的 《 晚点聊 》。 我是主播曼祺 ， 今天仍然是 "AI 大爆炸 " 系列 。在这个系列里 ， 我们会关注一个一个 AI 公司或产品的创业和开发故事 ，也希望由此逐渐覆盖 AI 版图的各个面向 。 我们会陆续邀请 AI 创业公司 、 投资人和从业者 ， 欢迎大家推荐嘉宾人选 。 本期我们关注 AIGC 领域的一个方向 ：3D 图形生成 。 很高兴邀请到了这个领域的一家新公司 VAST 的创始人和 CEO，Saman 宋亚宸 ，以及 VAST 的 CTO 梁鼎来做分享 。 两位可以和我们的听众打一个招呼 。 **宋亚宸** [0:42] 嗨 ， 大家好 ， 我是宋亚宸 Simon。 **梁鼎** [0:44] 大家好 ， 我是梁鼎 。 **曼祺** [0:46] 最初让 VAST 开始有一些声量的 ，是你们在去年 10 月 ， 就是 23 年 10 月 ， 上线 Github 的一个开源项目 ， 叫 Wonder3D。 如果特别关注这个领域的人， 我想可能是有所耳闻的 。 它是可以根据单张 2D 的图片就生成 3D 模型 ， 三个月来也是获得了近 4000 颗的新 。 现在 VAST 也上线了自己的第一个产品 ， 叫做 Tripo， 然后这是一个可以同时用文字描述和图像来生成 3D 模型的产品 。 那 Tripo 这个产品正好是涵盖如今 3D 生成的两个主要方向 ： 一是 2D 到 3D，也就是从图片到 3D 模型 ； 另外一个就是文字到 3D。Saman 也是一位非常年轻的创始人 ，他是 97 年生人， 所以我第一次见到的时候我也是比较吃惊 ，因为他看起来要更老成一点 。 所以今天我们会大概聊三个话题 ： 一个是 VAST 的创业历程 ， 正好通过你们的创业故事也可以讲讲 3D 生成的一些技术和研发的过程 ； 另外一个就是你们作为从业者观察到的 3D 生成现在的市场情况和一些竞争格局 。 最后可以是聊一聊这一波 AI 创业中， 一些比较年轻的创业者经历了什么 、 感受了什么 。 我知道 VAST 是 2023 年初 ChatGPT 引发 AI 热潮之前开始创业的 ， 当时其实资本市场也比较冷 ，AI 3D 生成这可能也是就一般会觉得比较小众的一个方向 。 就是为什么你们想在这个领域创业 ， 正好也可以讲讲你们之前的经历 。 ### 创业缘起 **梁鼎** [2:07] 我是 2019 年、2020 年就开始在商汤做 AIGC 3D。 那个时候做过 AI 加动画 ，也做过 AI 加游戏 ， 自己也做过一些 AI 加动画的 2C 的尝试 ， 包括 AI 加游戏 2C 的尝试 。 那说实话 ， 最早期为什么开始想做 3D 呢 ？ 从文字到图片到视频到 3D， 它是一个信息载体不断地升维的过程 ， 它的信息密度在不断地提升 ， 它的体验质量也在不断地提升 。 同时 3D 是唯一有双向互动的 ， 它跟环境和里面的其他的人物都进行一个双向的互动 。 你在体验 3D 的内容的时候 ， 你其实扮演的是你自己 ， 你代入的是你自己的角色 。 但是在体验文字或者图片或者视频内容的时候 ， 你在体验的是比如说张无忌的人生 、 火影里面的鸣人的人生 ， 或者说吃播的这个播主的人生 ， 那你其实没有办法去改变他们的视角和他们的体验 。 但在 3D， 或者包括比如说更好理解的游戏里面 ， 比如说一些 MMO 的游戏 ， 你代入的是你自己的一个思维和你自己的一个视角去体验这个内容 。 那为什么做 3D 生成这个事情呢 ？ 其实说文字 、 图片 、 视频都有属于自己的大众级别的创作者工具 ， 比如说文字有自己的打字法 。 那我们在路边随便说实话 ， 拉一个大爷 ，他去发一个微博 ，其实是很简单的事情 ； 他去拍一个照 ， 去 P 一个图 ，也是件很简单的事情 ； 他去拍一个抖音 ，其实也是个简单的事情 。 但是 3D 其实是很难的 ，不要说在门口拉一个 ， 就算你在我们这栋楼各家去找 ，其实你能找到说会做 3D 内容的人也是非常少见的 。 我身边的朋友能做 3D 的屈指可数 。 所以说呢 ，他的创作门槛是非常高的 ，他的创作的成本也是非常高的 ，他缺乏大众级别的创作者的一个创作工具 。 那我们整体再来说说 3D 生成为什么会有这么大的价值 ， 就是因为我们看到从文字到图片到视频到 3D， 这些信息载体的历史的面签是非常的相似 ， 或者非常的形似的 。 所以一开始它们都属于 3A 的内容 ， 比如说金庸的武侠小说 ， 你看朗基罗的壁画 ， 包括比如说这个电影 ， 比如说 《 阿凡达 》， 它们都属于 a lot of people，a lot of time，a lot of money， 几百个人几年时间干一亿美金干出来的东西 。 当然现在所有的游戏在我的理解里面 ， 它都属于 3A，不光包括 《 赛博朋克 2077》， 它包括比如说 《 圆梦之心 》 啊 、《 蛋仔派对 》 啊 、《 王者荣耀 》 啊 ， 甚至 《 原神 》， 它都属于 3A 的内容 ， 至少 a lot of people，a lot of time，a lot of money。 直到一个内容它出现了一个大众级别的创作者工具了以后， 这个内容才会得到第一阶段的爆发 。 就比如说打字法刚刚提到的 ， 或者手机的前后摄像头 ， 这些大众级的创作者工具出现了以后， 它其实做到了两件事情 。 第一件事情呢 ， 就是降低了大家创作的门槛 ， 让更多的人能参与到创作当中 ； 第二呢 ， 就是说它把创作的边际成本无限接近于零 。其实第二点是更加重要的 。 打个比方 ，以前图片的创作的门槛其实是非常高的 ， 就画油画 、 画国画 ， 对吧 ， 它的创作成本也非常的高 ，因为以前的颜料也是非常贵的 。 你会发现西方的艺术史 ， 它充满了题材 ， 包括了比如说耶稣 、 圣母 、 贵族的画像 。 为什么 ？ 因为只有教会和贵族是有付费能力的 ， 否则你像梵高一样会饿死 。 所以它的品类非常单一 ， 主题也非常的单一 。 直到说 ， 哎 ， 它出现了大众级别的创作者工具 ， 每个人都可以通过手绘板也好 、 摄像头也好 ， 或者 P 图软件也好 ， 去创作图片内容了以后， 它才会出现像 Instagram 这样子的一些平台 。 那我们说这是为什么我们认为大众级别的创作者工具是非常重要的 。 那一旦出现了大众级别的创作者工具 ， 它就会需要有一个内容的平台 ， 我们叫做内容的 hosting。 为什么呢 ？ 因为其实也很简单 ， 那么多人参与到这个创作当中， 并且他不需要比如说为了赚钱 ，他其实说自己的爱好 ， 或者玩一个梗啊 ， 或者大家一起因为自己的兴趣去做一些这种鬼畜的东西 。 那么这些人他怎么把这个内容去做存储 、 托管 、 演示 、 分享 ， 或者让消费者体验 ，他就会需要有个 hosting 去承载这部分的内容 。 我们把这个就叫做内容平台 。 内容平台的商业化和它的价值是被历史上无数次验证的 。 **曼祺** [5:57] 所以你们创业是要做内容平台最终 ？ **梁鼎** [6:01] 我们希望说实现 3D 内容的最终的爆发 ， 那它的第一步就是一个大众级别的创作者工具 ， 第二步就是一个 3D 的内容平台 。 但是内容平台永远发生在大众级的创作者工具之后， 所以大众级的创作工具是我们现在花最多时间在的地方 。 我们先会把大众级的创作工具做好 ， 内容平台我们希望我们能做 。 但是说实话 ， 这个市面上其实有很多的大厂也好 ， 创业公司也好 ， 都在积极的去看到了 3D 内容平台的这个空白 。 就比如说 Roblox， 包括腾讯的 《 圆梦之心 》、 网易的 《 蛋仔派对 》、 优易也有自己的 UGC 引擎等等 ， 大家其实都在看到了 3D 是缺乏这个 hosting 的 。 但是大家没有想到 ， 或者说我觉得很重要的一个点是在于 ， 需要有一个大众级的创作者工具这件事情 ， 它才会出现平台 。 我们往回倒 ， 我们会发现文字也是一样的 ， 先有打字法 ， 再有起点 ， 先有手绘板 ， 然后才有比如说快看漫画 ， 它一定是这样子的过程 。 先有手机的前后摄像头 ， 才会出现比如说抖音 、 快手 。 **曼祺** [6:58] 我总结下来就是你们有一个比较宏大的设想 ，是说未来 3D 内容会像图片和文字在历史上那样 ， 变成一个非常普及的 ， 全民都可以自己创作的内容形态 。 然后做这件事 ， 实现那个长远目标的第一步 ，是先有一个大众级的创作工具 ， 然后这就是你们现在正在做的事 ， 对吧 ？ **梁鼎** [7:15] 没错 ，3D 的打字法 。 **曼祺** [7:17] OK，3D 的打字法 ， 这个比喻挺好的 。 我自己也试了一下你们的产品 ， 就是那个 Tripo。 两位可以先简单介绍一下 Tripo。 ### Tripo产品 **梁鼎** [7:24] 好 ， 我们的 Tripo 是 2023 年底上线的 ， 那我们可以通过文字或者图片等等的一些输入去生成一个 3D 的模型 。 我们到现在为止已经有 30 多万的模型被生成出来了 。Tripo 是一个网页的 App， 大家可以去点击 tripo3d.ai 就可以搜索到我们 。 可以理解为它是一个大众级别的创作者工具 ， 就有点像比如说剪映 ， 或者说是这种手机的前后摄像头 ， 它让更多的一些用户和开发者可以去创作 3D 内容 。 因为原来我们要去创作 3D 内容 ， 可能你得学习怎么用 Blender 啊 、ZBrush 啊等等的一些建模软件 ， 它的门槛是非常高的 ， 学习成本也是非常高的 。 但你通过现在 ， 哎 ， 通过用我们的 Tripo， 它可以用文字或者图片 ， 或者其他多模态的方式 ， 非常低成本 、 低门槛的去创作 3D 内容了 。 这是一个我们本质的一个变化 。 **曼祺** [8:17] 我觉得正好可以借这个产品聊一下， 就是现在 3D 生成背后是一些什么技术 。 因为从 Tripo 的界面来看 ， 它是可以实现用文字来生成 3D 的 ，也是可以用 2D 图片来生成 3D 的 。 ### 技术原理 **曼祺** [8:29] 我首先想问一下， 你们现在这两个功能 ， 它背后是同一个模型吗 ？ 还是说两个不同的模型 ？ **梁鼎** [8:34] 是这样子的 ， 我们讲到的其实用文本控制也好 ， 用图片控制也好 ， 它都是一种控制的条件 ， 或者说我们用户的一种输入 ， 它本质上其实没有特别大的区别 。 对于算法流程来讲 ， 它可能说只是不同的一个形态 ， 我们的整体的这个思路也好 ， 构建的方式也好 ， 没有太大的区别 ，但是它的模型可能还是会有一些细微的区别 。 就可能说在文字生成 3D 模型的过程中， 它可能用了一些方式把文字转成了图片也好 ， 转成了 3D 也好 ， 这个过程基于的那些原理是一样的 ，但是它不会是同一个模型 。 以及说我们在用文本生成 3D 或者图片生成 3D 的时候 ，其实也不只是用了单一的一个模型 ，是用了一些模型进行了一些组合 ， 得到了一个这种最终的结果 。 **曼祺** [9:20] 因为 ChatGPT 的话 ， 可能一般人会更熟悉一些 ， 它背后用的是 Transformer 结构的一个大语言模型 ，但是在图形领域 ，不管是 2D 和 3D，其实是有很多其他的模型和方法的 。 可以给我们听众科普一下 。 **梁鼎** [9:34] 首先我们会去看用文本或者图片生成 3D， 它的表达形式是什么样 ，因为 3D 的表达有多种多样的 。 比如说我们对于一些公开的论文来看 ，有一些比如说是用 Gaussian Splatting 去做的 ， 比如说 Dream Gaussian 这样的一些工作 ， 它就是直接用图片生成了一个 Gaussian 的表示 ， 那它这是一个单一的模块 。 那比如说像 Wonder3D， 它可能用了一些从图片到多视图 ， 包括 Normal， 包括 RGB， 然后再生成一个 3D 模型这样一些流程 。 那对于我们 Tripo 的产品来讲 ，其实它背后也是有多个模块组成的 ， 它是一个系统性的工程 。 比如说 2D 的 Diffusion 我们是会用到的 ， 比如说 Transformer 也是会用到的 ，但是这些东西其实在里边都是其中的一个环节 。 然后另一个点来说 ， 我们可以看到 Tripo 的产品是有一个进一步 generate 的一个环节 ， 这个环节的话是一个优化的过程 。 优化的过程的话 ，其实会用到的更多比如说 Diffusion 的技术 ，以及像一些优化的技术 ， 这些东西结合到一起以后， 我们可以得到一个更精确 、 更细腻的一个模型 。 **曼祺** [10:34] 3D 生成这个领域相比于其他的生成 ， 比如说文字的生成和 2D 图形的生成 ，是不是它还处在一个更发散的阶段 ？ 因为其实在文字生成领域 ， 我觉得现在大家基本上都是在学 OpenAI 的 ，有一个比较统一的目标大家在去追的 。 那现在 3D 领域是不是还没有到这个阶段 ？ 就它是一个更早的阶段 。 **梁鼎** [10:54] 总体上来说 ， 大家的思路是比较收敛的 ，其实大家的产品体验上都是分了两个阶段的 。 第一个阶段可能在几秒钟或者一个一分钟的时间内 ， 可以生成一个粗糙的 3D 模型 ， 然后我们再去用优化的方式得到一个更精细的模型 。 那这种两阶段的方式其实是目前大家比较一致的 。 但是对于具体刚才我们讲的一个阶段里边 ， 可能一些具体的细节 ， 比如有的公司可能用了三个模块 ，有的公司可能用了两个模块 ， 大家在这方面还是有些细微的差别 。 **宋亚宸** [11:23] 我来补充一下， 就其实可以理解为我们的产品 ， 或者其他的现在上线的产品 ， 它其实都是一个系统性工程 ， 它里面包括了非常多的模块在里面 ， 它不是一个单一论文端到端的算法 ， 就跟 GPT 一样 ， 它也是多个模块去组成的 。 所以我们看到说刚刚梁鼎也提到了有一些论文 ， 那这些论文它其实都是在某一个模块里面有一些优化和进步 ， 包括我们自己也发了很多论文 ， 那这些其实就是在单一的一些模块里面去做了一些优化 ， 这是很大的一个区别 。 ### 3D表示 **梁鼎** [11:52] 那对于我们更关心的其实是 3D 的一个表示 ，3D 的表示我们也在不断的去创新 ，因为目前来看 ， 比如说 NeRF 也好 ，Gaussian Splatting 也好 ，SDF 也好 ，其实都对于我们目前来讲是不够用的 ， 我们还觉得有更好的表示需要去提出来 。 所以在这一块我们需要去积极的去探索 。 这一块也是跟刚才您讲到 ChatGPT 也好 ， 然后 Midjourney 这种文生图的也好 ， 大家是一个本质的区别 。 因为图片其实就是一个 2D 的矩阵 ， 它的表达形式是一个固定的 ， 文本其实就是一些 text， 然后转成了一些 token， 这个也是固定的 ，他们不需要在这方面去探索了 。 但是 3D 的表示我们还需要去不断的探索 。 **曼祺** [12:30] OK， 所以 3D 生成现在在技术上的一个状态 ， 就是大家的大的模块的目标是相似的 ，但是怎么实现方法会有些不一样 ，以及就是你刚才说的一个和文字图片很不一样的本质区别 ，是其实最终表示并没有定型 ， 没有完全固定化 ， 对吧 ？ **梁鼎** [12:47] 是的 。 **曼祺** [12:48] 你们现在选的是 Mesh。 **梁鼎** [12:49] 对 ， 就我们最终产生的是 Mesh，但是我们中间其实要用一些其他的表达形式来最终帮助我们得到一个更好的 Mesh。 **曼祺** [12:57] 明白 ， 就是中间的那个状态没有定型 。 **梁鼎** [13:00] 是的 ，是的 。 **曼祺** [13:01] 你也可以简单解释一下 Mesh， 这个可能也是我觉得大家会有时候看 3D 领域的一些文章会讲 ， 比如说 Mesh， 然后 NeRF 或者 SDF 之类的 。 **梁鼎** [13:09] Mesh 是一种表达形式 ， 它更多是一种用顶点面来表达的一种立体的结构 ， 可能是三角面 ，也可能是四边面 ， 或者是多边形 ， 那它其实都是一些显式的表达 。 那刚才讲到我们可能有 SDF 或者有 NeRF、Gaussian Splatting 等一些其他的表达形式 ， 这些表达形式是我们在做深度学习或者说做图形学里边常见的一些表达形式 ， 那它可能是为了我们做更好的生成也好 ， 理解也好 ， 训练也好 ， 它提出的一些形式 ， 这些形式有的是隐式的 ，有的是显式的 。 那这些东西其实是不能在我们常用的这些 DCC 软件里边使用的 ，但是它能够作为一种中间的形态 ， 方便我们去做各种样的训练也好 ， 学习也好 。 ### 大众化节点 **曼祺** [13:50] 我觉得现在 Tripo 可能对我这样的 3D 小白来说 ， 还是会比较难的 。 比如说它生成一个模型 ， 可能我看它下下来之后是 GLB 格式的 ， 那我之前可能都没有见过这样的后缀 ， 它应该是要用某种专门的 3D 编辑的软件才可以打开 ， 然后我才可以对它进行进一步的调整 。 所以你们现在就是 ， 比如说你们会做什么事情 ， 或者你们计划做什么事情 ， 让这个东西真的说能到大众级了 ，以及你觉得到什么时候它有可能会是大众级了 ？ **宋亚宸** [14:19] 我觉得它分为两个大点 。 第一个大点呢 ， 就是现在生成的效果其实还是不够的 。 我们看到 2022 年的 9 月份 ，3D 的生成变成了可能 ， 再到 2023 年的 9 月份 ， 一年的时间 ， 基本上行业已经把它做到了 Midjourney V2 的水平 。 **曼祺** [14:36] 22 年 9 月发生了什么事 ？ **宋亚宸** [14:38] 我们刚刚发了一个 DreamFusion， 它让 3D 生成变成了可能 。 到 2023 年的 9 月份 ， 这一年的时间 ， 或者说学术界和行业一起把它做到了 Midjourney V2 的这个水平 。 到现在为止 ， 现在是 2024 年的 1 月份 ， 我们已经达到了 Midjourney V2.5 的水平 ， 比 3 还差一点 ，但是比 2 已经要好了 。 我们预计到 2024 年的 3 月份 ， 它可以达到 Midjourney V3 的水平 ， 然后到 2024 年的 Q4， 它可以达到 Midjourney V4 的水平 ，2025 年初才会达到 Midjourney V5 的水平 。 这是我们对于整体的技术的 milestone 的理解 。 **曼祺** [15:12] 可能要解释一下 V4、V5 意味着什么 。 **宋亚宸** [15:15] 这个其实从用户体验上来说 ，其实我觉得是无需解释的 。 你去体验一下 Midjourney 的 V3、V4、V5， 你会发现 ， 哎 ， 它的体验是非常的有阶段性的 。 你再去对比 ， 比如说 Tripo 我们去生成的这个效果 ， 你其实有非常直观的 ， 或者说主观的一个感受 ， 这个东西其实是大家会有认知的 。 那它意味着更多的是一些商业化的一些区别 。 当现在比如说生成的 Midjourney V2.5 的这个水平 ， 那它在比如说游戏啊 ， 包括影视啊 ， 包括动画啊等等行业 ，其实还不能完全的用起来 ， 或者说尤其在一些核心的资产上 ，其实还不是说能用的完全就能替代 。 **曼祺** [15:50] 就是因为它效果上比较粗糙是吧 ？ **宋亚宸** [15:52] 效果上可能精度达不到啊 ， 包括里面的一些比如说拓扑啊等等的这些东西还没有达到 。 但是呢 ，在一些比较 niche 的一些场景里面 ， 就是比较窄的一些具体的场景里面 ，其实已经是能发挥一些商业的价值了 。 这是我们现在的这个阶段 。 我们预计的到今年的 Q4，Midjourney V4 的那个水平 ， 它就基本上能达到说仅次于人手工去做 3D 模型的那个效果了 。 那它就可以类似于 Midjourney V4， 对吧 ？ 那个时候已经开始替代一些简单的人类的画师了 。 就比如说我们去做公众号 ， 那些题图 ， 包括你自己的一些头像 ， 它就是可以去用 Midjourney 去生成了 。 然后第二个大点呢 ， 就是刚刚您说的说 ， 哎呦 ， 我这里可以生成一个 GLB 的文件 ，但是我不知道怎么样去把这个东西玩起来 。 这也是为什么我们在做一个内容平台 ， 当然这个已经在内测当中， 有 1,000 多个开发者在里面去创作一些各种各样的有意思的 3D 内容 。 那么它的核心就像您说的 ， 我怎么样去托管 ， 去展示 ， 去分享 ， 或者说去让别人体验 ， 或者是消费我生成的 3D 内容 ， 那就需要有个 hosting。 就像比如说如果之前有打字法 ，但是没有一个微博 ， 那你打出来放哪 ， 或者连 doc 都没有 ， 那你打出来有什么用呢 ？ 现在就属于说我们先把这个打字法做好 ， 然后它才会出现内容平台 。 对 ， 然后这个内容平台你就可以去 ， 哎 ， 生成 ， 然后去放在里面 ， 让它可以甚至做一些游戏性的玩法 ，是让别人可以消费了 。 **曼祺** [17:10] 你说的你们已经在内测的有 1,000 多个开发者在用的这个 hosting，是我可以在上面在线的去改模型是吧 ？ ### 内容平台 **宋亚宸** [17:17] 对 ， 可以理解为是一个 3D 的 TikTok， 改不改模型不是最关键的事情 。 **曼祺** [17:21] 你觉得最关键是说和其他人互动 ？ **宋亚宸** [17:24] 对 ， 或者它不是一个互动吧 ， 就是刚刚说到的 ， 就是存储 、 托管 、 展示 、 分享 、 交流 。 **曼祺** [17:29] 但是我为什么要分享展示 3D 内容啊 ？ 这其实是你刚说的那个大逻辑里面 ， 我觉得还有一个可能大家会去挑战的点是说 ， 文字和图像这个是已经被历史验证了 ， 人是靠这个东西去传播信息的 ， 对吧 ？ 或者你去靠它社交娱乐 ， 或者你去学知识什么的 。 那大家去做 3D 内容和分享 3D 内容 ， 除了已经看到的现成的需求 ， 就是在游戏和影视里面 ， 它是有很多现成的需求的 。 普通人做这个事 ， 它的动机或者目的是什么 ？ **宋亚宸** [17:57] 其实刚刚提到了文字 、 图片和视频 ，其实这些东西之前都不是用来传递信息的 ， 这些东西之前都是艺术 ， 比如说文学 ， 比如说这个画画 ， 比如说电影 ， 我们把游戏叫做第九艺术 。 为什么这些之前都叫做艺术 ？ 因为它是 3A 的 ， 直到它有了大众级别的创作者工具以后， 它才不再成为艺术 ， 大家才能够去用它去分享自己的想法 ， 去传递自己的信息 ， 去体验这方面的内容 。 我举个例子 ， 比如说我们最早期大家看到很多这种金庸的一些小说啊 ， 包括比如说 《 三侠五义 》 啊 ， 或者四大名著啊 ， 海外的一些名著 ，其实它都是非常的这个固定化的 ， 爱恨情仇 ， 跌宕起伏的一些剧情 。 它不会出现比如说一些这个菜谱啊 ， 或者说我对这个公司喜欢不喜欢 ， 就是麦麦这样子的平台上面的一些信息 。 它早期也是一个个的作品 ， 跟现在的游戏其实是一模一样的 。 那现在也是说 ， 哎 ， 完整的一个有点击率 、 流程率 、 付费率的一个个作品 ，其实它跟艺术没有任何的区别 ， 直到说我可以让你非常低成本的 、 低门槛的去创作这方面的内容了以后， 大家才会说 ， 哎 ， 我们一起去创作这样子的内容 ， 才会去分享去体验 。 但是我们就算它现在这么高门槛 ， 这么高成本去创作 3D 内容的时候 ， 现在全球已经有中大几千万的 3D 的内容创作者 ， 工作了只有 100 万人， 这 100 万人里只有 10 万人是建模师 。 **曼祺** [19:18] OK， 所以这大几千万人他们在干什么 ？ **宋亚宸** [19:20] Exactly， 就是很好的问题 ， 就是说有中大几千万人， 首先啊 ， 这个数字其实很简单 ，Blender 的每个版本的更新基本上都有两三千万的下载量 ， 那还不包括其他的一些 DCC 建模软件啊 ， 包括引擎啊等等的 。 我们就回来说就是 ， 哎 ， 那这帮人是谁 ？ 他们每天在干嘛 ？ 为什么要这么高门槛 ， 这么高成本的去创作 3D 内容 ， 然后它用来是干什么的 ？ 我们往回倒 ， 我们还是看历史 ， 从文字到图片到视频其实是一样的 。 视频在 2005 年之前 ， 还 1882 年电影就被发明了嘛 ， 对吧 ？ 到 2005 年之前 ， 你会发现说大家对于电影也是不理解的 ， 你会去无空八大佬拍电影吗 ？ 其实不会的 ，在 2005 年人没有人会无空八大佬去拍电影 。 大家其实你要去想的就是谁是从业者 ， 好莱坞 、 宝莱坞 、 横店 ， 就是视频行业的从业者 ， 就只有这三类人， 这三个地方的人加在一起可能也是 100 万人， 这里面的摄影师大概也就 10 万人。 摄影这件事情的门槛也很高 ， 创作成本也很高 。 但是呢 ，有没有一些业余的创作者呢 ？ 有的 ，而且这些人群有非常多 。 我父亲是 95 年从日本买了我们家第一台摄像机 ，他拍了我 《 牙牙学语 》 啊 、《 盘山学步 》 啊 、《 国际家讲话 》 啊 、《 出去玩 》 啊各种 ，但那个时候他也没有地方去放的 ， 那没有什么内容平台 ， 没有什么 B 站啊 、YouTube 啊 、 什么土豆网那都没有 。他能干的就是亲友聚会的时候 ， 给什么老同学啊 ， 给这个外婆啊 ， 对吧 ， 给我奶奶啊 ， 大家去看一下 。他说 ：" 哦 ， 这 孩子好可爱 。" 当了 ，他不会做任何的剪辑 ，他也没有消费人群 。 然后那个时候你也不知道他在做这些事 ，因为他没有一个所谓的存储 、 托管 、 分享 、 交流的一个平台 。 但是他是不是创作者 ？ 他当然是 ，他是业余创作者 ，而且那个时候的创作门槛也极高了 。 那时候摄像机不便宜 ，而且那剪辑那更没话说了 。 那我们再往回倒 ， 文字 ， 我从小喜欢看玄幻小说 ， 然后我在这个小学的时候就开始写玄幻小说了 。 我自己写 ， 当然写得很差了 ， 然后初中自己还就有个小本子 ， 写得还挺多的 。 我的同桌喜欢看那个 《 霸道总裁 》 上我 ， 所以说我没法给他看 。 那我给谁看呢 ？ 我爸妈也没法看 ， 那我爷爷奶奶根本看给他们看都被被骂死 。 那我就只能写着了 ， 直到说 ， 哎 ， 我有自己的电脑 ， 然后我可以用这里面的打字法 ， 然后我发现有个起点小说网的一个内容平台 ， 我在上面更新 ， 我还真的在上面更新了 ， 更新了十几章 。 直到有这样内容平台了以后， 大家才能够去看到说 ， 哎 ， 我写的东西 。 但是我算不算文字创作者 ？ 我当然算 。 好 ， 那我们回到 3D， 比如说我们有个用户花了两个月时间 ， 手 K 了一个 1:1 的高达 ， 非常牛逼 ， 很精细啊 ， 然后里面的这个不管是几何还是材质还是里面都可以发激光啊 ， 这哥们就花了两个月时间哼哧哼哧做了一个 3D 模型 。他现在能干两件事情 ： 第一 ， 飞到北京来 ， 然后在我们这把他的主机打开给大家看 ， 说 ：" 哇 ， 牛逼吧 ！" 我们大家说一声 ：" 牛逼 ！" 他再搬回去 ， 这是一种方式 。 第二种方式就是截个图发 Twitter，但他想干的是什么 ？ 他想干的是我开的这个高达 ， 全打奥特曼 ， 脚踢哥斯拉 ， 这是他想干的事情 。 但是他是没有这样的平台去做这些事情 ，但是他是热爱这个事情的 。 为什么会有这么多人， 包括你去看 B 站也好 ， 或者说你去看这个很多平台也好 ，其实有大量的相关的一些视频 ， 包括比如说 Minecraft， 很多人其实你说 Minecraft 是个游戏 ，其实很多人是为了建造很多东西 ， 去创造很多东西 ， 包括很多 Roblox 的一些开发者 。他其实就是说我希望去创作一些 3D 的内容 ，但是我是没有这样子的这个低门槛的 、 低成本的这个工具去创作的 。 **曼祺** [22:26] 就是你们现在做了这个平台之后， 就是那个可以分享和存储和展示 3D 模型和内容的平台上， 你看到了什么具体的你觉得比较好玩的一些玩法 ？ ### 用户玩法 **曼祺** [22:37] 可能是你之前没有想到 ， 然后你觉得哇 ， 用户居然会这么去用这个东西 。 **宋亚宸** [22:41] 我觉得其实蛮简单的 ， 它其实就是一些之前的老的需求的一些升级或者升维 。 就我打个比方 ，以前我们会看恐怖片 ， 尤其是这个约会的时候 ， 大家一起看恐怖片 ， 然后呢 ， 现在他就玩自己做了个鬼屋 ， 然后呢 ， 就邀请朋友进来 ， 然后呢 ， 去体验 ， 然后他会有很多种 jump scare，他就突然啪一个吓你一跳 ， 一个僵尸出来 ， 啪吓你一跳 。 这个东西就是通过 3D 去实现的 。 **曼祺** [23:04] 他这个鬼屋他其实就像一个小游戏一样是吧 ？ **宋亚宸** [23:07] 游戏其实是一个非常偷懒的说法 。 什么叫游戏 ？MMO、SLG、 三消 、 下围棋 ， 这个 《 原神 》《 王者荣耀 》 这样子的 MOBA， 这都属于游戏 。 但它每个中间的差距可能比拼多多和美团和滴滴和起点小说网的差距还大 。 它里面有一定的游戏性 ，但它可能没有什么数值啊 ， 或者说是一些这种攻击方式啊 ， 没有些战斗方式啊这些东西 ，但它就是一个很有意思的一个鬼屋 。 我再打个比方 ， 里面有比如说这种钓鱼模拟器 、 打猎的模拟器 。 **曼祺** [23:37] 那我现在如果比如说我想去看这些内容的话 ， 就是我去 ， 它是一个网页版的 。 **宋亚宸** [23:43] 你不是去 ， 你是去玩 。 **曼祺** [23:43] 对 ， 我是去玩 ， 我就去体验这些内容 。 它是一个网页版的网址 ， 我进去 。 **宋亚宸** [23:47] 不是 ， 我们是在 PC 端现在啊 ， 之后也会兼容 XR。 **曼祺** [23:50] 所以它以后会是一个 XR 头显或者设备上的一个 APP。 **宋亚宸** [23:53] 一个内容平台 ， 你可以理解为是一个抖音 ，3D 的抖音 。 **曼祺** [23:57] 我听你聊完之后 ，其实我获得的启发是 ， 可能未来这个 3D 生成在应用或者商业上， 它有两个重要的节点 ， 一个是我们可以叫 Midjourney 时刻吧 ， 就是你说它到了 V4 或者 V5 的这个状态 。 ### 抖音时刻 **曼祺** [24:09] 它是在工具上相对成熟的一个时刻 ， 然后另一个可能是抖音时刻 ， 就是它在内容的制作和消费上一个爆发的时刻 。 我觉得它作为工具 ， 这个需求可能是相对确定的 ，因为现在毕竟已经有以前不说那些业余玩的人， 就职业上来说也有很多人在做游戏 、 做影视 ， 它是有这个 3D 模型的需求的 。 那关于这个抖音时刻是否会真的到来 ，因为你们也见很多投资人嘛 ， 我不知道就是你收到的一些反面的反馈意见可能是什么 ，以及你为什么觉得它确实是会到来的 。 **宋亚宸** [24:41] 我先说一个点哈 ， 我不知道大家听众会不会说有过打游戏的经验 ， 现在就是玩过游戏的 ， 就是体验过所谓的 3D 内容 。 当然我认为游戏未来会是一种 3D 内容 ， 它不会是绝对的 100% 的 3D 内容都是游戏 ，但是有一部分的 3D 内容叫做游戏 。 比如说 B 站现在有 20 个 Tab，其中有一个 Tab 叫做影视 ， 这个影视里面的二级菜单里面有个叫电影的东西 ， 所以电影现在在整个视频的这个内容品类里面 ，其实这个很小众的品类了 ， 大概是 200 多亿美金的市场吧 。 那么所有的视频的这个市场大概是两三千亿美金的市场 。 那我们就回来 ， 我们会说到这个游戏 ， 就是我想说的就是说其实它是一个很大众的东西 ， 它比大家想象中的大众和接受度高 。 现在大概有三四十亿人是游戏玩家 ， 全球 ，并且它全球的市场已经达到两三千亿美金了 。 它比整个视频到整个行业加在一起的市场空间都要大 ，在它没有爆发之前 。 **曼祺** [25:31] 你们有算过 ， 我先不说第二种 ， 就抖音时刻是否到来 ， 就只算第一种 ，3D 作为一种游戏或者影视里的制作工具的一环节 ， 这个市场规模有多大 ？ 就是在你刚刚说的这个几千亿里面 ， 它这个环节占多少 ？ **宋亚宸** [25:44] 就是我如果我们从静态的角度去说 ， 那我们其实不光给游戏影视了 ， 包括很多我们那些合作的一些客户 ， 包括 3D 打印啊 、 元宇宙啊 、 数字孪生啊 、 教育啊 、 社交啊等等的 ， 它都会涉及 。 因为其实游戏影视动画它只是一个文娱项目 ， 一个 3D 的内容的一个场景 ，其实我们看到 3D 基本上各行各业都在二级转三级的大趋势当中 。 我们就是说未来我们认为啊 ， 至少两到三年之内 ， 它的 3D 的模型的数量会至少翻五到十倍 ， 就是比现有的翻五到十倍 。 **曼祺** [26:17] 就仅仅是作为工具 ， 可能就这样一个市场规模 ， 对吧 ？ **宋亚宸** [26:20] 对对对 。 **曼祺** [26:20] 对应的市场规模的价值你们有测算过吗 ？ **宋亚宸** [26:22] 我们认为它至少是一个近千亿美金的一个市场 。 对 ，但是我觉得动态是更加关键的 ， 就是我们拿一个静态的角度去说手机前后摄像头 ， 你说哎 ， 我把这个东西去给好莱坞的人用 ， 那好莱坞不会用手机去拍摄 ， 就是去拍电影的 ， 对吧 ？ 真正的这个所谓的你去找那些画家 ，也不是说他用 P2 软件去搞 ， 这不不 make sense， 对吧 ？ 那么我们就话说回来 ， 就是说我们真正的用户还是这些所谓的 UGC 的一些开发者 ， 大家是因为它的创作的门槛的降低 ， 所以说涌进来的这些创作者 。 那么抖音时刻我觉得是关键的 ， 就是你刚说的抖音时刻其实是关键的 。 那我觉得它的 milestone 大概是这样子的 ， 最一开始就是我们先说这个技术的成熟 ，在 2024 年底的时候 ， 它可以达到 Midjourney 大概 V4 的水平 ， 大概在 2025 年的时候 ， 它能达到 Midjourney V5 的水平 ， 这样子呢 ， 所谓的 3D 打字法就获得了成熟 。 那下一步呢 ， 就是说呃 ，3D 内容平台的一个竞争就会开始了 。 那它的一个标志性的时刻呢 ，其实也很简单 ， 它就是一个 3D 的原生的新的那种范式的诞生 。 就比如说 TikTok 早期的一些潮流的拍摄方式 ， 抖音的一些比如说颜值的主播的这种跳舞的视频 ， 包括快手的一些搞笑和猎奇的一些 ， 就它会有一些新的内容范式的诞生 。 那因为它的创作的边际成本无限接近于零 ， 所以大家会不断的翻拍这样子的一些内容范式 ， 它就会逐渐形成一个内容品类 ， 这个会是一个非常重要的一个节点 ， 这个才是一个抖音时刻的到来 。 **曼祺** [27:45] 这个内容范式简单来说是某一种可以被模仿和跟风的爆款是吗 ？ **宋亚宸** [27:51] 没错没错 。 **曼祺** [27:52] 那这个爆款的前置条件又是什么呢 ？ 比如说头显的成熟是一个条件吗 ？VR、AR 头显的成熟 。 **宋亚宸** [27:58] OK， 我们聊到就是 XR 啊 ， 这个呢其实呃 ， 我们是非常的这个注重的 。 我们最近那个 Vision Pro 也买了两台 。 **曼祺** [28:06] 什么时候期到啊 ？ **宋亚宸** [28:07] 啊 ， 就春节前后吧 ， 然后我们就会拿过来 。 然后我们自己本身团队里面有比如说光子引擎的这个创始人， 然后包括之前做这个 VR 这个内容工具 ， 就是我们欧里的首席的这个 CTO 啊等等 ， 就是我们有一些本身在 VR 行业深耕过很久的一些呃 ，不管是科学家也好 ， 还是说是开发者也好 ， 我们对这个是非常关注的 。 但是我认为 VR 或者是 XR 它是一个 bonus， 它不是一个必要条件 。 **曼祺** [28:32] 你觉得是个加持而已 。 **宋亚宸** [28:34] 充分不必要条件啊 。 为什么我们这么说呢 ？ 就是我不知道大家有没有这样子的体验 ，因为我自己可能比较年轻 ， 我自己的体验呢非常的有戏剧性 。 因为我刚刚也说到特别喜欢看玄幻小说 ， 我在小学的时候呢 ，因为我从小就住校 ， 我会拿一个手电筒 ， 然后那个时候看 《 诛仙 》， 那个 《 诛仙 》 的那个纸质的书啊 ， 然后在那被窝里面打着手电筒看 ， 很伤眼睛的 。 后来呢 ，在初中应该是初一的时候吧 ， 就是大家开始拿 MP3 看小说了 。 那 MP3 呢 ，其实它上面只有一行字 ， 那一行字可能就十几个字符吧 ，也不发亮哈 。 然后就那时候是让你看这个歌名和歌词的 ， 一个玄幻小说可能五六百万字吧 ， 那你得用 50 万下他才能够把这本小说看完 ， 大家也就摁了 。 它绝对不是一个所谓的原生的一个最适合文字这种内容承载的一个硬件 。Of course not。 后来出现了 MP4 啊 ， 那一个屏幕里面大概有 50 多个字吧 ， 啊 ， 那你也得按 10 万下你才能看完 。 那后来还有小霸王学习机啊 ， 我后来出国了嘛 ， 我是在这个美国使用小霸王学习机假装在那边翻译啊 ， 就看的玄幻小说 。 我想说的是什么呢 ？ 就等 Kindle 出来了以后 ，其实起点小说网早就爆发了 。 对 ，其实 Kindle 它确实是最好的 ， 最原生的能够去体验这种文字内容的一种形式 ，但是它绝对是个 bonus， 它让它的体验有进一步的提升啊 ， 它有这种翻页的感觉啊 ， 它有这种水墨可以到处带着啊 ， 然后里面有更多的存储空间啊等等的啊 。 我觉得 XR 也是类似的 ， 就是说那为什么我们很小的时候玩那个 Game Boy、NDS、PSP， 然后后来从掌机到比如说后来我玩主机游戏 ， 后来玩 PC 一开始网页游戏 ， 后来是客户端的游戏 ， 然后之后是 Steam， 然后玩手游 ，其实这些屏幕像你说它可能不是一个原生的 3D 的表现形式 ， 它看上去你要从视觉角上来说它是 2D 的 ，但这些其实都是 3D 内容 。 但最终比如说 XR 的出现 ， 对吧 ， 我们判断两三年对吧 ，XR 它能更成熟 ， 然后它有更多的一些这种 3D 的内容体验或整体会更好 ， 消费者会有更沉浸的 3D 体验 ， 这个是 of course 的事情 ，但是我觉得它不是一个必要条件 。 那个时候之前可能大众级的创作的工具会先诞生 ， 就是打字法会先诞生 ， 再其次是一个内容平台的诞生 ， 然后有大量的开发者涌进 ， 然后开始做各种各样的一些 3D 内容 ， 然后 XR 的趋向于绝对成熟啊 ， 然后有更多的人把它从移动端和 PC 端把这些 3D 内容去移植到 XR 上去 。 我们认为这是一个可能的一个节奏 。 **曼祺** [30:50] 你们会针对 Vision Pro 做一些开发吗 ？ **宋亚宸** [30:53] 会的 ， 我们其实已经在做了 。 就 3D 生成和 Vision Pro 本身 ， 它是一个非常容易结合的一个点 ， 还有很多体验其实是一些全新的体验 。 而且我们本身自己有一些生态的开发者 ，他们已经开始在 XR 的一些 ， 当然可能不是 Vision Pro， 然后在一些其他的 XR 的这些体验里面 ， 已经开始去把我们的 3D 的 API 接进去了 。 ### 竞争格局 **曼祺** [31:13] 你刚才也提到说 ，其实很多大小公司也是注意到 3D 内容的平台是有一个空白的 。 如果往前说一步的话 ，在 3D 生成工具上其实也是大小公司都在做嘛 ， 比如说刚才你们有提到谷歌的 DreamFusion， 对吧 ， 然后英伟达也做了 Magic 3D、Get 3D、OpenAI 有 Point-E、Shape-E， 小一点的公司里面刚才也有提到 ， 包括 Meshy AI 然后 Luma 这些 。 所以在这些同行里面 ， 你们自己比较在意的是哪些公司啊 ？ **宋亚宸** [31:40] 我觉得两方面吧 ， 一方面呢 ， 就是一些大厂 ， 像比如说英伟达呀 、 谷歌啊 、OpenAI 啊 、Meta 啊等等的 ， 包括 Adobe 这些大厂 ， 本身它有大量的资源和算力 ， 那么它们也和一些数据的一些平台去进行合作 ， 那么这会是在学术的这个领域上非常在意的一些这个所谓的竞争对手吧 。 那另外呢 ， 就是说刚才你也提到说有一些其他的一些生成的工具也陆续上线了 。 **曼祺** [32:06] 对 ， 就是创业公司的 。 **宋亚宸** [32:07] 对对对 ， 创业公司 ，但它们可能会偏向于打一些专业用户更多一些 。 **曼祺** [32:12] 你说它们要更 to be too 专业的 3D 模型的制作者的意思吗 ？ **宋亚宸** [32:17] 我们看到的是这样子的情况 。 **曼祺** [32:19] 就你们会更 too 大众 ， 对吧 ？ **宋亚宸** [32:21] 对 ， 我们更希望去 too 大众 ， 就像比如说 Midjourney 一样 ， 它是一些更多的偏 UGC 或者业余创作者为主 。 **曼祺** [32:27] 如果完整的介绍 ，因为你刚才提到 API 嘛 ， 所以你们现在是 to be 和 too 大众都是有的 。 **宋亚宸** [32:32] 对 ， 然后我们的所谓的 to be 其实更多的 too developers， 当然有些 developers 本身就在 B 里面啊 ， 就在一些这种大厂里面 。 对 ， 那本身就 towards 他们 。 然后我想说一下， 就是 3D 生成其实是一个非常新的一个领域 ， 它在 2022 年的 9 月份诞生 ， 到现在为止其实也就是一年多的时间 。 那在这个一年多的时间内 ， 我们发现它的发展速度越来越快 ， 它慢慢的从一个可能一个比较全新的一个赛道变成了一个说实话一个显学 。 最近不管是我们开源的各种各样的一些论文 ， 或者开源的各种各样的项目 ， 或者了 GitHub， 包括 Hugging Face 的一些火爆的关注 ， 还是说我们自己也在去贡献一些学术的论文 ， 去让大家能够去在这个里面走得更快 ， 就会发现不管它的论文数也好 ， 它的开源的项目也好 ， 它的整体的进展是越来越快的 。 就是我想说这它是一个非常新的领域 ， 然后呢 ， 我们看到中国人和华人的学者 ，其实他的想法是比较灵活的 ，他会更敏锐的去抓住到说哎 ， 这个更贴近于应用的一个滴垂的果实 。 所以我们看到说 3D 生成这个领域的核心的论文的 ， 尤其是核心的作者 ， 基本上都是中国人和华人为主 。 所以反而中国人华人在这件事情上， 或者在这个赛道上是有一个领先的优势的 ， 我们并不比海外的一些公司做得差 。 **曼祺** [33:49] 那中国人之间咯 ，其实 Luma 还有 Meshy 应该里面都是有中国的团队的 。 **宋亚宸** [33:54] 我觉得更重要的是大家长期是想要做什么 ， 就是你是想做一个 3D 的开发者工具 ， 还是说你是希望做替代这些 Blender、3D Max、Maya、Houdini、ZBrush， 就是我觉得大家的大的方向不完全是一致的 ， 这是第一 。 第二呢 ， 就是说这个市场也很大啊 ， 所以说我们倒不是说一个就是零和博弈的一个过程 ，因为这个东西也才刚刚开始 ， 这也是为什么我们不断的去发一些论文啊 ， 去开源啊 ， 包括梁鼎自己也会组织一些这种学术的分享和讨论等等的 ， 就是我们希望这个行业走得越来越快 。 然后我们也欢迎大家去尝试去使用不同的一些这种 3D 的创作者工具 ，不管是刚刚您提到的一些 Luma 也好 ，Meshy 也好 ， 包括像我们的 Tripo 也好等等的 ， 大家也可以去做一些比较 。 **曼祺** [34:36] 我想你们常会被问到一个问题 ， 就是 VAST 现在比别人强 ， 或者说有差异化的地方是什么 ？ 其实你刚才说了一个 ， 就是你们的定位和你们看到的未来的机会是不一样的 。 你刚才说可能有一些人他是想替代现在的一些 3D 的工具 ， 然后你们可能是想做这种更 too 大众的 3D 内容的制作的工具 ， 这两个定位是不太一样 。 除了这个之外， 你有什么地方你觉得是你们比别人强 ， 或者有差异化的吗 ？ **宋亚宸** [35:01] 我觉得主要是两个点 。 第一个点呢 ， 就是技术 。 第二个点呢 ， 就是产品 。 我们在技术上面呢 ， 啊 ， 主要有三个优势 。 第一个优势呢 ， 就是我们的技术路线的领先性 ， 这个刚刚梁鼎也提到了 。 第二个优势呢 ， 就是我们的高质量的 3D 原生数据集的量 ， 这个其实是一个非常大的一个门槛 ， 或者说一个壁垒 。 第三呢 ， 就是说我们的人才 ， 我们基本上聚拢了像清华呀 、 商汤啊 、 腾讯啊 、Adobe 啊 、 谷歌啊等等的不同的大厂里面最优秀的一些做 3D 相关的一些 ， 包括图形学相关的一些人才 。 这三个点呢 ，是让我们的技术目前处于一个比较领先的状态 ，并且持续能保持领先的一个比较核心的一个点 。 第二大部分呢 ， 就是产品 。 我们产品呢 ， 我觉得第一其实是来自于我们的信仰 ， 就像我刚刚提到的 ， 我们相信 3D 的内容会得到一个大的爆发 。 那么它最重要的一个点就是需要一个大众级别的创作者工具 ， 当然基于这个大众级的创作者工具之后会演化出来一些新的 3D 的内容平台 ， 我们认为这是一个上限非常非常高的一个市场的一个机会 。 **曼祺** [36:08] 对 ， 这个产品其实就是跟你的定位是相关的 。 **宋亚宸** [36:11] 没错 。 **曼祺** [36:12] 你刚才说到那个数据 ， 这个我想补充问一下啊 ，3D 原生数据集这个 3D 原生是指什么意思啊 ？ ### 数据壁垒 **宋亚宸** [36:18] 就是说是建模师用人工去创作出来的一些 3D 的模型 ， 主要是游戏啊 、 动画啊 、 影视为主 。 **曼祺** [36:27] 因为 3D 生成的一个卡点之一 ，其实就是 3D 的数据要比 2D 图形要少非常多嘛 ， 就是它可能有好几个数量级上的差距啊 。 你们是怎么有这么多数据的 ？ **宋亚宸** [36:38] 我觉得任何行业的数据其实最重要的点就是两件事情 。 第一呢 ， 就是行业的认知 ； 第二呢 ， 就是行业的资源 。 行业的认知呢 ， 就是我自己特别喜欢打游戏 ，并且我们一些团队里的成员其实也是资深的一些游戏爱好者和行业从业者 ， 包括游戏啊 、 动画啊等等的 。 所以对于我们来说 ， 我们知道在 3D 的各个环节内有哪一些犄角旮旯是拥有大量的数据的 ， 这个是一个认知层面上的一个东西 。 **曼祺** [37:07] 但是这个犄角旮旯不方便举例是吧 ？ 这是算是你们 know-how 上的一些 。 **宋亚宸** [37:11] 核心竞争力 。 对 。 第二方面呢 ， 就是行业的资源 ， 这也很好理解 ， 就是我们有不少对外的同学都是在这个行业摸爬滚打可能近 10 年的 ， 所以对于 3D 的上下游其实可以刷脸或者白嫖很多合适的数据 ， 这也对我们来说也是很关键 。 **曼祺** [37:27] 那长期来说 ， 你觉得这个行业的长期的壁垒可能在哪 ？ 我问这个问题有一个前提啊 ， 就是我觉得算法可能它本身是很难成为一个长期壁垒的 ，因为算法其实扩散的比较快嘛 。 那过了一段时间之后， 行业里的公司可能会在一个比较相似的水位 。 所以如果你们这个方向要有长期竞争力的话 ， 要往什么方向优化 ？ **宋亚宸** [37:48] 我觉得它和产品和运营有非常大的关系 。 那一方面呢 ， 就是我们现在在产品层面上是主要面对一些业余的一些创作者为主 ， 别看他们是业余的创作者 ，但是他们会利用我们的工具去做了很多很有意思的东西 ，也去开发一些不管是 demo 啊 、 还是 PV 啊 、 还是动画 、 还是社交的产品啊 、 还是游戏啊等等的 。 我就举个例子哈 ， 前段时间应该是 12 月底吧 ， 就是去年年底的时候 ，有一个我们的一个内测的开发者 ，他做了一个叫 Tripo Go 的一个产品 。 **曼祺** [38:22] Tripo Go。 **宋亚宸** [38:22] 对对对 。 然后这个产品呢 ，其实也很简单 ， 就是你生成一个 3D 模型 ， 我生成一个 3D 模型 ， 我们俩互相打 ， 打赢的那个人呢 ， 可以偷对面的 prompt。 **曼祺** [38:32] 打的意思是它是带动 ， 你们这模型是带动态的吗 ？ **宋亚宸** [38:35] 可能有一些特效啊 ， 然后战斗啊 ， 就可以这么理解 。 比如说我举个例子 ， 你做了一个这个特朗普坐轮椅 ， 我做了一个孙悟空开飞机 ， 然后我打赢了以后呢 ， 我就变成了一个孙悟空坐着轮椅开飞机 ， 然后它就可以不断的在进化 ，不断的在打斗 ，不断的在进化 。 这是那个开发者做的 。 **曼祺** [38:53] 它怎么判定孙悟空开飞机要赢过特朗普坐轮椅啊 ？ **宋亚宸** [38:56] 它会里面有一些数值体系在里面 ， 它给你打赢了 ， 你就会越来越强 ， 越来越强 ， 你就可以打更多的人。 **曼祺** [39:02] 就这个模型 ， 当你一旦生成之后， 它是带一个数值体系的是吧 ？ **宋亚宸** [39:05] 没有 ， 这些都是游戏性的一些玩法 。 **曼祺** [39:07] 明白 。 这这个也是那个就你们的用户自己设计的 ？ **宋亚宸** [39:10] 这是一个 Web App， 它就是一个 Web App。 它就把那个链接发到 Reddit 上面 ， 然后说哎 ， 同志们看这东西牛不牛逼啊 ， 然后我们是后来才知道的 。 然后后来我们知道的时候 ， 那个帖子都被官方给删掉了 。 **曼祺** [39:22] 这是一个中国的用户吗 ？ **宋亚宸** [39:24] 对 ， 一个中国人， 一个华人。 **曼祺** [39:25] 你们现在就是在做这个运营 ，在做产品推广的时候 ， 你们是倾向于更多 too 海外， 还是国内 ， 还是没有区分的 ？ **宋亚宸** [39:32] 其实不太好控制 ， 就是我们原来是 too 欧美比较多一些 ，但是我们欧美现在也是比较多的用户是欧美的 。 但是后来比如说像巴西啊 、 日本啊 ， 就会突然火了 ， 这个我们也不太能理解 。 **曼祺** [39:44] 你们主要通过什么渠道 ， 比如说 Reddit、Discord 还是啥 ？ **宋亚宸** [39:47] 包括 Twitter， 包括其实我们这个东西发了以后， 大家其实会产生一定的口碑 ，因为确实我们的生成效果在目前这个产业里面还是相对领先的 。 对 ， 那么在大家这个包括设计师啊 ， 包括一些这种业余的 3D 创作者之间 ，他们会口口相传 。 对 ， 然后我们会看到说大家在做很多很有意思的事 ， 比如说拿我们的 3D 的这个生成的能力去做一些 GIF，有的去做一些这种 XR 的体验 ，有做了一个元宇宙的 ， 还有做 3D 打印的 ， 然后他们 3D 打印出来各种各样的一些手办啊 、 玩具 ，他们也会发在一些 Twitter 上 ，其实我也 关注了他们 。 对 ， 我觉得说实话 ， 这些开发者 ， 包括一些这种业余的创作者 ，他们在帮助我们去探索说哎 ， 这个技术还能这么去用 。 **曼祺** [40:29] Tripo 上线几个月了 ？ 是几月份上线的 ？ **宋亚宸** [40:31] 12 月底 ， 就是去年年底上线 。 **曼祺** [40:33] 去年年底 。 你方便透露一下 Tripo 上线这其实不到一个月 ， 可能才 20 多天 ， 对吧 ？ 你看到的一个增长或者活跃的情况是怎样的 ？ **宋亚宸** [40:40] 我们就生成了 30 多万个模型 。 **曼祺** [40:43] 是因为有很多人用 ， 还是说有的人会非常重度的会在上面生成 ？ **宋亚宸** [40:47] 很多人用 ， 很多人用 。 **曼祺** [40:49] 就说它是比如说你是刚上线的时候特别多 ， 还是它增长是往后越来越多的 ？ **宋亚宸** [40:54] 当然最一开始上线的时候 ，其实是有一个很大的流量的进来的 ， 然后后来其实也是一个稳步在增长的一个过程 。 **曼祺** [41:02] 了解啊 。 我们进入最后一个话题 ， 就是关于这个年轻的 AI 创业者 。 我也做了一个统计啊 ， 就移动互联网时期最后跑出来的有大成的一些创业者 ，他们往往是在 25 到 30 岁开始第一次创业的 。 ### 年轻创始人 **曼祺** [41:14] 比如张一鸣 ，他是在 29 岁的时候创立字节跳动 ，他之前其实也在创业公司 ，但他并不是创始人， 比如说在酷讯 。 然后黄峥是在 2007 年离开谷歌之后就开始创业 ，他当时是 27 岁 。 那当然他后面创立拼多多 ， 那是比较久之后 ，但是他的核心团队基本上都是他最开始创业的时候那些人， 有非常多的重合 。 美团也是王兴在 25 岁就创立的 ，而且当时王伟文就是他的创业伙伴 。 所以在现在这一波的 AI 创业潮中， 很多观察者和投资人也会设想的一个问题 ， 就是说最后跑出来的创始人和团队是什么画像 ？ 那到底是更年轻的人， 还是说一些更有经验的人 ？ 比如说在语言大模型领域 ，其实你是可以看到很多大佬创业的 ， 比如像王小川 、 李开复这样的人。 你们俩自己对这个问题是怎么观察和感受的 ？ 比如说你们周围的 95 后甚至 00 后的创始人都在做什么 ？ 以及你觉得可能他们跟更年长的创始人相比 ， 想问题的方式啊 ， 或者一些关注点有什么不同 ？ **宋亚宸** [42:13] 其实我们团队有不少自己有创业经验的老炮 ， 就比如说之前 AIZAN 的负责人， 包括像梁鼎之前也在商汤 ，他也是商汤的这个前十号 ， 然后包括我之前也在 MiniMax 创业过 ， 然后包括我们的产品之前也是之前自己创业过 ， 做海外社交的等等等等的 。 我们有大量在游戏啊 、 动画 ， 包括我们对外的负责人之前是梁鼎十分的脸创等等的 ，在游戏啊 、 动画 、 影视啊 、 互联网啊 、AI 啊 ， 包括我们的首席科学家之前是做了一个 3D 和 VR 的内容生产的一个工具的一家创业公司 。 **曼祺** [42:49] 那我补充问一下， 就是你一个创业公司里面怎么聚集这么多有创业经历的人 ？ 而且有些人可能是之前自己也是创始人。 **宋亚宸** [42:57] 就是我觉得创业者有一个好处 ， 就是大家是非常有信仰 ， 大家其实是说聚在一起 ，其实为了一个共同的愿景在去往前冲的 。他并不是说我来这里去打一份工 ， 或者说我觉得哎 ， 这个行业比较热 ， 所以我来 。其实更多的是说大家看到了一种可能性 ， 就比如说可能有一些人看到了说哎 ， 这个 3D 生成的这个机会 ， 它会带来一个 3D 的内容爆发 。 这是一个大部分人对这个事情是有信仰的 。 那还有些人他可能要看到了以后才相信 ， 比如说之前做游戏或者动画行业的 ，他看到说哇 ， 原来我生成啊 ， 或者原来我用手工去做一个模型的成本可能是要几千块钱 ， 或者说几百块钱人民币 ， 我现在我只需要一分钱人民币 ， 或者说几分钱人民币 ， 我就可以去生成一个模型了 。 那这个就几乎是一个万倍的差距 ， 那对于他来说就是一个非常非常大的机会 。 那么这些人不管是通过刚刚我说的这种信仰 ， 还是说刚刚说那种算账的方式去让自己去 believe in 这件事情 ， 或 buy in 这件事情了以后， 大家就会因为信仰去聚集在一起 。 就有点像我们说海贼王 ， 对吧 ？ 大家相信一个 One Piece， 然后就会把这些人聚在一起 。 **曼祺** [44:03] 因为做过创始的人， 我觉得他是倾向于自己决策很多事情的 ， 所以我其实想问的是说 ， 你一个公司里怎么汇聚这么多创始人 ？ **宋亚宸** [44:12] 这其实也是我们的一个优势吧 ， 就是大家都能够独挡一面在很多事情上 。 因为 3D 生成 ， 或者说我们所谓的这个 3D 大模型这件事情 ， 它其实是一个非常复杂的事情 。 它包括了这个计算机视觉啊 ， 包括了图形学 ， 包括了各种各样的运营 ， 还有产品化 ， 当然还包括了商务 。 那大家在自己的领域上面都是非常专业的 ，并且能够独挡一面的 ， 这件事情是很关键 。 **曼祺** [44:35] 对 ， 那我们可以继续刚才那个问题 ， 就说你们团队里其实是有不少创业老炮的 。 这之前的问题其实是说 ， 就比较年轻的 AI 创业者和更成熟更有经验的人， 就据你观察 ，他们在想法行动或者思考上会有什么不同 ？ **宋亚宸** [44:49] 本身是这样 ， 就是其实有很多人是经历过创业的 ， 所以他对创业的这些困难是有一些预期的 。 大家是知道在创业里边会经历一些波澜啊 ， 经历一些挫折啊 ， 所以大家会能够一起去承受 。 这是对于那些创业的老炮来讲他的一些优势 。 然后对于一些年轻人来讲 ， 就是他初生牛犊不怕虎嘛 ， 就总觉得是要拼 ，不管什么我也要卯了劲的去拼 ，不会有任何的后顾之忧的这种想法 。 就是对于年轻人来讲 ，他没有那么多包袱 ， 然后他会去想到什么就去做 ，他会把自己的全部力量都投入到这一件事情上， 反正做失败了以后他也没有什么损失 ，他可以继续做下一件事情 。 **曼祺** [45:28] 所以你们是其实两类人的一个组合 ？ **宋亚宸** [45:32] 因为老炮的人要去帮年轻人去避坑 ， 然后老炮的人要推着年轻人去带头 。 **曼祺** [45:38] 现在可能还有一个现象 ， 就是说资本市场是比较求稳的嘛 。 我当时说比如说像张一鸣 、 王兴或者黄峥开始创业的时候 ， 那是整个中国经济也在快速发展 ， 环境它是大势上是往上走的 ， 包括当时一级市场美元基金都比较活跃 。 那现在可能这个外部环境是有一些变化的 。 所以你觉得现在对更年轻的人创业的挑战是什么 ？ 没有经验的人的机会或者资源是不是在被压缩 ？ **宋亚宸** [46:02] 我觉得国内外的环境现在确实是不太一样的 。 那在硅谷或者说在美国 ， 确实是它的投融资环境会更好一些 ， 大家也会更相信一些年轻的创业者 。在国内呢 ，其实也有非常有理想并且相信年轻人的一些投资人。 因为我们自己也在融资嘛 ， 所以最近也遇到了不少愿意去相信年轻人 、 支持年轻人的这些投资人。 我们自己也是非常感恩的 。 同时呢 ，也会有一些新的比较年轻的一代的投资人的出现 ， 这些更年轻的投资人也是会更相信一些年轻人的力量 。 比如说我们上一轮的投资人绿洲 ， 就是年轻的投资人 ，他们的老板也是 80 后 。 我们最近也在聊一些合作伙伴 ， 包括一些传统的游戏公司啊 、 动画公司啊 、 影视公司啊 、3D 打印啊等等。 你会发现大家其实也是相对焦虑的 ， 原因其实也很简单啊 ， 最近的市场的预期啊 ， 包括大家对于未来的增长的焦虑啊等等的 ，他们就会希望说跟新的公司和年轻人去做交流 ，他们也希望能从年轻人这边获得一些新的视角 ， 这样我们有更多的机会去跟这些传统的行业的这种公司去进行合作 ，他们愿意更听到这方面的信息 ， 去尝试一些新的技术 。 这也大大的帮助了我们去和行业里面的一些传统的企业去进行合作 。其实不光包括一些刚刚说的文娱行业 ，其实我们也和一些央企啊 、 国企啊也在积极的去合作 。 **曼祺** [47:26] 了解 。 今天非常感谢两位的时间 ， 谢谢 Sam 还有梁鼎 。在这期节目里面 ， 我们通过 VAST 这个案例分享了 AI 3D 生成是在做什么 ，以及 Sam 提到了一个很有意思的行业愿景 ， 就是第一阶段我们可能是要做出一个门槛更低 ， 让大众也能用得起来的 3D 内容的制作工具 。 那接下来更大的机会可能是 3D 内容的一个抖音时刻 ，也就是说它的制作和消费的一个平台级的机会 。 感谢大家收听本期的节目 ， 如果对本期话题感兴趣的话 ， 欢迎留言分享 。 谢谢 ， 拜拜 。 **宋亚宸** [48:00] 好 ， 谢谢 ， 谢谢 。 --- 本节目库由 PodHood（https://podhood.com）提供支持——播客网站平台。