# 58: 光年之外联创再出发，与袁进辉聊 AI Infra 到底做什么？| AI 大爆炸 晚点聊 LateTalk · 2024-01-24 袁进辉，硅基流动（SiliconFlow）创始人、前一流科技创始人和光年之外联创，在《晚点聊》本期阐述了AI基础软件在中国商业化为何艰难，以及他为何二次创业押注大模型推理。他从清华学术理想破灭后在微软做出被快手使用的LightLDA，2016年创立OneFlow预判大模型将出现，技术获PyTorch跟进但商业化失败，2023年加入光年之外，被美团收购后再次创业。SiliconFlow专做推理部署，因为训练客户少且集中，推理客户更多更分散，且优化空间比训练大十余倍；团队进光年40人出来35人，现超40人，自研框架Crossing已快于vLLM和TensorRT-LLM，他称OpenAI一天生成一两万亿token，远超训练总量。商业化上他主张全球化，海外需求是国内的几十倍，国内则要绑定算力等客户必付项，希望这次能证明“好技术能赚到钱”。他判断大模型本身壁垒不高，真正的长期壁垒是工程能力；2024年国内模型有望达到GPT-4水平、应用爆发，但超级应用大概率不来自现有大模型公司，芯片也会从一家独大走向分散。他曾听到邻桌评价OneFlow“技术挺好……还不是被收购没赚钱”，希望这次创业能成为更好的范例。 ## Questions this episode answers ### AI Infra 到底做什么？它在大模型产业中是什么角色？ 袁进辉解释，AI Infra 是连接底层芯片算力与上层算法模型的中间软件层，像模型开发者的操作系统，帮助算法工程师把脑中的神经网络模型方便、快速地运行在 GPU 等硬件上。他以 Hadoop、Spark 处理大数据来类比深度学习系统的角色。 [16:03](https://latetalk.podhood.com/f57e8e04-d7af-429b-b7de-d270fc4e0ecf?t=963000) ### 为什么袁进辉这次创业从大模型训练转向推理？ 袁进辉说，推理的客户比训练更分散，是更好的生意；训练硬件利用率理论上限约 60%，目前可做到 40%-50%，提升空间只剩百分之十几，而推理从百分之几到百分之几十还有十倍空间；推理不需要几千张卡，小集群就能验证技术。他补充，脱离大模型团队很难做好训练。 [28:43](https://latetalk.podhood.com/f57e8e04-d7af-429b-b7de-d270fc4e0ecf?t=1723000) ### AI Infra 公司到底怎么赚钱？袁进辉有什么思路？ 袁进辉提出两条路：一是全球化，海外尤其是美国对标准化软件和云上服务的付费成熟，生成式 AI 的调用需求是国内的几十到上百倍；二是在国内要有创造性的产品形态和商业策略，如软硬一起卖，或把软件与算力绑定，让客户为算力付费时一并支付软件价值。 [35:25](https://latetalk.podhood.com/f57e8e04-d7af-429b-b7de-d270fc4e0ecf?t=2125000) ### 2024 年 AI 行业有哪些值得关注的变化或趋势？ 袁进辉认为 2024 年应用端会爆发，国内还没有 Midjourney、Perplexity 这类基于大模型的成功产品；国内模型应能达到 3.5 到 4 之间，最好情况是实现 4 的水平。他还重申大模型技术本身不是高壁垒，长期壁垒更可能来自日积月累的工程能力。 [51:21](https://latetalk.podhood.com/f57e8e04-d7af-429b-b7de-d270fc4e0ecf?t=3081000) ## Key moments - **[0:00] 开场** - **[1:39] 学术探索** - [1:52] 袁进辉：『屡败屡战也都是自找的……选择的又是成功概率比较低的一种事』 - [2:47] 袁进辉：博士后时放着稳妥的计算机视觉研究不做，选了导师张钹布局的脑科学交叉学科，最终科学梦碎 - [5:57] 袁进辉因交叉学科成果难满足清华教职KPI，科学家梦破灭，从学术转向工业界 - **[6:59] 微软岁月** - [8:34] 袁进辉在微软亚研院与CMU邢波团队做出LightLDA，用约1%服务器支持万亿参数主题模型，被快手使用 - [10:01] 袁进辉在微软完成从纯算法研究到算法与系统结合的转型，LightLDA是他眼中代表作 - **[12:21] OneFlow** - [12:31] 袁进辉2016年离开微软创办OneFlow，想做面向未来超大模型的深度学习系统 - [15:11] 袁进辉2016年的反共识判断：未来模型会变得非常大，Caffe、MXNet、TensorFlow都不是为它设计 - [18:22] 袁进辉创业做OneFlow被视为螳臂挡车：要用创业团队挑战Google Brain的TensorFlow - [19:57] 袁进辉：OneFlow的分布式理念后来被PyTorch跟进，技术成功，但7年没做到规模化收入，失败在商业化 - **[21:09] 商业化困境** - [21:57] MongoDB市值从约120亿涨到260多亿美元、Elastic从50亿涨到超100亿美元，同期中国Infra创业公司却大多不顺 - [22:45] Q: 为什么海外Infra公司能商业化闭环，中国很难？A: 袁进辉：美国像冲宽冲深的河道容易放水，中国多石头淤滩，受GDP和信息化水平影响 - [23:54] 袁进辉回忆宿华说国内2B软件前仆后继成功者少，最初没看出他的认知领先性，自己这次想找到中国路径 - **[24:49] 收购再创业** - [24:49] Q: 大模型热潮来了为什么OneFlow还选择被收购？A: 袁进辉称那对股东、同事、产业都是当时最优，王慧文能补齐商业化与号召力 - [26:49] Q: 为什么离开美团再次创业而不是留在大公司？A: 袁进辉称只有继续创业才能让核心团队不被打散，大公司不可能给所有人超长offer - **[28:42] 押注推理** - [28:43] Q: 硅基流动为什么只做推理不做训练？A: 袁进辉：训练客户少、硬件利用率只剩约10%提升空间，推理是几十倍市场 - [31:12] 袁进辉：OpenAI一天生成1到2万亿token，约一周推理量就超过一次大模型训练消耗的token量 - [34:00] 袁进辉：大模型让AI推理从碎片化变得高度标准化，一个模型做很多事，商业模式可复制 - [35:06] 袁进辉：『我们进光年的时候是40人，出来的时候是35人』 - **[35:25] 商业模式** - [35:44] 袁进辉为Infra变现找到路径：全球化+产品化，海外生成式AI需求是国内几十到上百倍 - [36:56] Q: 海外做Infra谁付费？A: 袁进辉：美国企业每年在SaaS订阅上有可观支出，因为信息化成熟且人力贵 - [39:09] 袁进辉：国内纯卖软件难走通，要软件硬件一体或与算力绑定，让客户不得不付费 - **[42:08] 竞争格局** - [42:24] Q: 大模型公司为什么不自己做推理优化？A: 袁进辉：训练也不全自研；主流开源推理引擎是伯克利vLLM和英伟达TensorRT-LLM，OpenAI也用vLLM - [43:34] 硅基流动的推理框架叫Crossing，是袁进辉团队从零写的，不是vLLM或TensorRT-LLM - [45:20] Q: 怎么衡量推理框架好坏？A: 袁进辉：比延迟和每秒生成token数，用Llama、通义千问、Mistral在相同硬件上测 - [46:52] Q: 40多人为什么能比全球大厂做得更好？A: 袁进辉：有可验证的开源战绩、顶级团队，创业公司唯一优先级和斗志是大厂没有的 - [48:30] 袁进辉：同样的人换到别的环境就做不出同样的事，像同样的水和粮食，有的成了茅台，有的成了别的 - [50:23] 袁进辉：技术不是最大担忧，产业商业化和全球化才是；目标不只是独角兽 - **[50:55] 工程壁垒** - [51:27] 袁进辉：大模型壁垒不在技术，数据和算力用钱解决，算法传播快，长期壁垒更可能在工程 - [53:47] 袁进辉：聪明算法想法ROI高会被所有人跟进，工程是大量单点低ROI积累，更像长期壁垒 - **[55:53] 2024趋势** - [55:56] 袁进辉预测2024年国内会出现3.5到4之间的开源或闭源模型，最好情况是达到GPT-4水平 - [57:31] 袁进辉预测未来超级应用大概率不来自现在的大模型公司，未来的张一鸣、张小龙今天还不知道在哪 - [59:28] 超级应用自研Infra vs 第三方公共基础设施：袁进辉认为除超级应用外大量长尾应用仍需第三方，像数据库和芯片领域 - [1:00:44] 袁进辉预测软件层推理框架竞争激烈但会二八分化，第一名拿走最大市场回报，其他被边缘化 - [1:02:05] 袁进辉预测模型结构收敛会让芯片从一家独大走向分散，AMD、Intel、华为都能支持Transformer的几十个算子 - **[1:03:42] 终极目标** - [1:03:49] 袁进辉：希望产品无处不在，但凡需要大模型能力的地方核心系统支撑都在，做AI Cloud - [1:04:43] 袁进辉在清华科技园饺子馆听到邻桌议论『OneFlow技术挺好……还不是被收购，没赚钱』，希望这次成为更好范例 - [1:06:12] 袁进辉：融资希望找愿赌服输、独立决策的投资人，不拿只看名气、流量或政府关系的钱 ## Speakers - **曼祺** (host) - **袁进辉** (guest) - **贺乾明** (guest) ## Topics AI模型团队动态 ## Mentioned OneFlow (company), OpenAI (company), 光年之外 (company), 微软 (company), 快手 (company), 硅基流动 (company), 美团 (company), 英伟达 (company), LightLDA (product), Midjourney (product), Perplexity (product), PyTorch (product), TensorFlow (product), TensorRT-LLM (product), vLLM (product) ## Transcript ### 开场 **曼祺** [0:09] 大家好 ， 欢迎收听本期的 《 晚点聊 》。 今天的主播是曼祺 ， 和我们科技组的作者贺倩明 。 **袁进辉** [0:14] 大家好 ， 我是贺倩明 。 **曼祺** [0:16] 这期节目也是我们 AI 系列的第一期节目 ， 我们会陆续约访 AI 领域的创业者 、 投资人和大公司 AI 团队的从业者 ， 欢迎大家推荐你们想听的 AI 产品 、 项目和嘉宾人选 。 今天我们非常高兴邀请到了 AI 领域的一位资深从业者和连续创业者 ， 硅基流动的创始人袁进辉 。 袁老师之前也是 " 光年之外 " 的联创和一流科技的创始人。 **袁进辉** [0:40] 大家好 ， 袁进辉 。 **曼祺** [0:41] 我先简单介绍一下袁老师之前的经历 ： 袁老师是 2008 年获得了清华大学计算机博士学位 ， 之后是在微软亚研院工作过 ，2016 年的时候创立了 OneFlow 一流科技 。 那最近的情况大家比较了解的就是 ，在 2023 年初 ， 袁老师是加入了 " 光年之外 " 任联合创始人， 然后在 " 光年之外 " 被美团收购之后， 袁老师又开始了自己的最新的一次创业 ，是成立硅基流动 ，而且已经完成了第一轮融资 。 那今天这期播客 ， 我们是想请袁老师分享一下他一直所在的这个方向 ，也就是 AI Infra 领域的创业故事 ， 正好也可以借这个机会 ， 给比较关注这个领域的听众们讲一讲 Infra 到底是什么 、 是做什么的 ，以及它的现状和未来的一些机会 。 最近你也是官宣了自己重新创业的这个信息 ，在分享这个创业的朋友圈上， 我觉得你的配文非常有意思 ， 说的是 " 最近 15 年没有顺利过 ， 算是屡战屡败了 "。 如果算 15 年的话 ， 那刚好是您从清华博士毕业开始 ， 就是你可以讲讲这个 " 不顺利 " 是指什么吗 ？ ### 学术探索 **曼祺** [1:47] 因为你一直都是在做这个和基础层比较相关的事情嘛 ，也可以讲讲基础层到底是做什么 。 **袁进辉** [1:52] 对 ， 前几天就是我在朋友圈里面说了一下 " 最近 15 年没有顺利过 "， 调侃的 ， 屡败屡战 ， 屡败屡战也都是自找的 。其实每一次都是自己的这个选择 ， 选择的呢 ， 又是那个成功概率比较低的一种事 。 这个呢我就跟大家简单介绍一下， 过去从博士毕业之后那 15 年主要做了什么 ， 然后那个又是为什么失败的 。其中发生很多事吧 ， 大概可以说成两件事 。 第一件事情其实是 ， 我从小到大其实都是想成为科学家的 ， 或者成为教授的 ， 基本上是在博士之前 ， 博士阶段都是冲着这个目标搞的 。 博士毕业之后呢 ，其实是有机会留在清华做教学啊 、 研究工作 ，但是有一个过渡阶段 ， 清华当时就叫师资博士后 ，其实就是专门为成为老师一个过渡阶段 。 当时呢其实有一种稳妥的做法 ， 还有一种激进的做法 ， 稳妥的做法就是重复自己熟悉的 ， 比如说博士阶段已经对那个什么机器学习啊 、 计算机视觉啊这种研究工作非常拿手了 ， 然后继续在这个方向上工作 ，在那个 Top Conference 上啊 ， 都是能够稳定产出的 。 但是当时的想法还是有点追求过高 ，因为那个时候觉得说 ， 嗯 ， 完成了说在这个 Top Conference 还有什么 Journal 上能发论文之后 ，其实是不满足的 ，因为当时做的那些事情 ， 大部分呢都是那个填坑的那种类型的工作 。 **曼祺** [3:25] 就你 08 年博士毕业之前是研究计算机视觉是吗 ？ **袁进辉** [3:29] 计算机视觉和机器学习 。 **曼祺** [3:30] 那会儿应该深度学习还不是很出名吧 ？ **袁进辉** [3:32] 深度学习还没起来 。 当时就是不满足于说重复这些已经熟悉的这个研究套路和方向 ， 那个基本上都是跟踪那个别人， 比如说海外一些学者 ， 比如说李飞飞啊 、Hinton 啊 、MIT 的 Paul Jewell 啊等等 ， 人家开创的一些 idea， 然后我们把它 incremental 的做得更好 。其实在当时发一些 Top Conference 和 Journal 已经挺难得了 ，但是呢我还有导师啊 ， 大家都觉得作为清华啊 ， 仅仅这样是不够的 。 **曼祺** [4:04] 你导师是谁啊 ？ **袁进辉** [4:05] 导师是张博院士 ， 博士后的导师也是张博老师 。 **曼祺** [4:09] 那这是这个领域的泰斗级的人物在国内 。 **袁进辉** [4:12] 对 ，他也做了一辈子人工智能了 ， 就是觉得清华有这个责任 ， 觉得中国也到了这个阶段 ， 应该有一些原创性的 、 引领性的东西 ，而这种事情应该发生在清华 。 那这种原创的东西怎么来呢 ？ 张老师呢其实他也很早就是研究过神经网络 ，他觉得这个未来 AI 的突破应该是计算机科学和这个脑科学啊 、 神经科学啊 、 认知这些 ， 就是说和人的智能有密切的关系 。 所以呢当时他就做了一个很前瞻性的布局 ， 就是要在清华搞这个交叉学科 。其实 08 年确实深度学习还没热起来 ，他组织吧邀请了海内外， 比如说有 Caltech 的 、 约翰 · 霍普金斯的 ， 还有那个 DeepMind 的那些人， 都是从英国的 UCL 那个 Gasby 那边出来的 ， 比如说 Peter DeYoung、 李兆平老师等等 ， 回清华做这个讲席教授 ， 就是说要在清华把这个交叉学科 、 什么脑科学 、 计算 神经科学搞起来 。 那这个第一波进去的小白鼠就是我们这些博士后 。 所以当时这个目标是希望能够通过交叉学科搞出来这种原创的 、 引领性的东西 。 而且在那个博士后那个阶段 ，08 年 11 年呢 ，其实就在清华这个小组里面 ， 我们已经开始注意到了这些当时像 MIT 发生的一些事情 ， 当时叫 HMax， 还有 Hinton、Lacombe 他们在搞的事情 。 那时候他们在做这个事情还是非常非主流的 ，不过呢我们做得有点早 ， 就是说在那个阶段呢 ， 即使在那个方向做出一些工作呢 ，也没有引起很大的重视或者 impact。 简单来说就是比较难满足完成那个 KPI， 就是比如说正式留清华当老师等等。 **曼祺** [5:53] 就比较难满足从博士后转老师的这个要求对吧 ？ **袁进辉** [5:57] 实际上那个时候就面临一个过去好多年读书的那种科学家梦想的一个破灭的过程 。在职业生涯上比较难完成这个当科学家了 、 当教授这个路子了 ， 最终就是从那个时候转到工业界的 。 但是那个其实到工业界之后， 一两年之后 ，其实像这个 Hinton 啊 、Lacombe 这种深度学习 ， 哎 ，他就引爆了 。 那个时候是一个在深度学习啊 、 神经网络火爆之前几年， 开始做这些事情 ，但是没有等到这个领域成功啊或者有这么大 impact 的那一天 。 换句话说也是在那个时候 ， 整个国内的科研大环境还没有那样的一个包容性 。 比如说我不是博士后， 我是教师或者什么 ，有一个稳定的 ， 我可以做六七年或者什么的 ，也许我还在那个方向坚持呢 ，但是那个时候的身份也是个过渡的或临时的身份 ， 这是当时学术的一个问题 。 但是那个对我的在学术上或者理想追求上是一个比较大的一个打击 ， 就是完全是换了一条轨道 ， 后来就到工业界了 。 ### 微软岁月 **袁进辉** [6:59] 中间呢就是在工业界就一直在创业公司 ， 比如说做搜索引擎 ， 当时友道 ， 当时 360 投资做搜索的 ， 当时像那个张栋 、 宿华所在的那个搜索团队 ， 后来那个创业团队技术被 360 买走 ，以及团队跟着老大去了阿里 、 神马搜索等等 ， 这个后来宿华就在五道口创业之后， 我当时又就是觉得在创业公司主要做这个工程问题 ， 都是 0 到 80 分的问题 。 之前的那个学术啊的训练积累 ， 还是在创业型的公司里面还是不好发挥 。 所以呢就是在 13 年的时候 ， 就是就离开那个当时我们创业的大部队 ， 就加入到微软研究院了 。在微软那三年呢 ， 基本上还是比较珍惜的 ， 就是又能做这个学术研究了 。 所以呢那三年还是比较珍惜的 ， 就是说一定要在这三年做出一些带有这个个人标签的呀 ， 或者有这个很大 impact 的这种工作 。在那个阶段就完成了一个从过去做算法类型的研究的人， 转向了一个就是做这种算法和系统结合的 machine learning system 这样的一个转型 。 **曼祺** [8:09] 当时那三年在微软 AI 里面您是在哪个组啊 ？ 包括当时你觉得比较重要的成果是什么 ？ **袁进辉** [8:14] 最早去的是 system 组 ， 后来就是我的领导他又回学术界去了 ， 我又换了一个组 ， 就换到这个 machine learning 组了 。 但是在 machine learning 组做的事情是做 system， 就是做那个什么机器学习系统 ， 当时是和那个 CMU 的 Eric Xing， 就是邢波老师的团队合作 。 那时候做了一个在行业内比较有这个影响力的工作 ，在微软也比较影响的工作 ， 就是叫 LightLDA， 就是那个它是在深度学习起来之前 ，在所有的互联网公司里面最重要的一个算法和系统 ， 就是互联网公司那个搜索 ， 包括推荐 、 广告背后都要用 。 它实际上扮演的角色就是今天深度学习在类似这个系统里面的角色 ， 叫主题模型 。在这个大公司里面 ， 这个搜索引擎啊 、 广告系统什么的里面 ， 那个规模也非常大 ， 都是什么全网数据 、 几百亿的网页 、 几百什么 ， 那个参数也是万亿级的等等。 但是我们做了一个是服务器的规模是别人的 1%，但是呢更快能做更大参数的模型这么一个系统 。 算法和系统后来也开源了 ， 除了微软其实用 ， 国内外的一些大的互联网公司也都使用了 。 所以那是那个微软的时候一个小的代表作 。 **曼祺** [9:29] 这是 14、15 年前后是吧 ？ **袁进辉** [9:31] 这是 14 年 。 **曼祺** [9:32] 14 年 。 那随上字节这种公司也用什么 ？ 因为它也是搜推广 ，是它非常主要的一个部分吗 ？ **袁进辉** [9:38] 字节有没有用我不太清楚 ，但是我确定的是快手使用了 。 因为当时那个时候快手也处在一个非常快速的发展阶段 。 我不是原来就在那个宿华的创业团队里面吗 ？ 那个工作发表之后， 哎 ，他就非常感兴趣 ， 后来他们就在开始上线去使用 ， 中间遇到问题的时候 ， 我也去这个做了一些点帮忙什么的 。 后来这个就是这个工作之后， 就是说从算法到系统 ， 就是做了一个转型 。 当时那个 algorithm system call design 这个是在领域里面非常活跃的一个方向 ，而且是这个领域好多好多知名的这个学者啊 、 教授啊 ， 都是在这个方向上工作 ， 比如说像 CMU 的 Eric Xing， 还有那个 CMU 当时叫 Eric Smola， 就是他其实是那个李沐的导师 ， 还有其实比如说像 Google 的 Jeff Dean 啊等等 ，他们都曾在这个问题上做过 一些很好的工作 。 **曼祺** [10:35] 那如果给听众再普及的明白点 ， 就这个问题应该怎么定义啊 ？ **袁进辉** [10:39] 简单来说就是用激进的方法来理解这个网页啊 、 文本的语义 、 意思 。 就像现在我们问 ChatGPT 一个问题 ， 它能够理解一样 ，但是那时候的理解的准确度啊 、 丰富度啊 ， 肯定是和现在有距离的 。 比如说搜索 、 推荐 、 广告的匹配 ，也是要做语义理解的 。 比如说在出现一个词语叫苹果 ， 你到底给它推什么 ？ 这个苹果到底是指水果的苹果 ， 还是牛仔裤的苹果 ， 还是电子消费品的苹果 ？ 这个词它背后的语义是取决于这个词在这个文档中这个上下文的这个含义 。 当时这个主题模型实际上就是一个根据文档的上下文来能确定每个词它的语义是什么 ， 然后这就能帮助那个搜推广中的这个 ， 比如说匹配 、match。 计算量也非常大 ， 那那时候还不是深度学习 ，也不是 GPU 来计算 ， 都是在 CPU， 就是通常是当时说是谷歌是需要数千台 、 上万台服务器做这样一件事情 ， 对全网的数据做分析 。 **曼祺** [11:40] 所以更完整的描述就是说 ， 你们解决的问题是说我怎么样更高效的使用 CPU 这些底层的这些算力系统 ， 然后让它支持上面的那个网页的语义理解 。 **袁进辉** [11:51] 对 ， 那个时候那个模型的规模也是很大的 ，也是万亿级的 。 因为简单来说 ， 比如说这个所谓的词典 、 词表 ， 就是有 100 万个 token， 还有那个潜在的语义也有 100 万个 。 那这个 100 万 token 和 100 万的这个 semantic 这个语义 ， 加起来那个参数乘起来就是百万级的 。 所以那个时候也是工程上一个很挑战的一个问题 ，也是个经济价值非常大的问题 ，因为是它是所有互联网公司赚钱的一个核心 。 **曼祺** [12:21] 对 。 所以这个就跟你后来做 OneFlow 是类似的一个路线或者一个方向了 。 当时为什么就是从微软出来做了 OneFlow 呢 ？ ### OneFlow **袁进辉** [12:32] 对 ， 这个是就是在后面一个 ， 就是这个工作呢是让我这个比较成功的从纯算法变成了一个能有自信 、 有能力 hold 住一个非常大规模的一个系统的这么一个工程师或者什么一个 researcher。 但是在那个做完那个工作之后， 实际上深度学习已经在各个领域都开始开花了 。 那是 14 年我做完那个 LightLDA， 到 15 年、16 年其实那个深度学习已经开始在图像之外的好多好多领域已经越来越有价值了 ， 对吧 ？ 所以那在那个时候整个领域中最重要的工作其实逐渐已经不是传统机器学习了 ， 已经是呼之欲出的就是深度学习一定会替代掉所有过去的机器学习 。 那么呢当时也判断说这个深度学习也是一个工程非常 heavy 的一个类型 ， 那你要做对整个行业啊 、 对公司也好 ， 更有 impact 工作 。 实际上即使说我要继续做 system，也要是 system for deep learning， 就是要转到这个方向 。 所以在微软从 15 年开始 ， 我就开始做深度学习系统的开发 。 那个时候比较知名的 ， 比如说包括贾扬清做了 Caffe， 还有像李沐 、 陈天奇他们发了那个 MXNet， 还有就是谷歌发了这个 TensorFlow，是那个 Jeff Dean 领衔的 Google Brain 去搞的 。 但是微软呢当时是有一个不太成功的项目叫 CNTK，CNTK 实际上公司内外使用的都不太广泛 ，但是对于微软这样一个公司来说 ， 对于一个说 deep learning 或者 AI 的 operating system， 就 deep learning framework 就有点像这个 AI 的一定程度上像操作系统一样 。 那对于这么重要的一个战略位置的一个系统或者是工程 ， 微软应该不能缺席的 。 但是呢在那个时候其实大家更多的这个信心啊 、 信念啊都在谷歌身上 ，因为谷歌的传奇的工程师 Jeff Dean 啊等等过去的这个成功的案例实在是太多了 。 所以大家都觉得这事就是谷歌的天下了 ， 别人就不要再掺和了 ， 没机会了 。 就是谷歌这么强大的背景下 ，而且那么强的团队情况下， 要后来居上也好 ， 又以小博大也好 ， 或者什么的 ， 还是需要有不一样的思考的 。 所以当时就一直在从 15 年开始就一直在思考这个 ， 如果我去做 ， 或者我在微软去做 ， 怎么去能够扭转这个态势 。其实那个时候我的一个和绝大部分人不一样的一个判断 ，其实到今天已经得到验证了 。 那个时候就已经有了 ， 就是说未来的模型一定会变得非常非常大 ， 就是深度学习 。 那时候还没有多少人相信这一点 ，因为那时候的最主流的模型都是什么 CNN 模型 ， 都是几千万参数的模型 。 之后呢就会发现 ， 你出现这个判断之后就会发现 ， 无论是那时候的 Caffe、MXNet， 还有谷歌的 TensorFlow 也好 ， 大家都不是为这种未来而设计的 ， 都是为当时眼前能看到的小规模参数的深度学习模型而设计的 。 那模型很大之后， 出现一些新的系统上的需求 ，在我的判断来说 ， 这个深度学习系统得推翻重来才能搞 。 **曼祺** [15:51] 可以先给大家解释一下深度学习系统 ， 就是刚才说到的 Caffe， 还有 TensorFlow， 包括后来 PyTorch 这些都是做什么的 ？ 你刚说做了一个比喻吗 ？ 说它像操作系统 。 **袁进辉** [16:01] 操作系统 。 **曼祺** [16:02] 如果说得更具体 ， 它干什么的呢 ？ **袁进辉** [16:03] 对 ， 它其实是帮助这些算法工程师把他的脑袋里面想象到的这个数学模型或者神经网络的模型 ，在 GPU 啊 、Intel 啊 、TPU 上这些硬件上能够更方便的以及更快的运行这样一个软件 。 就像我们处理大数据 ， 当时大数据时代是需要 Hadoop 这么一套 system， 数据库呢是需要比如说数据库的分析啊 ，有这个 OLTP 的 、OLAP 的这些系统 ， 比如说像 Spark 这样的系统等等。 深度学习里面也需要一个类似于 Hadoop、Spark 这样的软件 ， 然后这些算法工程师呢有了这个软件 ，他就不需要懂底层的这些分布式啊 、 底层的这些 GPU 啊什么的 ，他脑袋里的 idea 就可以非常方便的 ， 比如我想了一个 CNN 的模型 ， 或者想到了一个 RNN 模型 ， 非常简单的把这个想法就描述出来 ， 就能在很多很多算力上去执行 。 **曼祺** [17:01] 所以它是一个沟通芯片算力硬件层和上面的软件算法中间的一个软件层 。 **袁进辉** [17:08] 是 ， 就是在模型和芯片之间的中间的一个软件层 。 所以这个是就是回到刚才那个判断 ， 就是说这个模型会变得越来越大 ， 这个实际上是在当时 15 年的时候 ， 就基于这个信念呢就开始思考这个系统该怎么搞 ， 发现这个系统啊是一个非常庞大的工程 。 因为比如说像 TensorFlow 都是百万行代码以上的这种 system， 它不是一个说我有这个想法就行的 ， 它是需要资源的 ， 需要工程团队去搞的 。 但是其实在微软研究院的体制下， 大家都是那个非常少的人， 精英是做这个前沿探索 ，但是是没有这个 ， 比如说像 Google Brain 那样的非常庞大的工程团队来做这样一个 system 的 。 这是在微软的时候有这样的一些苗头和想法 ，但是为什么离开呢 ？ 你问 ， 就是因为那个我特别想做这件事情 ，但是在那个约束下不好实现这种想法 。 后来其实也做过一些别的尝试 ， 就是和国内的别的大公司 ， 包括华为啊 、 腾讯都聊过 ，但是那个时候大家没有太多人去相信这个 。 最后我还是和朋友聊 ， 就是他们觉得那时候融资环境还可以 ， 我当时就决定说如果能拿到融资的话 ， 我就用创业的方式来做 。 这就是后来那个 16 年底 、17 年就开始搞这个 OneFlow 的这个事 。其实咱们为什么聊这个呢 ，是刚才说是所谓的过去 15 年不顺利 ， 就是屡败屡战这个 。 前面讲的是在学校的时候想做这个科学性的探索啊什么的 ， 结果做了交叉学科 ， 冒了比较大的风险 ， 然后导致自己的一个轨迹变化了 。其实后面就是这个呢 ， 就是说在大多数人都不相信这个大模型啊 ，以及大多数人都不相信国内外的别的团队还能挑战 Google Brain， 更不相信国内的创业团队挑战 TensorFlow。 当时 17 年不就用创业的方式做这个 OneFlow，他就在做这样一件事情 ， 就是说那要成功的话 ， 就得是说你在技术上啊 、 生态上啊 ， 要超越这个 TensorFlow 什么的 。 这是应该大多数人都觉得是个螳臂挡车是吧 ，以卵击石的一个事 。 的确这个从常识来看 ， 它就应该失败 。 那在这种情况下， 从 17 年到 23 年初 ， 那肯定会碰到非常非常多的困难 。 不过简短来说就是当时的这个判断到今天其实还是变成现实了 ， 就是大模型真的出现了 ，而且大模型的系统也的确是我们当时设想的那样 。 后来那个 OneFlow 的那个分布式的那些理念设计 ，也被今天这个所有的搞大模型的这个系统所跟进 。 比如说我们最早实现了怎么让这个分布式的这个多卡就像一张卡一样编程容易 、 简单 ， 这些后来都被 PyTorch 去跟进了 。 我们大概找了两三年的时间 ， 后来 PyTorch 他们的设计文档啊 ，他的创始人在推特上都做过这样一个公开的说明 ， 就说这个受了什么什么 OneFlow 的一个启发等等等等。 所以这些在技术上的判断和这个应该是实现了 。 但是呢 ， 我说的不顺利还包括因为你作为一个创业 ，不仅仅是说你一个技术的理想的实现 ， 还有就是实际上要产品化 、 要商业化 。 但这个呢在 23 年的时候 ， 应该说 22 年底或者 23 年初的时候 ， 还没有机会去搞这个事情的时候 ， 就是我们后来就 ChatGPT 就出现了 。 **曼祺** [20:36] 对 ， 所以你刚刚说的那个失败 ， 你指的更多是商业化上的失败 。 你觉得技术上你们是有一些成果的 。 **袁进辉** [20:42] 对 ， 技术上实际上是应该说是成功的 ， 国内外也认可 。 商业化呢 ， 应该说这个创业公司做了 6 年、 做了 7 年， 按照今天这个绝大部分融资的这个投资人对创业公司的要求 ， 比如说一般是 7 年要退出嘛 ， 我们到 7 年的时候实际上是没有做到持续的成规模的收入 ， 比如说上市标准 ， 这还距离还很远 。 ### 商业化困境 **曼祺** [21:09] 对 ，因为其实最开始我和您认识是 2020 年的时候嘛 ， 那个时候我们是在聊开源融资的那个现象 ，因为当时确实观察到国内出现了一批这种就是做 Infra 层的公司 ， 包括 AI 相关的就是像一流 ，也包括我们当时有看到一些数据库层面的 ， 比如像 Pinecap、Toss、 然后 Zizzi 这些 。 那个时候这些公司都是在国内获得了融资的 。 **袁进辉** [21:34] 对 。 **曼祺** [21:34] 当时我们有聊到说这有一个情况是因为大家在跟随美国的 VC，因为 20 年前后也是 MongoDB 还有 Elastic， 包括后来 Snowflake 这些公司密集上市的时候 。 我又去翻一下当时我跟您聊完之后我写的那个稿子 ， 那个里面当时有提到说比如说 MongoDB 那会儿是 120 多亿美元的市值 ，Elastic 是 50 多亿美元 。 那现在再看的话 ，MongoDB 现在已经是 260 多亿美元的市值了 ，Elastic 也超过 100 亿美元了 。 **袁进辉** [22:03] 是 。 **曼祺** [22:03] 而当时我们提到的很多中国公司其实你回头看就会大家都不是很顺利啊 。 **袁进辉** [22:09] 是 。 **曼祺** [22:09] 对 ， 就不光是你们不顺利 ， 大家都不是很顺利 。 你觉得这个关键的差别是什么了 ？ 就为什么你做一个这样的项目 ， 如果在海外好像它这个商业是可以实现闭环的 ，在国内就很难实现闭环 。 **袁进辉** [22:22] 其实关于这个问题的讨论前两年， 就去年今年特别多 ， 这也涉及到这个比如说关于中国的 SaaS 是吧 ， 这个应该说这个投资降到冰点了 。 这里面涉及到非常多很复杂的问题 。 简单来说跟经济发展水平有关 ， 比如说 GDP、 人均 GDP 这是一个 ， 另一个是跟信息化水平有关 。 昨天其实还和一个朋友聊这个 ， 就像一条河流一样 ，其实美国这个市场下那个水啊 ， 已经把这个河道冲得非常宽阔又深 ， 只要放水就行 。 就是在美国做 SaaS 啊 ， 做这种 Infra 啊是一个 easy 模式 ， 就是它那个商业模式啊 、 产业链啊是非常非常有利对这种类型的创业 。 但是中国是一个这个河道啊 ， 里面还有很多很石头 、 很多减滩阻碍什么的 ， 这是历史的因素 。 就是有一些比如说信息化水平啊 ， 这个产业结构啊等等 ， 这也和我那个这次新的创业也有一些关系 。其实我是希望在这个问题上取得突破 ， 就是说在中国这种方式是走不通呢 ， 还是说就是我们没找到这条路而已 。 就是它到底是一个什么样的一个问题 。 就是我那个七八月份刚想出来的时候 ，其实当时因为跟速华都很多年了 ，他作为这个朋友嘛 ，以及作为一流的投资人 ，他们当时也赚到了一些钱 。他当时说你在做创业 ，不管我做什么他都打算好支持了 。 但是当我说我还是要做国内的 2B 和软件的时候 ，他说了就是说这个方向他研究的也不多 ，但是呢其实他已经看到了这么多年前仆后继很多很多优秀的聪明的人进入到这个行业 ，但是成功的或者说做好的非常少 。他说他也没想清楚是什么原因 ，但是说那是我们最早的几次交流 。他说现在我也还没看出来你有什么认知的领先性 。 这是最初的啊 。 当然后面我就跟他我们又想到了一些路径啊什么的 ， 就和他这个又继续交流 。 所以这是一个很多很多人注意到的问题 ， 当然也是我希望说又做一次创业最主要的想在这方面取得突破的 。 我想弄明白他到底是真的不行 ， 还是说因为我们这些人都没找到那条适合中国情况的这个路径 。 **曼祺** [24:49] 我们马上可以展开聊他这个问题啊 。在这之前我有个小问题就是 ，因为当 ChatGPT 的这个热潮来了之后 ，其实大家都看到说模型随着规模的增长 ， 它的智能能力是可以涌现的 。 ### 收购再创业 **曼祺** [24:59] 那看起来它这样对一流的这个产品的设计 ， 它是一个大的利好和机会 。 为什么在这个时间点会选择就是被收购这样一种方式了 ？ 为什么你不继续自己做 ， 然后你去获得更多的客户了 ？ **袁进辉** [25:13] 这个其实是从各方面来说要做一个理性分析的话 ， 这在当时当刻来看 ， 对所有各方来说都是最优选择 ， 对我们的股东 ， 对我们的同事 ，以及对这个中国这个产业发展或者什么的 。 因为这个简单来说是我们对这个大模型的出现其实预判了这么多年 。ChatGPT 出现之后， 这个革命或者这个影响呢可以预见是非常非常深远的 ，但同时呢它是门槛还是挺高的 ， 特别是比如说资源整合 、 资金 、 商业化这一块 。 那在这一块呢 ， 就是以我们当时的以我和我们团队当时的能力来说 ， 单独去弄这个事还是挺挑战的 。 所以在那个我遇见老王之前 ，其实我一直在活动 ， 当时是希望推动成立一些什么联盟 ， 就是说大家各方 ， 就是每家都搞不定 ，但是有数据方 、 有算力方 ， 还有我们这种技术方啊等等 ， 大家怎么合作来搞这件事情 。 但是这个涉及到很多很多不同的这个实体啊 、 单位啊 、 合作还是挺复杂的 。 当后来老王出来的时候 ， 那这个合作肯定是会更有利实现这个愿望啊 。他同时具有了产品商业化的经验和号召力等等。 所以从这个这些方面对大家都是挺好的一个选择 。 **曼祺** [26:34] 那我们接下来可以聊一下就是您这次最新创业的这个情况啊 。 **袁进辉** [26:37] 对 ， 后来就是那个光年之外被美团收购之后， 然后您又选择离开了美团 ， 创立了这家公司 ，是这个考虑是怎么样的呢 ？ **曼祺** [26:49] 为啥没留在美团 ， 或者为啥没去别的大公司 ？ 因为我知道就是其实 OneFlow 有些人也去了一些别的大公司嘛 ，而且今年这个去年这个行情里面其实很多人是拿到了非常好的待遇 ， 非常高的 offer 的 。 **袁进辉** [27:01] 是 。 **曼祺** [27:02] 就您为什么还是再次做这个新的公司 ？ **袁进辉** [27:05] 这个呢其实从多个方面来说也是唯一可行的选择 。 一方面是从我们这个过去这么多年创业来说 ， 就是说所以理想没实现 ， 就是一直好像一直在预判着有这么一个机会出现 ， 就是行业上出现这么个机会 。 当这个机会真的出现的时候 ， 我们又回到大公司去工作 ，不是那个用创业的方式来做 ，其实这个蛮可惜的 。 还有个就是一定程度上在行业那么热的情况下 ，其实这个团队是挺宝贵的一个财富或者资产 ， 就是一群志同道合的 ，也很有经验的这样的人。 可以这么讲就是说不是继续创业的话 ， 一定程度上这个团队会被肢解 。 因为就像您说的 ，其实每个人收到了好多很超长的 offer，在这种情况下其实没有任何一家公司能把这些所有的人留下 。 你即使是大公司 ，也不可能给这些所有的人都发那个超长的 offer。在这种情况下， 只能是有一些人去了这个公司 ，有一些人去了另一个公司 ， 只有继续有一个很有想象力的方向能把这些人继续聚在一起 。 从现实条件来说 ， 这是第二个因素 。 第三个其实当然就是说我们找到这个方向 ， 比如说就是大模型推理啊 、 部署这个 ， 大家还是非常认同的 ， 就是觉得这个机会更好 ， 就是把这件事情做成对每个人即使相对于那些很好的 offer 来说都是一个更好的选择 。 ### 押注推理 **曼祺** [28:43] 就我们之前关注的 OneFlow 其实是做训练和推理两个环节的 ， 为什么现在会有一个从原来做训练和推理变成了只做推理呢 ？ 因为我们普通人或者是一些行业外的人理解一个大模型 ， 我们可能认为它比较重要的是算力 、 算法和数据 ， 然后这个推理这个方向就是我们主要做什么呢 ？ **袁进辉** [29:05] 基本上在这个 AI 或者是机器学习这里面就分两阶段嘛 ， 一个是模型的生产 ， 一个是模型的使用 。 生产就是训练 ， 就是从一堆数据里面经过一些计算 ， 然后得到一个 model， 一堆权重 ， 然后呢推理就是使用这个模型的时候 ， 就是来一个问题 ， 然后这个模型会给它一个回答 。 那您问到就是说确实是之前呢像 OneFlow 啊是以训练为主的 ， 现在呢就是新的公司呢以这个推理为重心 ， 这个呢其实也有几方面的原因吧 。 第一个是从市场的机会来说 ，其实训练呢你会看到这个搞大模型训练的这个客户 ， 或者这个搞大模型训练的这些企业是数量比较少的 ， 就是你的客户集中度比较高 ，其实这个生意是不好的 。 那推理呢是一个几乎所有需要用到大模型的都需要用这个 ， 所以客户会更多更分散 ， 这个呢对生意来说是一个好事 。 第二呢是其实在大模型训练上在技术上可创造的价值那个 margin 不大了 ， 比如说我们在技术上叫那个硬件的利用率 MFU， 理论上最高差不多是 60%。 那现在呢大家使用这些比如说英伟达的系统啊软件能做到 40%-50%，也就意味着说能提高的就是百分之十几了 。 即使做好了提高这百分之十几 ， 看上去技术上这个价值没那么大 ，但是推理呢是一个好多倍的一个问题 ， 就是现在从百分之几到百分之几十还有十倍的空间价值可以发挥 ， 对吧 ？ 所以这个是在技术创造上这个 margin 还非常大 。 而且这个就刚才说的那个市场容量来说 ， 一定程度上推理也是训练的好多好多倍 ，因为训练呢它是模型的生产过程可能是阶段性的 ， 生产出来真正去使用的时候是持续的 。 比如说就以这个大模型处理的这个词的量 ，token 的量为例 ， 训练一个大模型差不多就是几万到十万亿的 token，但是推理呢比如说像 OpenAI 为例 ， 它一天生成量就是一到两万亿 。 我们可以想象一下， 一星期可能它处理的数据量就超过了训练 。 还有个第三个呢就是说这个可能还不是最主要的原因了 ， 就是作为这样的一个创业公司 ， 如果不在一个大模型团队里面是比较难把训练做好的 。 因为你要把训练因数做好 ， 最起码要每天都运行这个训练任务 ，也要有一个相当规模的实验平台 ，GPU 卡可以让你不断的做实验 。 比如我原来的光年我们有这个条件 ， 就像做这个粒子加速器这种实验一样 ， 全世界就那么几个 ， 你不在那几个平台上工作 ， 你在外面是没法做这个这方面的工作的 。 但是推理不一样 ， 推理实际上它不需要你有几千张卡 ， 你可能有一个很小的实验集群就能把推理的技术搞好了 ， 这也是一个原因 。 **曼祺** [32:00] 所以推理是大模型应用的一个独特的地方吗 ？ 就是我们之前看人工智能应用或者是在更早之前移动互联网应用 ，他们技术做出来之后好像没有这一块的需求 。 **袁进辉** [32:14] 也有 ， 实际上你比如说像刚才说的搜推广那个 serving 里面全是推理 ， 它比如说它训练了个点击率预测的模型 ， 上线之后其实我们每个人的这个查询请求啊 ， 每个人这个 profile 啊 ， 点击的行为啊什么的 ， 都是经过那些模型的推理去来匹配 ， 给你推送什么广告啊 ， 推送什么内容啊 ， 这些都是推理 。 **曼祺** [32:38] 那以前有这种第三方的服务商吗 ？ **袁进辉** [32:40] 以前的话就是说在互联网搜推广里面比较少第三方的服务商 ， 都是每个企业自己去搞定了 。 **曼祺** [32:49] 对 ， 那为什么现在会变化了 ？ 就你为什么觉得现在会有这个第三方的服务商 ？ **袁进辉** [32:54] 搜推广这个里面没有第三方的 ，但是在这个整个 AI 行业里面其他方面是有第三方的 ， 比如说我们过去这些所谓的第一代的 AI 公司可能都是这样的公司 。 就是说比如说我进出机场 ， 进出这个地铁那个刷脸啊什么的 ， 那些都是推理 ， 比如说我扫一下人脸 ， 它判断我是谁 ， 然后放行 ， 它就是背后有个推理的动作在进行 ， 推理这个图像是谁 。 所以这个是在那个过去的 AI 里面是存在的 ， 只不过呢搜推广是一个超级大的 super app， 就是所以那个互联网公司就垂直的给它覆盖了 。 但是呢其他方向呢就是被我们过去这一代 AI 公司好多好多去覆盖了 ，不过比较分散 ， 就是说过去的 AI 没有像今天这个大模型 ， 一个模型就创造了超级大的价值 。 以前的模型呢是每个模型的价值都非常小 ， 同时存在很多模型 ， 它就比较难成为一个 scalable 的生意 ，但是现在这个对情况不一样 。 **曼祺** [34:00] 所以您觉得这个区别在于现在的大模型的推理是比之前的推理更加标准化的 ，以及规模更大的 ？ **袁进辉** [34:07] 是 ， 过去的模型在深度学习出来之前 ， 各个模型的数学原理都不一样 ， 深度学习出来之后呢 ，在大模型出来之前 ， 好多模型结构什么 CNRN 还有什么 LSTM 等等 ， 甚至说 RNN 也有好多好多种不同的版本 ， 到大模型出来之后， 就是一个模型做好多好多事情 ， 那这个事情就高度标准化 ，是吧 ？ 而且这个它的使用场景或者范围深度啊什么的 ，也会比过去这些模型要广泛得多 。 大家现在不都在用 Transformer 这个结构吗 ？ 所以在这个在模型结构上 ，在运行这个模型的软件上就变得越来越统一 ， 越来越统一 ， 就使得说你做好一个工作 ， 一个产品 ， 然后它就发现它能够复制到好多好多地方去 ， 这不就是一个在商业上非常好的一个特征吗 ？ **曼祺** [34:58] 所以你是靠这个方向把团队的一些核心的人继续留下来了是吗 ？ 我想知道现在团队里有多少之前 OneFlow 的人， 然后还吸收了什么人 ？ **袁进辉** [35:06] 对 ， 我们进光年的时候是 40 人， 出来的时候是 35 人， 我们还有以前在 OneFlow 工作去了大厂工作又回来的 ， 所以现在有 40 多人， 除了补充了一些技术高手 ， 还有就是商业化这方面的人， 重点是做产品化商业化的人。 ### 商业模式 **曼祺** [35:25] 您刚才说的这个方向是这个技术方向大家团队里是非常认可的 ， 然后到下一个关键的问题 ， 您说到就是四话就开始跟您说 ， 这个问题我也没有想清楚 ，也没有觉得就是你有什么领先的认知 ， 就是你们这种 Infra 的面向开发者的这个东西到底怎么赚钱这件事上， 你们现在是怎么想的 ？ **袁进辉** [35:44] 我感觉我找到这个途径了 ，其中有一个就是说有一个比较重要的就是做全球化 ，因为这个这样的产品和这样的商业模式在海外， 特别是在美国还是非常成功的 。 **曼祺** [36:01] 可可以先解释一下这样的商业模式 ， 比如说它是直接通过 API 去赚钱吗 ？ 还是什么意思啊 ？ **袁进辉** [36:07] 它就是比如说在美国就是软件的这个类似于 SaaS 的云上的标准化的这样的产品 ， 比如说这个软件的公司或者 AI 的公司 ， 只要是在基于公有云的这个或者是私有云的这个供应链上， 只要把某一个环节做得非常有竞争力 ， 它就能够在这个价值链条中有非常好的模式去完成这个商业化 。 很多公司它就是不需要在中国做这个集成商啊 ， 面面俱到啊 ， 做项目啊这种方式 ，在那边你只要做标准化的部分足够竞争力 ， 你就可以有非常持续的 、 非常稳定的 、 非常可观的这个收入 ， 很好的模式 。 **曼祺** [36:53] 具体点来说 ， 比如说谁给它钱了 ？ **袁进辉** [36:56] 美国有很多很多企业 ， 就是他们对这个 SaaS 的消费已经是非常可观了 ， 就是所有的企业每年都要在这个 SaaS 的订阅上， 或者这种就是软件的订阅上有比较多的支出 ，因为那个就是他们能够受益于这个 ， 比如说效率的提升啊 ， 节省成本啊 ， 对于他们来说本身那个信息化做的已经很好了 。 另一方面呢就是人力的确是比较贵的 ， 所以在美国的这些同行就是做 Infra 的 ， 做 SaaS 的都是非常好的一个生意 。 **曼祺** [37:32] 它还有一种方式就是放在大的云厂商上给它分销是吧 ？ 相当于云厂商是它的一个渠道 。 **袁进辉** [37:37] 是的 ， 就是云厂商上面有一个所谓的市场 Marketplace，有点像 App Store 一样 ， 就是你是解决某类型的产品 ， 比如说数据库的或者大数据的或者是 AI 的 ， 只要是它需要你这个产品 ， 那这个云上的所有有同类需求的客户都可能成为你的客户 ，而且它是按量来付费的 。 就回到刚才说的就是说我觉得全球化是一个要做的事情 ， 就目前来说即使从这个市场空间或者从需求来说 ， 像这个生成式 AI 啊 ， 大模型啊 ， 海外的需求也是国内需求的几十到上百倍 ， 这是有统计数字的 。 **曼祺** [38:12] 它是按这个比如说 API 的付费来统计是几十倍 ？ **袁进辉** [38:16] 比如说就调用量 ， 对这些模型的调用量来说 ， 海外的需求是国内的几十倍 ， 当然这是因为国内因为种种原因这个需求还在这个孕育期 ， 还没有爆发出来 。 另一方面就是它的刚才说的这个模式非常有利 ， 所以这个全球化是一个这类公司的要做好的一方面 。 另一方面呢就是说在国内呢它是刚才说的在国内做这类型的产品和商业呢是一个 hard 模式 ， 比如说大家对这一类产品的付费意愿以及这些大客户的消费习惯 ， 比如说喜欢通过集成商啊什么这些方式 。 所以我的判断就是说国内并不是不能走通 ，但是呢需要我们这些创业者或者企业要有创造性 ， 要创造出来合适的产品形态 ， 然后用合适的商业策略才能把这个产品的商业价值拿到 。 举个例子就是说比如说大家经常提到的都容易想到的一个方式 ， 比如说软件和硬件一起卖 ， 这是很多人都在讨论的一种方式 ， 这是一种 。 纯卖软件如果这个路能走通就像美国一样 ， 那实在是一个太让人羡慕的一个模式了 。 就是说你想想这个软件它就是靠智力弄出来之后， 你再 copy 一份或者就没有成本的 。 所以这是在美国你比如说比尔 · 盖茨啊或者是就是这个是一个太美好的一个产品了和商业模式了 。 但是呢咱们的大环境呢就觉得凭什么看不着摸不着的一个东西你收我这么多钱 ， 那在中国要完成这个商业回报的这个闭环你就得通过一些额外的手段 ， 比如说刚才说的软件硬件一体 ， 就是一定程度上要求这些客户你不得不为某些东西付费 ， 然后呢这 是一个打包的东西 ， 然后把软件的钱就拿到了 。 那还有一种其实也是和海外的云类似 ， 比如说我们所有使用 AI 的这些用户或者企业 ， 大家都还必须为算力付费 ， 我使用谁的 GPU 我租赁你不能白用的 。 所以呢在国内这个云上或者是跟算力挂钩也是一种可能性 ， 就是说你在使用算力的时候你必须为算力付费 ， 那这个算力上附加的这个产品和服务如果打包在一起的话也是必须付费的 。 就是在国内要想一些办法就是要和用户不得不付费的一些东西弄在一起 。 **曼祺** [40:43] 像现在全球和国内的话 ， 我们的目标客户都是哪些 ？ 有先后的顺序吗 ？ **袁进辉** [40:49] 有 ， 长期来说这个像大模型啊生成人啊肯定会无处不在的 ， 就是在所有的场景里面 ， 所有的行业里面都会发生 。 但是它这个渗透率啊或者这个成熟啊有个过程 ，在近期的比如说半年一年， 像这个比如说现在的大模型公司首先是一个好的 ， 还有就是已经开始上量的一些应用的公司 ，但这个呢目前在国内看到的还比较少 ，在海外比如说像 Midjourney 啊 Perplexity、ChatGPT AI 这些都是已经是吧 ， 那个量已经开始爆发了 。 还有一些比如说像对这个大模型啊生成 AI 这个采纳呀或者是商业价值 ， 对客户的商业价值来说比较立竿见影的那样一类 ， 比如说举个例子就是游戏 ， 游戏也是很愿意为这些东西付费的 ，因为它已经从这上面尝到甜头了 。 比如说游戏里面现在都在加那个基于大模型的 NPC 等等 ， 它能够让玩家更过瘾 ， 玩家为它付费 ， 它就愿意为这个给它创造这个能力的这些 AI 啊或者 Infra 付费 。 所以呢这个确实有的部分是就所谓的是那个 low hanging fruits， 就是非常好的一个群体 ，有的要到一年之后才会成型的 ， 才会更大量的什么的 ，有这样一个过程 ，有这样一些分类 。 ### 竞争格局 **曼祺** [42:08] 大模型公司他们为什么不自己做推理的优化啊系统层的东西 ？ 因为训练的系统他们自己就做了嘛 ， 推理为啥不做了 ？ **袁进辉** [42:16] 其实训练系统也不是自己做的 ， 比如说大家广泛都在用英伟达的 Microsoft。 **曼祺** [42:22] 那英伟达为什么不做推理的优化 ？ **袁进辉** [42:24] 事实上英伟达也做 ， 比如说现在实际上世界上的这个推理的引擎的来源往下这个追根溯源就几个 ， 一个是 Berkeley 那边搞的 VLM， 包括海外的一些 Infra 公司也都是基于 VLM 去往上去包的 ， 比如说 Hugging Face 的 TGI， 还有就是也有些海外的朋友告诉我说 OpenAI 也在用 VLM。 **曼祺** [42:47] 这是个开源的 ？ **袁进辉** [42:48] 开源的 ， 除了 VLM 还有个就是英伟达搞了一个 TensorRT-LLM， 然后这个也是好像在社区里面开源的就没别的了 ， 所以英伟达在做 ， 好多大模型公司也没自己做这些东西 ， 要么用 VLM 要么在尝试用 TensorRT-LLM。 **曼祺** [43:09] 我们关注到有一些国内的公司 ，他们也说自己有一些大模型的推理框架 ，他们是在这些开源的基础上做的一些优化或者微调 。 **袁进辉** [43:20] 如果是没有开源说自己有这一套系统的 ， 没有开源的 ， 基本上啊可以认为是基于开源项目去做的 ，也不排除有像我们一样从头搭了一套系统 ，但是我们没开源 。 **曼祺** [43:34] 所以你们既不是这个伯克利的 VLM，也不是英伟达做的 TensorRT-LLM 是吧 ？ **袁进辉** [43:42] 对 ， 你们是自己搞的一个 ， 可以说是我们所知的第三套系统 ，因为我还不知道别的公司谁 build from scratch 搞了这么样的东西 。 **曼祺** [43:52] 那你们这次又是在和大公司竞争啊 ， 你觉得成功率会提高吗 ？ 因为英伟达也是个很大的公司 ， 资源也很大 。 **袁进辉** [44:00] 实际上对云计算公司 ， 英伟达这样的公司 ，以及像 OpenAI 这样的公司 ， 或者是以 OpenAI 为例的大模型公司来说 ， 一定程度上就是也是兵家必争之地 ， 这是大家都会去有掌控它的这个愿望 ， 这是很容易理解的 。 也的确这个做这方向的也都是这个非常有实力的公司 ，但是从这个判断或者从现实来说 ， 我们事实上就是现在那个做到的效果已经是比这个无论是 VLM 也好 ，TensorRT-LLM 也好都好很多了 。 这是我们现在已经做到的 ， 我们恰好在这方面其实是有可以说本来我们就算一个世界级的团队 ，因为我们在做硅基流动之前 ， 比如说竞争对手就是这些搞框架的 ， 什么 TensorFlow 啊 ，PyTorch 啊 ，Paddle 啊 ，Mindspore 啊 ， 这些都是大厂 ， 还有英伟达像什么 TensorRT 啊什么的 ，其实在那个阶段的较量中我们也是有很多这个胜绩的 。 所以这个就是说对存在技术层面的这种其实没有这个心理弱势 。 **曼祺** [45:11] 你们怎么评判你们比别人好啊 ？ 就是这种领域它是比如说我拿一个具体的任务 ， 然后看我的加速成果 ， 然后我的资源利用率吗 ？ **袁进辉** [45:20] 比如说简单来说就是有些指标大家是通行的 ， 比如说延迟是吧 ， 你生成的速度越快 ，以及同样的硬件同样的模型每秒钟生成的这个词越多 ， 这些都是很客观的指标 。 然后呢有一些常见的这个数据集啊什么的 ， 一些最常见的模型 ， 比如说 Llama 呀 ， 还有这个通义千问啊 ， 还有这个欧洲的那个 Mistral 发的那个 MoE 的结构叫 Mistral， 这些大家都可以比较容易的做这个同样的硬件情况下， 同样的模型用这一大批的数据去做这个测试 ， 这是可以有测试的 。 目前大模型这个呢我举个例子 ， 大模型这个产品呢因为还没有发 ， 所以呢比如说还没有第三方的测试 ， 这是一个问题啊 。 但是那个我们比如说在一个原来积累基础更好的领域 ， 就是 AIGC 领域 ， 就是文生图文生视频领域 ， 我们实际上已经是持续一年都是业内最快的系统了 。 通过开源的也好 ， 后来又做了很多这个企业版闭源的 ， 这个在国内外都有很多很多这个企业客户在用了 。 **曼祺** [46:32] 你们这个推理框架就叫 SiliconFlow 吗 ？ 就这个框架本身的名字叫什么 ？ **袁进辉** [46:36] 这个框架本身的名字其实叫这个 Crossing，其实比较随意起的一个名字 ，因为我们在处在五道口 ， 我们也不知道五道口该怎么翻译 ，但是觉得也是个交叉路口意思 ， 然后就那个起了个叫 Crossing。 **曼祺** [46:52] 我相信很多投资人可能都会问一个问题 ， 虽然很俗套啊 ， 就是你们只有 40 多人， 为什么能做得比全球的一些很大的公司做这件事情也做得好 ？ 你怎么说服大家相信这件事情啊 ？ **袁进辉** [47:03] 这个呢其实是有一串的业绩 ，因为过去是做的是开源嘛 ， 所以都是可以验证的 ， 比如说我们在这个底层的什么 CUDA 的优化上能做到很多比英伟达还快啊什么这些都是开源出去的 ，其实别人都可以测试的 ， 包括业内最快的 Stable Diffusion 这些东西也是我们开源版都比那个 TensorRT 要快的 ， 我们企业版就快得更多了 ， 好多好多 ，因为这都是比较容易验证的 。 刚才你这个问题 ， 这些人才本来就是属于很 top， 我们有的人就是原来在这些非常 top 的团队工作的 ， 或者是在我们这工作去了他们那边工作又回来的 ， 这是人才啊 。 技术层面之外的也有很重要的因素 ， 就是你会发现敢创业的人其实他会比在大厂工作的人更有这个雄心抱负一些 ， 我个人理解叫野心也好 ， 或者叫斗志也好 ， 这个有时候也是比较重要的 。 还有就是就说就这个 OpenAI 来说 ， 这样一件事情在很多大厂里面优先级排不到最前面 ，但是在这边呢是唯一的 ，而且是赖以安身立命的 。其实我还想分享一下就是说一个很说不清道不明的一个事 ， 就是同样的这些人他到了另外一个环境里面就发现他做不出来这样的事情 ， 就像酿酒一样 ， 即使是同样的这个水啊粮食啊 ，有的就成为了茅台 ，有的就成为了 另外一个 。 我们这边就是说出去之后又回来的还挺多的 ，其实就会感觉到这一点 ， 就是说确实在这个里面有一些特殊的东西 。 **曼祺** [48:39] 那这就是气场吧 ？ **袁进辉** [48:41] 就组织啊 ， 一些文化呀什么的 ， 然后他就能够有助于这样的事情成功 。 **曼祺** [48:48] 海内外你们有什么创业团队的同行啊 ？ 因为刚才说英伟达这些都是比较大的公司嘛 ， 同样也是创业团队 ， 同样有这种他唯一的事情就是这个的公司有哪些啊 ？ **袁进辉** [49:00] 在海外还是很多的 ，而且也都是大牌 ， 独角兽都好几个了 。 像那个原来创立 Databricks 的那个教授 Ing Stoica， 伯克利的 ，他们还搞了一个公司叫 Nscale，是做这些东西的 。 还有像这个 Together AI， 这也是挺热门的一个公司 ， 里面有很 top 的人， 像 PyTorch 那边还有出去了一些团队 ，有个团队叫 Fireworks， 这是海外的 。 还有那个像那个陈天奇 ，其实也是很传奇的华人， 做的公司叫 OctoML， 现在叫 OctoAI， 对吧 ？ 以及像杨青做的公司啊等等。 对 ， 就是美国这边其实挺多的 ， 国内呢前几年没有 ，但是去年其实也有一些这样的公司 。 **曼祺** [49:43] 你说这样的一些是具体到推理的框架 ， 就这么细分的同行吗 ？ **袁进辉** [49:47] 其实就是从目标上要使这个大模型推理的成本降多少倍 ，以这个为目标的公司 。 **曼祺** [49:54] 所以贾扬清他们也是主要做推理的 ？ 我本来以为是做训练 ， 我以为是偏训练 。 **袁进辉** [49:59] 应该是推理的 。 **曼祺** [50:00] 推理的 。 所以这个市场能够在国内创造出独角兽公司吗 ？ **袁进辉** [50:06] 海外已经出现了啊 ，但是当然呢 ， 即使是海外已经成为独角兽公司的 ，在收入上啊实际上还没有支撑 ，在国内会不会出现 ， 我之所以在做这个事 ， 肯定是抱着比独角兽更大的这种目标去搞的 。 **曼祺** [50:23] 那挑战来自于技术呢 ， 还是来自于商业 ， 还是来自于大模型这个行业的未来呢 ？ **袁进辉** [50:30] 我现在判断就是我对这个团队也好或者什么的 ， 实际上在技术上是非常放心的 ，其实最大的还是这个产业和商业化 ， 包括刚才说的是有全球化的策略 ， 全球化怎么搞 ，以及在国内的这个特殊环境里面 ，他一定会创造很多的价值 ，但是要通过什么形式 ， 什么样的产品形态和商业模式完成这个闭环 。 ### 工程壁垒 **曼祺** [50:55] 正好我们最后想聊的一个部分也是关于整个大模型或者说 AI 这个产业接下来的一些变化 ， 就您的一些观察的 。 **贺乾明** [51:03] 对 ， 就是之前我们有过一次交流 ， 当时您提到就是 ChatGPT 出现之后， 大家都觉得这是一个很有壁垒的事情 ， 然后到后面开源社区的进步让这个壁垒慢慢的消失了 ， 做一个大模型其实不是一个门槛特别高的事情 ， 这是 2023 年的变化 。 那么如果看 2024 年的变化的话 ， 我们可能会看到哪些新的趋势呢 ？ **袁进辉** [51:27] 那我再重新解释一下那个大模型壁垒不是特别高这句话 ，因为可能会有很多人不同意 。 因为是这样 ， 我实际上在三个搜索引擎都干过 ， 搜索引擎在过去其实就是被认为是一个各方面壁垒极高的事情 。其实我在那个比如说友道以及 360 投资当时搞搜索的那个公司 ，以及微软的搜索引擎都做过事情 。 它是一个在某些阶段就被认为是一个壁垒极高的事情 ， 到后面呢其实会发现啊当时仍然有壁垒 ， 仍然有进入的壁垒 ，但是不再神秘 。 但是大模型呢也是经历了这么一个过程 ， 就是 ChatGPT 出来那个就是 22 年底的时候 ， 到现在其实我的想法我对它的理解一直没变 ， 比如说它有四个要素 ， 要有数据 ， 要有算力 ， 要有算法 ， 要有工程 ， 然后这里面呢将数据算力是钱可以解决的 ， 数据也是用钱可以解决的 ， 工程呢是工程师人才 ， 算法呢也是人才 ，但是呢它是一个就是更容易传播的一个 事情 ， 比如像 CNN 出来了全世界都会搞了 ，Transformer 出来全世界都会搞了 ，是吧 ？ 从这些方面来说它的壁垒不太会是技术 ，但它技术里面的这个原来大家对它的想象里面会有很多神秘的东西 。 我刚开始就不觉得它有什么神秘的东西 ， 经过去年呢我觉得也越来越多人会因为会有机会看到这里面的 ，以及有机会从头开始训练一个 ， 即使不到 3.5 水平 ，但是也可以完成这么一个过程 ， 会有越来越多的人就是会看到那个秘密呢可能不是那么多 ，但是呢它确实你要弄起来这个东西 ， 它是有一个至少是一个资金啊有个门槛 ，但是资金是门槛呢其实能 满足这个门槛的还挺多的 。 说白了就是好多大公司都是有这个条件的 。 所以这是我说的那个事情的背景 ， 我今天仍然相信这个判断 。 所以基于这个判断呢就会影响到无论是个人也好还是这个企业也好 ，在这个判断下应该去做什么事情才是长期有壁垒的 ， 长期有壁垒的才能有这个商业上的成功 ， 对吧 ？ **曼祺** [53:45] 所以长期有壁垒的是工程是吗 ？ **袁进辉** [53:47] 工程更容易成为一个壁垒 。 **曼祺** [53:49] 那它是一个长期的壁垒吗 ？ **袁进辉** [53:50] 这个是可以讨论的 。 **曼祺** [53:52] 对 ， 可以讨论 ， 看长期到什么程度吧 。 我们之前和知谱的张鹏还有阿里云周敬仁都聊到过这个 ，因为阿里云就是做云的嘛 ， 云里面有很多细枝末节的工程上的一些东西 ， 然后像张鹏他们就是知谱那边自己训练自己大模型 ，他也说到其实他们最开始训练那个 GLM 第一版的时候 ，他们说他们训练模型大概只用了两个月 ， 前面有六个月的时间都是在搞 这种工程上的细节的东西 ，而且这种东西他不会写到论文里面的 ，他也不会开源 ，他都是一些很细的一些经验啊 。 **袁进辉** [54:26] 是 ， 这还是训练里面的工程 ， 比如说我做的新的事其实是以推理部署 ， 这里面也有很多工程 ， 它之所以更容易形成一个壁垒 ， 跟它这个本身的属性啊特质有一些关系 。其实有的时候 ，有的时候一个很聪明的 idea， 它能创造的价值挺大的 ， 就是我想到了一个很绝妙的算法 ， 或者很绝妙的这个比如说系统上的提升 ， 越是这种聪明的 idea 呢越不太容易成为壁垒 ，因为这个太显眼了 ， 就是很多人都会注意到 ，ROI 也比较高 ， 就是一个 idea 竟然有这么大的回报 ， 几乎所有人都会去做 。 但是在工程上它是会有很多很多时间的积累 ， 很多很多单点看上去 ROI 都非常小的东西 ，但是它是由非常多这样事情垒起来的 。 那这个呢就是在不是对这个方向或者这个产品这个赛道志在必得的这种团队或者企业来看的时候 ， 任何一个单点的提升或者什么都是不值得去做的 。 但是你这每一个东西 ， 一个微小的东西不去做 ， 就不会有后面这个综合的这个效果 。 所以这里面就是在工程上， 虽然在想象上很多人觉得他只要去付出或者这时间或者这个投入就能够做到 ，但是并不会有多少人真的去做这个事情 ， 大家会计算这个 ROI 吧 。 **曼祺** [55:53] 这个挺有意思的 ， 您可以继续说到 2024 的变化 。 ### 2024趋势 **袁进辉** [55:56] 2024 首先是那个应用上的这个爆发呀还是很值得期待的 ，因为现在至少国内还没有这种基于大模型而成功的这种应用 ， 就像 Midjourney 啊 Character.AI 这种 ，Perplexity 这种 ， 然后还有就是无论是开源还是闭源 ， 就是国内的模型应该会出现这种 3.5 到 4 之间的 。 **曼祺** [56:18] 追不上是吗 ？ **袁进辉** [56:22] 我觉得比较好的情况是能实现 4 的水平 。 **曼祺** [56:25] 那它需要有什么前提条件呢 ？ 就是我们刚才您也提到如果一个好的 idea 就很快就扩散开来 ， 现在这个问题或者是我们追上 GPT 式的卡在哪 ？ **袁进辉** [56:38] 怎么讲 ， 就像刚才说那个工程那事一样 ， 它是一个全方位的 。 **曼祺** [56:43] 全方位的卡 。 **袁进辉** [56:44] 全方位的每个就是它好多方面都不能有短板 ，但是呢在每个方面都做到 OpenAI 那种做 GPT4 那个水准呢 ， 就感觉这个在任何一个团队里面都缺一些东西 。 **曼祺** [56:57] 它是一个系统的提升 ，而不是说一个团队就是缺了一个短板的问题 。 **袁进辉** [57:02] 它不是说把某一方面做得很长就有 GPT4 了 ， 它是在好多方面都不能有短板 。 **曼祺** [57:08] 如果说大模型技术能力不够 ， 应用上成功的可能性大吗 ？ **袁进辉** [57:15] 一定程度上在今天这些可以公开访问的模型上， 或者是开源模型上， 我觉得可以愿意出 ， 比如说未来有几款 Silver App， 就是几年之后也许我们看到了 ， 就那几款应该在今天这个大模型的基础上是可以做出来的 。 **曼祺** [57:31] 但是你觉得这不是大模型公司做出来的 ， 对吧 ？ 就概率上由本身做大模型的公司做出来这些 Super App 是 。 **袁进辉** [57:38] 我觉得概率低 ， 你要弄出来那个的话 ， 一定程度上可能是我就是几年之后看 ， 就是那个时候的张一鸣 、 张小龙等等 ，但是这些人在哪现在不知道 。他在大模型公司的概率不高 ，因为大模型公司充其量加起来 1000 人是吧 ，而且里面还大部分是在搞这个技术的 。 **曼祺** [58:00] 因为你说像张一鸣和张小龙他都是 ， 特别是张小龙这种 ，他其实是产品导向的 。他是对产品对用户的洞察非常敏锐的 ，他不是研究型的那种人。 **袁进辉** [58:11] 对 ，他不是搞技术的 。 **曼祺** [58:12] 所以您的目标是成为下一个张一鸣或者张小龙背后的男人吗 ？ **袁进辉** [58:18] 一定程度上啊 ， 就刚才说的这个应用 ， 还有一个就是基础设施 ，其实它是为上面所有的应用提供这个大模型能力 。 那这个今天来说像 OpenAI 是这种一个位置 ， 像大模型公司呢 ， 如果说没有可能或者没有信心搞出 Super App 的话 ，也希望成为大模型基础设施 。其实我们也是大模型基础设施 ，但是大家的切入的不一样 。 大模型公司是切入是说我练出很好的模型 ， 然后呢再补充这个系统啊什么计算啊成本的问题 ， 服务所有上面的需求 。 但是我们是从这个 system， 从推理啊软件这个角度 ， 成本这个角度切入 。 就这个时候其实这个模型和这个系统是一个互补品 ，因为这个互补品是就有这样一些经济学上的理论 ， 对吧 ？ 就是说如果你在你这个环节里面是 top 的 ， 然后你另外一个互补品那个环节又非常分散 ， 就对你非常有利 。 但是呢这个时候过几年之后去看是大模型的供应是比较分散的 ， 比较容易获得的 ， 还是这个 system 是更分散的 。 **曼祺** [59:28] 是 ，而且你刚才说就是张一鸣背后的男人吗 ？ 张一鸣背后没有男人啊 ， 张一鸣就靠自己就行了 ，他背后的基础设施 AML 都自己做了 ， 对吧 ？ 自己那么大的一个 AML， 就是下一个张一鸣他会不会也把你们这部分就给覆盖掉了 ？ 我应用做得够大的话 。 **袁进辉** [59:43] 这种问题一直存在 ， 就是当这个应用超级成功的时候 ， 它下面就会垂直整合这个 Infra，但是呢因为这些应用还是非常多的 ， 除了那个超级应用可能还有别的应用都属在这个是吧 ， 腰部啊肠胃啊都需要这些能力 ，但是那些绝大部分就是从分工的这个社会分工角度来说 ， 就没有必要都做了 。 就是它需要一个公共的第三方的 ， 就是像今天这个好多这个数据库啊 ， 包括芯片啊是吧 ， 就是云厂商自己搞到芯片了 ，但是还需要像第三方的这个芯片公司啊等等 ， 这个仍然有很大的空间吧 。 **曼祺** [1:00:22] 就是你刚才也提到说这个互补的关系里面可能最后看谁的供给更容易获得 ， 那它可能是更不利的一方 ， 供给更稀缺的是更有利的一方 。 那你是怎么判断未来 AI 推理框架它的市场分散程度的 ？ 就说这个市场到底是有很多供应商还是说可能只会有很少的供应商 ， 然后为什么了 ？ **袁进辉** [1:00:44] 从它的这个进入门槛来说 ， 肯定是比芯片低的 ， 芯片现在是一家独大的垄断是吧 ，但是即使这样其实随着大模型的出现 ， 这个因为这个网络模型啊结构啊更加收敛 ，其实我们可以预见就是今年到明年啊其实在芯片领域也会发生从集中到分散的 ， 从这个软件层面按说它的进入门槛比芯片要低 ， 所以在软件这一块也会存在很激烈的竞 争 ， 这是必然的 。 但是呢一定也会分出这个一二三来 ，也会存在这个不说所谓的 winner take all， 肯定也是什么二八的这种划分 ， 就是说你做得最好的就拿到了最多的市场 ， 最大的回报 ， 然后呢往后的就是就肯定是更边缘化的 。 所以呢其实在任何一个环节 ， 如果你能保证你一直是第一最领先的 ， 即使存在这个竞争分散 ， 那第一名还是比其他的要活得好 。 所以要对于这个方向的这些玩家来说 ， 它肯定是一个持续的竞争 ， 一直到决出这个第一名第二名第三名 ，以及是不是稳定的 。 **曼祺** [1:02:01] 为什么模型收敛 ， 芯片反而会从集中变得更分散 ？ **袁进辉** [1:02:05] 以前的模型太变化了 ， 所以呢它对这个芯片的这个通用性啊有比较高的要求 ， 这个通用性呢又是通过这个大部分通过软件来实现的嘛 ， 就是大家经常讨论的这个软件生态 ， 那现在英伟达是做得最好的 。 但是现在你比如说如果说我们大部分的场景需求就是大模型 ， 大模型就是 Transformer，Transformer 就是几十个算子 ， 对于好多好多芯片来说就把这些支持好就行了 ， 它就没有就是在这个软件生态上也不需要像过去一样克服那么多问题了 。 所以呢就是能把这个 Transformer 支持好的芯片还是有挺多家的 ， 你像 AMD、Intel 都是可以搞定的 ， 国内的你看像华为嘛 ， 所以这个是肯定会出现的 。 **曼祺** [1:02:58] 明白 ，其实这也是 2024 年可能的一个行业里比较大的变化 ， 对吧 ？ **袁进辉** [1:03:02] 对 ，而且在这个规律上来说 ， 一直持续一家独大不太符合这个规律 。 **曼祺** [1:03:10] 上下游都不答应的 。 **袁进辉** [1:03:12] 对对对 ， 然后你在这个技术的革新上来说 ， 你看昨天和一个朋友聊 ， 就是说如果说你技术革新创造了比如说 2 万块钱的价值 ， 如果是一家独大的话 ， 如果这个创新是由这个垄断者做的 ，他就会把 1 万 8 留在自己手里 ， 只有 2000 是让出来的 。 但是呢如果能够由新入局的来做的话 ， 大部分都会让出来 ， 就是肯定是对整个行业是更有利的一种 。 ### 终极目标 **曼祺** [1:03:42] 您刚才也说这一次创业肯定不是只奔着独角兽这种目标去的 ， 您这一次想做成什么样做到什么程度 ？ **袁进辉** [1:03:49] 一个判断就是大模型未来是无处不在的 ， 我希望我们的这个产品也是无处不在的 ，但凡是需要大模型能力的地方 ， 核心的系统 ， 这个能力的支撑我们是存在的 ，在那边的 。 那这个就是一个其实是一个基础设施公司 ， 一定程度上也是 AI 的 Cloud， 这是从这个商业目标上来说 ， 同时从这个个人的追求上有一个有意思的事情 。 我们过去六七年这个创业 ， 虽然我们的投资人是赚钱了 ， 我并不认为它是一个商业上的成功 ， 一方面我们自己有遗憾 ， 另一方面呢我们希望获得一个所谓的世俗的成功来证明一些我们相信的东西 ，因为更多的人看到世俗的成功 。 **曼祺** [1:04:36] 才相信你上面的 。 **袁进辉** [1:04:37] 才相信你的一些理念 。 **曼祺** [1:04:39] 或者说他才会被这个理念吸引 ， 让这个理念变得更壮大 。 **袁进辉** [1:04:43] 对 ， 或者是更相信一些很重要很普通的道理 ， 就是那个清华科技园不是很多大模型公司吗 ？ 很多同行大家吃饭的时候或者是电梯里面 ，其实会经常听到大家讨论这些技术啊行业的问题 。 有一次我们楼下有一个饺子馆叫喜家德 ， 大家经常在那吃饭 ， 我有一次吃饭旁边两个人在讨论 ，他们说就像那个 OneFlow，不认识我 ，他说就像那个 OneFlow 技术做得挺好的 ， 然后呢又怎么怎么样 ， 反正是说了一堆好话 ， 最后说还不是被收购了 ， 还不是没挣到钱 。 我觉得这个当然我就很尴尬 ， 我当然我就在旁边听了 ， 赶快把饭吃完 。 一定程度上我有时候说 ， 我们是不是做了一个不好的范例 ， 就说你在这个技术的判断上没问题 ，也勤勤恳恳 ，也踏踏实实的去做事了 ，但是仍然没有取得大家认可的成功 。 很多人不相信这些 。 **曼祺** [1:05:42] 好的技术能赚钱 。 **袁进辉** [1:05:43] 对 ，不相信技术 ，不相信这个认真做事等等 ， 我觉得是一个不太好的一个事 。 还有就是其实刚才说到这个融资嘛 ， 虽然说这个融资整个这个下半年资本市场比较 ， 对吧 ， 比较冷淡 ， 融资不是那么容易融 ，但实际上对我们来说也还好 ， 大家是个双向的选择 。其实我们也是比如说和谁合作 ，其实也是有这个自己的选择的 ， 比如说是不是懂技术 ，是 不是信市场 ，以及说是不是这个有创业精神啊 ，有全球视野啊这些方面的 。 信市场我觉得就是一个我体会到的也变成稀缺性的东西了 。 按说这些比如说我们这些投资机构最应该是市场经济的信徒的 ， 最相信市场机制它是最有效的 ，是成功能促使成功的 。 但是反正经过这些年的这个 。 **曼祺** [1:06:42] 各种被教育是吧 ？ **袁进辉** [1:06:43] 各种被教育 ， 你就会发现有很多很多人是就是从实际行动上更愿意去做什么全局的事情 ， 更愿意去做资源的事情等等。 所以这是一个不太好的一个体会 。 比如说这个投什么项目比较可笑的就是说不是根据创业团队啊以及市场规律啊什么的这些方面做依据 ，是以这个政府关系啊身份啊这些做依据 。 **曼祺** [1:07:13] 身份是指是不是院士之类的吗 ？ 是不是教授 ？ **袁进辉** [1:07:17] 比如说就是简单来说以我为例啊 ，以这个名气或者什么的 ， 虽然我是这个的受益者 ， 我原来是当然是就是名不见经传的 ， 后面是因为反正经过这些事情的折腾有了一定的名气 。其实比如说有的机构不是基于这个 reason 理性来做这个 ， 比如说他觉得这个你身上有流量或者有名气 ， 那其实这种即使给钱我们也不会拿的 ， 我们是希望 到它是个成熟的 ，是独立决策的 ， 为自己的这个决策负责的 ， 就是都是愿赌服输的 ， 对吧 ？ 但是那种就是说不是那种理性决策的 ， 你真正拿了这个钱 ， 它是不稳定的 ， 它可能会想法会很容易受外界的什么什么的影响 ， 这是很不安全的 。 **曼祺** [1:08:05] 今天非常感谢袁老师的分享 ， 分享了过去 15 年不算顺利的学术还有创业的过程 ， 然后也和我们分享了 AI Infra 也就是基础层在现在的整个 AI 大模型产业里它是一个什么位置 ， 它作为一个连接芯片算力硬件层和算法模型中间的这个软件部分发挥的关键作用 。 同时也讲到了就是说这个新的公司正好就是想在 AI 的推理框架上去做一些探索 ，也希望能够弥补之前在一流科技没有实现的中国的 ToB 技术创业能不能走出一条成功的商业化的闭环 。 我们今天的节目就到这里 ， 非常感谢大家的收听 ， 如果对这期节目感兴趣的话欢迎留言 。 大家拜拜 。 **袁进辉** [1:08:52] 谢谢 ， 谢谢晚点 。 **曼祺** [1:08:54] 谢谢谢谢 。 这是 《 晚点聊 AI 大爆炸 》 系列的第一期节目 ， 之后我们会陆续邀请 AI 领域的创业者 、 投资人和大公司的从业者 ， 欢迎大家通过留言等方式推荐你们想听的 AI 产品 、 项目和嘉宾人选 ，也可以提出你们关心的话题和趋势 ， 期待大家的分享 。 --- 本节目库由 PodHood（https://podhood.com）提供支持——播客网站平台。