# 105: 潞晨尤洋争议中谈三方云平台 DeepSeek 成本：为何我不做 MaaS 了？ 晚点聊 LateTalk · 2025-03-06 在 DeepSeek 开源周数据宣称成本利润率达 545% 引发热议后，潞晨科技创始人尤洋在本期访谈中回应争议：他坚持认为，中小云厂商部署 DeepSeek 并售卖 API 的 MaaS 模式是巨亏生意，潞晨已停止相关服务。DeepSeek 官方称其 24 小时处理了 608B 输入 token 和 168B 输出 token，仅用 1814 张 H800 支撑 2000 万至 3000 万日活；而尤洋实测每节点每秒输出仅约 300 token，与官方公布的 14.8K token 相差 46 倍。尤洋解释，MaaS 按 token 计费却要按 GPU 时间承担成本，在线任务序列长度波动剧烈，需准备约 5 倍冗余资源，且中小厂商缺乏模型与技术壁垒，最终只会陷入价格战。因此潞晨科技转向为传统企业提供私有模型部署（PaaS），客单价在 10 万至 100 万元之间，目标对标 AI 版 Databricks。尤洋还主张，只有像 OpenAI 这样拥有独家顶尖模型的公司才应做 MaaS，高利润是对创新的奖励，并透露潞晨正布局视频生成模型。他称自己并不想与 DeepSeek 对立，抨击的是那些宣称推理速度比英伟达方案快十倍的中小云厂商。 ## Questions this episode answers ### 尤洋为什么认为中小云厂商做 MaaS 服务不赚钱？ 尤洋认为中小云厂商做 MaaS 不赚钱：MaaS 按 Token 收费，但上游算力按机器时间收费，平台必须为不可预测的波峰波谷准备 5 倍的冗余；同时开源框架已优化得很好，中小厂商没有模型或技术壁垒，容易陷入价格战。他曾测算这类业务每月亏损会高达 4 亿。 [7:23](https://latetalk.podhood.com/d232fb31-588d-4ac0-9013-c16ed52550d0?t=443000) ### 尤洋的 DeepSeek 吞吐量实测和官方数据为什么相差 46倍多？ 曼祺提到尤洋此前实测 H800 机器每秒输出 300 Token。尤洋不愿评价 DeepSeek 的具体优化，只说自己用开源框架 SG-LAN/VLM 测试时，序列长度变化会让每秒输出 Token 数剧烈波动，线上利用率不可控，离线 benchmark 不能代表真实 MaaS 负载，因此和官方数据差 46倍多。 [29:41](https://latetalk.podhood.com/d232fb31-588d-4ac0-9013-c16ed52550d0?t=1781000) ### 潞晨科技为什么停止 DeepSeek API 服务？ 尤洋说潞晨短暂尝试过 MaaS，通过它确实能获得一些收入，但代价太高、亏损率比较高。他认为当前 MaaS 的定价体系和 GPU 算力利用率成熟度不够，创业公司应把资源投入更擅长的增长业务，所以决定暂停 DeepSeek API 服务，等市场更成熟再做。 [13:05](https://latetalk.podhood.com/d232fb31-588d-4ac0-9013-c16ed52550d0?t=785000) ### 潞晨现在做什么？为什么想做 AI 版 Databricks？ 尤洋说潞晨的机会是帮助更多企业做私有化、垂直模型部署，因此想做 AI 版 Databricks：前端帮用户做私有模型，后端是 GPU；从中小客户和开源生态做起，不和大厂拼超大复杂产品。他还透露正在自研视频大模型作为新方向。 [35:43](https://latetalk.podhood.com/d232fb31-588d-4ac0-9013-c16ed52550d0?t=2143000) ## Key moments - **[0:00] 惊人利润率** - [0:19] DeepSeek 官方 24 小时实测：输入 608B、输出 168B Token，用 1814 张 H800 支撑 2000 万-3000 万日活，成本利润率 545%（毛利 84.5%） - [1:03] 尤洋此前测算：中小云平台部署 DeepSeek 再卖 API，每月亏损可达 4 亿元 - [2:26] 尤洋是 UC Berkeley 博士、新加坡国立大学校长青年教授，2021 年因李开复团队联系创立潞晨科技 - **[3:10] 亏损4亿争议** - [3:42] 尤洋：『我抨击的是中国很多中小云厂商倒卖 DeepSeek API，又宣传自己推理技术比英伟达快 10 倍』 - [5:31] DeepSeek 官方成本利润率 545% 是理论值：按 R1 价格算，实际因 V3 和夜间折扣会更低 - [7:23] 尤洋：用 SG-LAN/VLM 等开源方案把机器打满，中小云厂商做 MaaS 的亏损率依然很高 - [8:32] 尤洋：『我敢打赌 99% 的中小云厂商不可能比我用开源方案明显快』 - [9:15] 尤洋：做 MaaS 必须备足 5 倍冗余算力，因为 APP 调用波峰波谷变化很大且不可预测 - **[9:25] 冗余资源** - [10:50] 尤洋：如果要日输出 1000 亿 Token，应准备有 5000 亿 Token 能力的机器，2 倍非常不靠谱 - [12:00] 尤洋预测：未来几个月会有人宣称通过 DeepSeek API 盈利，但可能靠量化、蒸馏等美化实验数据 - **[12:26] 放弃MaaS** - [13:34] 尤洋：潞晨测试后决定停止 MaaS 和 DeepSeek API 服务，通过 MaaS 获得收入代价太高、亏损率高 - [15:16] 尤洋：MaaS 按 Token 卖，但上游 IaaS 按机器卖，下游 APP 按调用付费，MaaS 承担全产业链亏损 - [16:09] 尤洋：『AI 中间层或算力层核心就是降低算力闲置率，所有亏损都来自机器闲置率』 - [17:12] 尤洋：MaaS 对中小云厂商没有技术壁垒，SG-LAN、VLM、TensorRT 已优化得非常好 - **[17:57] 私有部署** - [18:30] 尤洋：潞晨主营业务是帮传统企业做私有化、垂直行业模型，通过算力平台交付，客单价高 - [21:21] 尤洋：AnyScale 放弃 MaaS 让我最早反思，Together.ai 主要收入也不是 MaaS 而是 GPU 租赁 - **[22:15] MaaS归属** - [22:16] 尤洋：只有像 ChatGPT 那样有独占模型的厂商做 MaaS 才能赚钱，中小云厂商容易陷入价格战 - [23:03] 尤洋：AGI 浪潮最大功臣是 Google，Transformer、BERT、MoE、AlphaGo 都出自 Google，因为有搜索垄断利润支撑探索 - [25:03] 尤洋：长期需要垄断型市场，OpenAI 做垄断、收高价是对创新投入的奖励 - **[26:22] 垄断与创新** - [26:32] 尤洋：如果市场只打价格战、没有技术壁垒，没人有资源投入研发；华为高利润支撑高研发不是坏事 - [28:03] 尤洋：DeepSeek 开源不是商业化行为，梁文锋有宏大理想；OpenAI 在商言商，我作为普通人也先谈商业 - **[28:20] 线上波动** - [29:41] DeepSeek 官方吞吐 vs 尤洋实测：每节点输出 14.8k Token/s vs 300 Token/s，相差约 46 倍 - [31:32] 尤洋：很多企业为省成本做模型阉割，宣称满血版 DeepSeek，实则用量化、蒸馏减配 - [33:10] 尤洋：MaaS 应该让 ChatGPT 这类厂商去做，收高价是对创新的奖励；开源模型会让大家都去卷价格 - **[34:28] 云计算类比** - [34:54] Q: MaaS 和当年云计算的区别？尤洋：云计算客户会包下资源，MaaS 不知道机器满不满，有崩的风险 - [35:43] 尤洋：AI Infra 的创业机会是帮企业做私有化大模型，做 AI 版 Databricks，服务全球 2000 强和中小企业 - [37:56] 尤洋：潞晨客单价平均 10 万元/年，to B 是大宗商品交易，1000 个客户就是 1 亿元收入，所以网站访问量不高 - **[38:17] AI Databricks** - [39:18] 尤洋：做 AI 版 Databricks 只有三个核心点——私有数据、微调（RL/蒸馏/SFT）、部署推理，足够细分 - [41:19] 尤洋：潞晨海外平台 GPU 价格比 AWS、微软云低 70%-80%，再靠 ColossalAI 开源生态引流中小客户 - **[43:01] 视频生成** - [43:04] 尤洋：潞晨正在自研视频大模型，效果好就做成现金流产品，效果不好就开源 Infra 让更多人用 - [44:26] 尤洋：潞晨不做模型公司，因为做 AI Infra 最擅长，就是帮别人做私有化 GPT-3 - **[46:19] 不再回应** - [47:07] 尤洋：『我从来没有跟 DeepSeek 对立，我抨击的是吹嘘自己加速多少倍、赔本赚吆喝的中小云厂商』 ## Speakers - **曼祺** (host) - **尤洋** (guest) ## Topics AI模型团队动态 ## Mentioned Databricks (company), DeepSeek (company), Google (company), OpenAI (company), 潞晨科技 (company), A100 (product), ChatGPT (product), Colossal AI (product), GPT-3 (product), H200 (product), H800 (product), MaaS (product), SG-LAN (product), TensorRT (product), VLM (product) ## Transcript ### 惊人利润率 **曼祺** [0:05] 欢迎收听 《 晚点聊 》。 本期的主播是曼祺 。 上周六 ，DeepSeek 发布开源周的收官之作 ， 概述了 DeepSeek 的推理优化思路 ，并放出了 2 月 27 日前后一个 24 小时时间段内的完整实机测试 。 根据 DeepSeek 的官方数据 ， 这 24 小时里它们处理的 Token 输入总量是 608B，也就是 6080 亿 ； 输出的 Token 量是 168B，也就是 1680 亿 。 做到这么大的吞吐量 ， 它们平均只用了 226.75 个节点 ， 每个节点是 8 张英伟达 H800， 加起来就是 1814 张卡 。 而这支撑了 DeepSeek 高达 2000 万到 3000 万的日活 。 由此 ，DeepSeek 也根据 GPU 的市场价格和自己的 API 定价 ， 算了一个成本利润率 ， 就是这几天被广泛讨论和传播的 545%， 换算成更常见的毛利是 84.5%。 这也让前段时间算过另一笔账 ，而且结果大相径庭的潞晨科技创始人尤洋的言论 ， 被推到了风口浪尖 。 尤洋说 ， 通过自己的实测 ，他发现中小云平台现在部署 DeepSeek， 再售卖 API 给其他应用方 ， 是一个巨亏的生意 ， 月亏可达到 4 亿元人民币 。 亏损的核心是 ， 尤洋自己测的吞吐量与 DeepSeek 公布的数据相差巨大 。 因为 GPU 的价格在一定时间内是固定的 ， 吞吐量就决定了 API 服务的收入 ， 它是 API 服务能否赚钱的核心 。 尤洋在之前的算账视频里说 ， 考虑到各种用户需求的波动 ， 和实际任务中长短序列输入与输出的参差 ，他测算一台 H800 服务器的实际每秒输出量仅在 300 Token 左右 ，是 DeepSeek 数据的 1/46。 在 " 被打脸 " 的争议中， 尤洋接受了 《 晚点聊 》 的访谈 。 我们聊的时间是 3 月 1 日， 尤洋没有特别提及 DeepSeek 的具体推理优化 ，他称自己不方便评价 DeepSeek 的技术细节 。他更多聊了为什么他认为中小云平台做 MaaS 服务不赚钱 ，也解释了他眼中的 MaaS 商业模式 。他认为单纯卖 API 的 MaaS 可能更适合大型云厂商和自己开发独家模型并能做相应深度优化的公司 ， 比如说 DeepSeek 自己 。 同一天 ， 潞晨科技也宣布停止自己的 DeepSeek API 服务 。 如果听友想更详细的了解考虑到运维折旧等成本的 DeepSeek 的实际利润率到底怎么测算 ， 可以看 Shownotes 里贴的几篇相关链接 ，有非常详细的解读并搭配了公式和图表 。 下面我们就正式进入本期节目吧 。 老罗 ， 你可以先简单介绍一下吧 。 **尤洋** [2:26] 哦哦 ， 行 。 那我毕业于加州大学伯克利分校 ， 获得了博士学位 。 很荣幸呢 ， 被伯克利提名为这个 ACMO 博士论文奖的候选人， 当时在 80 名伯克利毕业生中选两名。 那之后呢 ， 我又到新加坡国立大学任教 ， 很荣幸呢 ， 新加坡国立大学给我了一个校长青年教授的职位 。 那我在新加坡国立大学建立了一个研究组 ， 大概现在有十几个博士生 ， 加上几个博后总共 20 多个人。 到 2021 年的时候呢 ， 当时我参加了一个奖项评选 ， 李开复老师是那个奖项的评委 ， 就把我的背景转给他的投资团队 。 后来他的投资团队就联系了我 ， 然后我就开始创业 ， 就创立了潞晨科技 。 这是我的一个基本背景 。 ### 亏损4亿争议 **曼祺** [3:10] 嗯 ，因为其实我今天上午想找您聊 ，是因为就是您最近一段时间发表了一些你对 DeepSeek 的成本 ，但这个不是指他自己的成本啊 ，是指第三方来部署 DeepSeek， 就作为一个 MaaS 服务的这样的成本的一些测算 ， 然后也受到了比较多的关注 ， 或者也可以说是争议吧 。 **尤洋** [3:26] 我想首先解释一下啊 ， 我感觉我不应该跟 DeepSeek 团队去辩论 ，他们跟我没有任何关系 。 就首先呢 ， 我觉得 DeepSeek 是很好的模型 ， 它这点靠 API 赚的钱 ， 我感觉也不是 DeepSeek 团队应该考虑的事情 。 我觉得他们是有比较宏大的目标的 。 AGI， 我其实那个论调是抨击的 ， 中国有很多中小云厂商 ，其实他们在倒卖 DeepSeek API， 又宣传自己推理技术比英伟达快 10 倍 ， 所以我才发了这个言论 。 我觉得我跟 DeepSeek 团队 ，DeepSeek Infrastructure 团队 ， 我跟他们没有任何关系 。 **曼祺** [4:03] 我觉得是因为本身就是您的一些言论传播出去之后， 那可能一般人他就是会理解成你好像说 DeepSeek 的这个东西很贵 ， 然后不是像他宣称那么便宜 。 这个我们后面可以展开啊 。 就总之就是您今天愿意和我聊 ，其实我也是有点意外的 ，因为我觉得最近你发了这个言论之后 ，其实也受到比较多的争议 ， 就有很多人是不同意你的这个观点的 。 反正我觉得这期发出去之后， 可能也要有一个心理准备 ， 就是评论区应该还是会有很多人有不同的观点 ，而且像小宇宙的评论我们自己是不会管理的 。 **尤洋** [4:33] 我觉得很好啊 ，因为咱们中国现在已经进入 90 后 00 后的时代了 。 本身我觉得呢 ， 就是一个信息高度开放 ， 大家都对前沿技术的真理比较关注的时候 。 **曼祺** [4:48] 那我想问一个题外话 ， 就是您自己为什么把知乎的评论选成精选评论了 ？ 就是需要你自己筛选之后才能放出来 。 **尤洋** [4:55] 我觉得因为知乎上的键盘侠太多了 ， 我现在就一个人跟 DeepSeek 在对抗 ， 就我一个人的力量本身就很有限呢 ， 我感觉对我是不公平的 。 **曼祺** [5:04] 嗯 ，不过你刚才也说了 ，其实你不是在和 DeepSeek 对抗 。 **尤洋** [5:07] 我知道 ，但是在键盘侠眼里 ， 我一定是在跟 DeepSeek 对抗 ，是吧 。 **曼祺** [5:11] OK， 那我们就放在这个视频结束 。 你说你很舍意 ， 然后最近关于这个问成本的这个事来龙去脉吧 。 我看到你最开始应该是 2 月 20 号的时候发了一个朋友圈 ， 就是你当时有一个测算 ， 你说如果第三方去部署 DeepSeek， 就中小云厂商去做这件事 ， 可能每月的亏损金额会高达 4 亿 。 就这个事最近的一个变化 ， 就是今天 DeepSeek 他在 GitHub 和知乎上都发了他们开源周的最后的一个 "one more thing"， 就是他们去整体性的介绍了自己的推理系统优化的一个思路 ，而且在这个文章里他最后是实际统计的 ， 最近某一天 24 小时里 ，他们大概的一个服务的情况在去减掉成本 。他算出来一个比较关键的数字是说 ，他们现在的成本利润率是 545%。 当然他文章里也写了 ， 就是这个是一个理论的成本利润率 ，因为他这个是都按 R1 的价格算的 ， 那实际上他所有这些调用量里面有一些是 V3， 然后 V3 的价格是比 R1 要低一些的 。 以及他这个 24 小时里是算了晚上的时间 ， 晚上的时间现在 DeepSeek 官方给的价格也是比白天的高峰期有一定的折扣的 。 所以这是一个理论的利润率 ， 实际可能会比这个低一些 。 因为你之前的那个言论嘛 ， 然后知乎上有很多人就是让你去回应这件事情 ， 然后你也写了一个回应 。 所以我本来是想跟你展开聊一聊 ， 就是 MaaS 服务这件事情本身 ，以及说就是第三方来部署 DeepSeek 的这个 API， 然后再卖给一些开发者 ， 或者说是应用方 ，因为他们是需要这个调用模型的 ， 就这个生意到底是怎么回事 。 **尤洋** [6:43] 对 ， 我还是说呢 ， 就是 DeepSeek 肯定是一个很优秀的团队 ， 我不太想把自己影像跟 DeepSeek 去对立 。 当然我今天呢 ， 看到那么多人 @ 我 ， 我确实稍微有点生气 ， 然后我就写了一篇文章 ，但是当然我也不打算删了 ， 就是大家就可以看看 ， 肯定有人赞同有人反对 ，是吧 。 因为我今年 1 月 2 号 DeepSeek 当时还没有那么火爆的时候 ， 我当时在微博上就说 DeepSeek 就是中国最好的模型 ，不论开源闭源 ，是吧 。 它确实效果非常好 ， 这是毋庸置疑的 ， 包括它的影响力呢 ， 肯定也不仅限于 AI。 然后回到今天那个话题 ， 中小云厂商那个事情 ，其实呢 ， 为什么我可以这么肯定的判断中小云厂商很难盈利呢 ？ 就是我们首先呢 ， 弄了几台机器 ， 就我用就用 SG-LAN 或者 VLM 这种方案 ， 就把这机器打满了 。 就我相信我这方案不会比中小云厂商差太多的 。在这种情况下呢 ， 它的亏损率依然很高 ， 就不是实验室离线那个 benchmark 数据 ， 就比如说我我弄一堆离线任务 ， 我测一下它机器每秒吐了多少 Token， 那个是不靠谱的 。 **曼祺** [7:48] 当时就有一种评论是认为你们自己的技术不行 ， 所以优化的不够好 ， 才会导致要亏这么多钱 。 **尤洋** [7:55] 就是假定 ， 当然我觉得我们公司技术很好啊 ， 就假定我技术很烂 ， 我完全用开源方案 ，SG-LAN 或者 VLM 或者英伟达 TensorRT，因为他这些公司都是有开源方案的 ， 我就用他的开源方案 。 好吧 ， 我敢打赌 99% 的中小云厂商不可能比他们明显快的 。 如果有些人刷不起 Ma2 比他快 ，也是一些 corner case， 就是也是一些在不公平的对比型实验情况下设置了一些参数 。其实您也可以查查 ， 就不用我公司任何技术 ， 我就用英伟达的 ， 我就用 XAI 的 ， 我就用 SG-LAN、VLM， 然后呢 ， 机器与机器之间呢 ， 我就用相互独立那种模式 。 我感觉 99% 的中小云厂商不可能比我快 。 **曼祺** [8:36] 我解释一下， 就是刚才尤老师提到的 VLM 还有 SG-LAN， 是一些开源的推理框架 。 这个我们在之前的节目 ， 就是聊 DeepSeek 开源周的那期节目里我们有提到过 。 **尤洋** [8:48] 因为这个 MaaS 服务 model as a service， 它是一个 to B 的产品 ， 它上层呢 ，是接一些聊天应用 ， 接一些类似 ChatBI 的应用 ， 或者接一些游戏里的各种应用 ， 财务分析的各种应用 。 就比如说你一个成熟 MaaS 系统 ， 你得接几十种应用才能比较繁荣吧 。 但是呢 ，其实你无法控制上层的这些 APP 什么时候用 ， 什么时候不用 ，因为你卖的东西呢 ，是按 Token 去卖的 ，不是不考虑机器利用率的 。 所以说为了安全起见呢 ， 就是你需要提供 5 倍的 ， 我感觉 5 倍是比较靠谱的 ，因为这个机器波峰波谷变化很大 ，并且你不知道什么时候这个用户就来用 。 ### 冗余资源 **曼祺** [9:26] 哦 ， 你说到这个 ， 我也想问一下， 就是你今天那篇文章里也写到了嘛 ， 就你认为应该提供一个比它本来的需求量要是本来需求量 5 倍的这样一个冗余的资源 ， 去让它服务有稳定性 。其实今天我跟 Infrastructure 的创业公司我也交流了一下这个问题 ，他觉得你算的这个太多了啊 ，他觉得可能多一倍也是够的 ，但是这有几个前提 。 这个前提就是 ， 一个是你需要有足够多的用户 ， 然后第二个可能就是你有一些跨时区的全球化的服务 ， 比如说在中国的白天 ， 它可能是欧洲或者美国的晚上， 这样你波峰波谷可以有一个削峰填谷的这样一个作用 。 然后第三个就是你晚上去跑一些离线任务 ， 包括 DeepSeek 自己其实也提到 ， 当然它并不是一个云平台啊 ， 它因为自己有训练模型的需求嘛 ， 所以它也提到就是晚上的时候 ，他们会减少这个推理节点的部署 ， 然后他们会把一些资源用来自己去做训练 。 就是就是你你怎么你怎么看这几个原因可以缓解你刚才说的我要去额外备那么多资源的这个问题 。 **尤洋** [10:27] 那不会的 ， 就是我觉得呢 ， 它即便是在中国美国都有用户 ， 它是无法预测 ， 就是我一流的 MaaS， 后边的 MaaS 应该是不限制上层 APP 给我调多少的 。 我即便每个小时的用户数都是差不多的 ， 它这个利用率是随机的 ，是是我不可控的 。 **曼祺** [10:47] 那为什么 5 倍就够了 ，而不是更多了 ？ 为什么不是 10 倍 ？ **尤洋** [10:50] 我的意思呢 ， 就是你要想输出 1,000， 每天输出 1,000 亿个 Token， 那你应该准备有 5,000 亿 Token 能力的机器 ， 这是我的估算啊 。 因为这个你有很多 APP 嘛 ， 你不能限制你的 APP。 就是我觉得因为这件事你是不可预测的 。 我个人觉得两倍是非常不靠谱的 ，因为你的应用越多 ， 你这个上下波动的其实幅度真的是非常大的 。 **曼祺** [11:16] 嗯 ，但是如果结合就是 DeepSeek，他因为自己在这一周的开源周的时间里 ，他释放了很多和 Infra 相关的优化的方法 ， 那如果结合这些方法的话 ，他有可能把这个需要冗余去准备的资源给它降低吗 ？ **尤洋** [11:29] 我还是不想跟 DeepSeek 站到对立面 ， 就是我感觉 DeepSeek 做的这些事情 ， 大厂很多开源方案呢 ，他们应该有类似的 。 就是当然您也可以到 GitHub 上看看 ， 就 DeepSeek 肯定是一个非常优秀的团队 。 比如您说的 PD 分离技术 ，其实最开始也不是 DeepSeek 提的 。 我觉得呢 ， 这种事情呢 ， 每一种优化都是有成本的 。 就是我觉得 MLSpace 或者计算机系统 ，有一个词叫 tradeoff， 你加速了 10 倍 ， 你肯定是要牺牲什么东西的 ， 对吧 。 当然呢 ， 我感觉未来几个月或者一两年之后， 肯定会有人宣称我通过 DeepSeek API 盈利了之类的 。 未来几个月肯定有人会做一些 LP4 呀 ， 量化减值蒸馏之类的 ， 就是测一些比较美好的实验数据 。 但是呢 ， 我觉得站在 2025 年 2 月初的角度 ， 中小云云厂商不可能拿着这个能赚到钱的 ， 对 。 ### 放弃MaaS **曼祺** [12:26] 其实潞晨自己不也是中小云厂商吗 ？ **尤洋** [12:30] 我们不去卖 API 了 ， 这个方式是不好的 。 我觉得我们也有自己的推理服务 ， 推理体积就是线上的 server instance， 我觉得那个才是合适的 。 那我只需要把这一台机器优化好 ， 给它装上各种软件 ， 就相当于这台机器被用户承包了 ，他自己也放心呢 。他自己有 100 个用户就用一台机器 ，200 个用户就用两台机器 ，400 个用户就用 4 台机器 。 我觉得要不然就是您看的阿里云 、 火山云 、 优客德 、 首云或者运营科技都出了一体机嘛 ， 就是一体机是最稳妥的 。 它这个机器就完全属于用户自己控制的 。 我们不看好 MaaS 这种模式 ， 我们暂时也不打算提供这种服务 。 **曼祺** [13:05] 但是如果你们不做 MaaS 服务 ， 为何你们今天的公众号发了一个公告说 DeepSeek API 服务会在一周之后暂停 ，而且我看你们 2 月 4 号的时候也是有宣布说你们当时也是和华为升腾合作去推出了 DeepSeek API 的服务 ， 那我是不是可以理解为就是从 2 月初到现在 ， 你们是短暂的尝试了一段时间 MaaS， 就是我去卖一个大模型的 API， 然后你最后尝试的结论就是这样做 是赚不到钱的 ？ **尤洋** [13:35] 我们确实暂时不打算去做 MaaS 了 。 为什么呢 ？ 我觉得这个 MaaS 市场目前这个定价体系 ， 包括 GPU 算力利用率 ， 它的市场化的方式还不是特别成熟 。 我们确实也进行了测试 ， 那通过 MaaS 呢 ，是确实可以获得一些收入的 ，但是这个代价有点太高了 ，因为它亏损率也确实比较高 。 我们所以说呢 ， 作为一家创业公司 ， 肯定是现在需要增长 ， 我们需要把钱投到我们最该投的地方 。 关键是我们公司去年已经有很大量的营收了 ， 我觉得这个阶段呢 ，不应该做很多事情 。 我个人觉得呢 ， 创业公司应该细分细分再细分 ， 专注专注再专注 。 我们先把自己的主营业务的营收不断的提升增长 ， 我觉得这是最核心的事情 。 等 MaaS 市场它的定价体系 ， 它的 GPU 利用率的这个成熟度能够更好一点 ， 我觉得我们那时候再做 MaaS 也不迟 。 **曼祺** [14:46] 那我觉得你可以介绍一下就是 MaaS 的模式和一体机的模式 ， 就 MaaS 是做什么 ， 然后一体机是做什么 。 **尤洋** [14:52] 就 MaaS 呢 ， 就比如说我把 DeepSeek 或者千问 、Llama 放到我的云上， 然后呢 ， 用户呢就调我的 API， 用户输入一些东西 ， 然后返回他一些 Token，他最后怎么算账呢 ？ 他就算他用了多少 Token，他就付了多少钱 。 就是您可以看啊 ，他不考虑你有多少台机器 ，他不考虑你的机器是忙还是不忙 ，他最终考虑的就是就是他花了多少 Token。 所以说我曾经说嘛 ， 就是如果真是这样的话 ， 那 MaaS 会把全产业链的亏损都会承担了 。 比如说我是 MaaS 层 ， 我去 Ice 层 ， 就 Ice 层就比如说数据中心 、IDC 机房或者一些算力中心 ， 我去拿机器的时候呢 ，他肯定不考虑我的机器利用率 ，他都是按一台机器 8 万块钱卖 ， 我利用率是 0，他也是这个价格 。 那我现在我在服务 APP 区 ，MaaS 的上层呢应该是 APP 层 ， 我在服务上层的时候呢 ， 用户也不会管我的机器现在是 100% 占用率还是 0% 占用率 。100% 占用率的话 ，他也不知道他继续用 ， 那我就崩了 。 这为什么我觉得真的很有可能需要 5 倍的计算资源 。 当然呢 ， 我假设前提是不去限流啊 ， 你要限流的话 ，其实你就限制了别人的 APP 的发展了 ，是吧 。 我最终是希望我上层的 APP 去随便用的 。 那我假设我的机器是闲置空置的话呢 ， 那用户不用我也没办法 ，因为它是按 Token 的 。 就是我感觉 AI 这个中间层或者算力层 ， 核心就是在降低算力的闲置率 。 不管你的产品是什么 ，不管你的产品是 PaaS 还是 MaaS， 最终核心就是要降低这个机器的闲置率 ，因为所有的亏损都来自于机器的闲置率 。 **曼祺** [16:29] 嗯 ， 那我总结一下就是你认为 MaaS 这个环节它承担了最多机器闲置率的成本 ，因为它的上游就是 Ice， 就是直接提供 GPU 算力的这些大型云厂商 ， 它是按时间租给你的 ， 对吧 ？ 比如说你租一年或者你租几个月 ， 这是上游到 MaaS 的这个情况 。 然后 MaaS 再到自己的下游 ， 就是那些应用开发者 ， 就是那些 APP， 它又是按 Token 调用量来付钱的 ， 然后从一个 GPU 的时间的成本 ， 然后调到一个 Token 实际上是我用了多少我才算钱的这样一个付费 ， 中间有一个 gap， 然后这个 gap 就是 MaaS 这一层承担了 。 **尤洋** [17:05] 对 ， 这第一点啊 ， 第一点它不利的点 。 第二点呢 ， 就是我觉得对中小云厂商而言呢 ，MaaS 真的没有技术壁垒 。 为什么呢 ？ 因为 SG-LAN、VLM、TensorRT 已经优化的非常好了 。 当然我也不会去自大啊 ， 说我的水平比阿里云或者火山云高啊 ，但是他们不知道 。其实我最开始视频都说了 ， 如果阿里云 、 火山云他们有个超级 APP，他们有庞大用户 ，他们做的话 ，他们亏损率肯定没有这么高 。 但是对中小云厂商而言呢 ， 我觉得就是你的优化软件比这些世界一流开源大厂的方案好 ，不太现实 。 **曼祺** [17:38] 其实你刚才说到这一点 ，也是我本来就想问的问题啊 。 你自己也说其实阿里云和火山云它也可以去做这一层的服务 ， 那为什么最开始会有第三方的 MaaS 公司存在呢 ？ 包括像 DeepSeek 这种公司 ， 它也可以提供官方的 API， 所以为什么有第三方存在啊 ？ **尤洋** [17:53] 反正大家都探索嘛 ，其实都是想找一些生存的机会嘛 。 ### 私有部署 **曼祺** [17:58] 那可以再来说一下你们现在在做的业务是什么 ？ 就是你们主要要做的业务 ， 如果它并不是 MaaS 的话 。 **尤洋** [18:05] 我做的 PaaS 其实我们公司的定位呢 ， 就是做私有模型呃部署 ， 就是帮助这些世界有百强 、 世界 2,000 强 ， 包括中小型企业 ， 传统的去做出它的私有模型 、 垂直模型 、 行业模型 。其实现在叫 post-training， 就是您可以想想 ， 我肯定不可能向月之暗面去收费吧 ， 我也不可能向零一万物 、 百成智能或者通义大模型团队收费 ，是吧 ？ 他们有庞大的团队 ，他们有很好的优化技术人员 ，他们根本就不会是我们的付费群体 。 就我们就是面向这个传统行业做私有模型 ， 比如说通过一些强化学习啊 ， 通过蒸馏啊 ， 通过 SFT 啊去做自己的私有模型 、 行业模型的客户 ， 这是我们主要收入来源 。 那同时呢 ， 这些客户做完之后呢 ，他再用我们这个算力平台上已经优化好的这个 instance 去 ， 就相当于把这一块算力保留下来 ， 去服务他企业内部啊 ， 或者服务他的 APP、 他的客户 。 我们提供的一套是算力平台 ， 我们的算力平台就是也是自动化的 。其实觉得未来这件事呢 ， 就是用户传一下数据 ， 比如说一个公司它有很多报表 ，有很多 PDF 文件 ， 每周呢它就把这些数据传到那个平台上， 最终呢我们的系统就直接自动化的帮它用这些数据更新它的参数 ， 更新完之后呢 ， 自动替换它那个模型 ， 它内部企业就用 。其实是个自动 化的平台 。 **曼祺** [19:29] 但是 2,000 强的很多企业 ，他们应该对私有部署自己的服务器是有些要求的吧 ？ 就是他们会接受云平台这种服务方式吗 ？ 因为你的这个流程里其实要上传一些企业数据 。 **尤洋** [19:41] 对 ， 这个云平台主要面向小微客户 ， 就是 2,000 强卖的都是企业版软件 ， 就把这一套整个平台部署到他企业 。 就比如我们有个 1900 强客户 ， 就买了 1,000 张 A100、A800 的卡 ，其实我们就给他部署到他的千卡机群上 。 **曼祺** [19:55] 那如果是服务这种比较大的客户 ， 要在他自己买的 GPU 上去部署一个模型 ， 你们是远程操作就可以 ， 还是你们也是要派人去做这件事情 ？ **尤洋** [20:04] 肯定是需要派人的 ，但是得控制这个人力成本 ，是吧 ？ 反正我们这套东西核心就是我们这套开源的 Claude AI 软件 ， 就把它做一个高配的企业版的 ， 就相当于 Claude AI platform， 那就卖给他 。 **曼祺** [20:18] 所以它还是有一个交付环节 ， 只是说你们希望这个交付环节它尽量是控制人数 、 控制投入 。 **尤洋** [20:24] 对对 ， 就我觉得服务中国市场肯定是需要交付的 ，不交付是不太现实的 。 **曼祺** [20:29] 那你们服务海外的大客户是怎么做了 ？ 因为我看你们其实有两个网站 。 **尤洋** [20:33] 啊 ， 对 。 **曼祺** [20:34] 你们有一个海外的网站 ，有一个国内的 。 **尤洋** [20:36] 嗯 ， 海外是中小型客户 。 **曼祺** [20:38] 所以你们现在的策略就是海外主要用云平台 ， 就是那个自动化的 ，其实不太需要你自己投入的那个平台去服务中小客户 。 **尤洋** [20:46] 对对 ， 海外是主要服务中小客户 ， 对的 。 **曼祺** [20:48] 然后国内就用企业版去服务大客户 。 **尤洋** [20:50] 对 ，是 。 **曼祺** [20:52] 这是你一开始就想好的吗 ？ 还是你摸索了一段时间想好的 ？ **尤洋** [20:55] 其实我们也做了一些摸索吧 ， 对吧 ？ 去年的这个模式就比较成熟了 。 **曼祺** [21:00] 嗯 ，因为有一段时间 MaaS 确实是比较火嘛 ， 你们是思考过 ， 然后觉得这里面它就很难赚钱 ， 所以放弃了 ， 还是你们其实也有真的尝试过 ？ **尤洋** [21:11] 对 ， 就 DeepSeek 出来之前呢 ， 我们真的看过很多 ， 就比如说这前有 Fireworks.ai 做过这件事情 ， 蒋璟老师的 Lapton.ai 也做过这个这个事情 。 然后呢 ， 我在伯克利有一个师兄 ， 当时我的任课老师 Yan Stoica， 就是做 Databricks 那个公司 ， 我还当过他的 TA。他做了一家公司 AnySkill，他其实也做过这个 MaaS。其实最先让我们反思的就是 AnySkill 把 MaaS 放弃了 ， 我估计就是我上述原因 ， 包括现在 Together.ai 它的主要收入肯定不是 MaaS，也不是 MaaS， 它也主要是它的算力平台以及 GPU 租赁服务是它收入的大头 。 就是当然 DeepSeek 出来之后呢 ， 我们当时看这个热情度比较高 ， 就非常想试一下 。 我觉得试了一下呢 ， 跟我们之前的预想也差不多 ， 所以说呢 ， 现在我们就打算也不提供这种 MaaS 服务了 。 **曼祺** [22:01] OK， 所以你们当时就是你有那个言论 ，是因为有 DeepSeek 这件事 ， 你又再次去考虑说我们要不要来做这个 MaaS， 然后你试了之后觉得还是在你之前的那个判断里面 ， 就是你觉得这件事其实很难赚钱 。 ### MaaS归属 **尤洋** [22:16] 对 ，其实我觉得 MaaS 唯一能赚钱的就是 ChatGPT 那种 ， 它有独一档的开源模型 ， 它不会受加站的影响 。 就是我感觉如果只是一个中小云厂商 ， 就是没有模型的壁垒 ， 加上技术壁垒又很难拼得过这些顶尖大厂的开源方案 ， 觉得很容易面临价格战 、 恶性竞争 。 对 ，因为它也没有模型的壁垒嘛 。 **曼祺** [22:40] 所以你认为是自己有模型的公司自己做 MaaS， 这个可能是合理的 。 **尤洋** [22:44] 是的 ， 我要不简单也说一下， 比如说昨天不知道您看到了没有 ， 说 ChatGPT、GPT-4.5 比 DeepSeek 贵好多好多倍 ，是吧 ？ **曼祺** [22:54] 贵 500 倍 。 **尤洋** [22:55] 我觉得是合理的啊 ， 就是我可以阐述一下我的观点 。 为了阐述这个观点呢 ， 我先引用一些事实 ， 当然也是我的观点吧 。 我觉得呢 ， 现在咱们这个 AGI 浪潮 ， 最大的功臣是 Google，是谷歌公司 。 我可以列举几点事实啊 ， 就是首先咱们现在都是神经网络深度学习 ， 这个东西就是诺贝尔奖得主 、 图灵奖得主 Jeff Hinton 教授做了好多年， 就是 2012 年刚开始崛起的时候呢 ，也是他的团队做了 XNET，是吧 ？ 以及呢 ，XNET 的共同作者还包括 OpenAI 的首席科学家 ， 就是 ChatGPT 之父 。 当时呢 ，Jeff Hinton 教授也说 ，他坚持了几十年的 AI 寒冬 ，因为也没有 funding， 确实也比较痛苦 。 当时大家也不相信神经网络 ， 这个东西刚开始爆发的时候 ，他们也开始创业了 。 最开始就是 Google 收购了他们公司 ， 就让科学家有了足够的经费 ，有了足够的探索 ， 包括当时吴恩达教授也在 Google 的资助下建立了 Google Brain。 这是第一点 。 那我们现在再回看呢 ， 就现在我们所有大模型基本都是 Transformer， 它是 Google 提的 。 然后呢 ，BERT，BERT 非常重要 ，BERT 就让人相信 Transformer 是比 LSTM 就比 RNN 好的 ， 就让人坚信了 Transformer 这个赛道 。BERT 也是 Google 做的 。 现在 DeepSeek、ChatGPT 用的 MoE 也是 Google 这个 2021 年提的 ， 属于 Transformer。 包括现在这强化学习很热门 ，也是 Google 在 2016 年做的 AlphaGo， 它让人看到了强化学习的实力 ， 包括 DeepMind 的创始人其实也获得了诺贝尔奖吧 。 所以说呢 ， 我觉得呢 ，Google 首先呢 ，是咱们今天 AGI 这个浪潮里边最大的贡献者 。 但是我们想想 ， 就为什么它是最大的贡献者 ？ 我觉得呢 ， 就是因为 Google 是一家垄断性企业 ， 它拿走了世界上绝大多数的搜索引擎的利润 ， 它只有有充足的利润的情况下， 它才愿意在一些其他非核心业务上， 比如 AI 方向花很多钱去探索 。 我觉得有两种市场 ， 第一种是充分竞争的市场 ， 第二种呢是垄断型市场 。 我个人觉得长期而言呢 ， 我们需要垄断型市场 ， 只有垄断型市场企业有利润 ， 它才能去真正做它的非核心业务 ， 投入足够的资源 。 所以说我感觉今天这个 OpenAI、ChatGPT， 我觉得它的思路是对的 ， 它就应该去做垄断 ， 这是给它的 reward，是吧 ？ 这是给它创新的奖励 。 **曼祺** [25:29] 你这个可能又是一个暴论 。 **尤洋** [25:31] 对 。 **曼祺** [25:32] 应该说比较特别的观点吧 。 但是你刚刚讲的那个点 ， 就是谷歌它能获得这个垄断 ，是因为搜索引擎本来就有规模效应和网络效应 。 **尤洋** [25:40] 我的意思呢 ， 就是一家科技公司 ， 它必须得有一个足够垄断的业务 ， 足够高的利润 ， 它才能愿意探索跟它相关的这些行业 。 这正因为 Google 在搜索引擎中有绝对的利润 ， 它才有足够的钱去探索 AI。 **曼祺** [25:56] 但是现在 GPT-4.5 它定的这么贵 ， 它是 V3 的 500 倍 ， 就这件事情市场接受吗 ？ 你要是不接受的话 ， 市场不接受 ， 你其实没有办法转化成你的利润 ， 没有办法变成利润 ， 你就没有办法去投入 。 **尤洋** [26:09] 这个是愿赌服输的事情嘛 ，是吧 ？ 市场接受了就说明它的技术足够好 ， 就 OpenAI 坚信自己技术足够好的话呢 ， 我就是值这个钱 ， 我就应该获得这么高的利润 。 我的垄断来源就是因为我的模型比别人实质上好很多 。 如果一个市场大家整天都在打价格战 ， 没有任何人有技术壁垒 ， 那么没有人有能力投入研发资源 ， 我觉得就陷入恶性竞争了 。 ### 垄断与创新 **尤洋** [26:32] 如果大家壁垒都很低 ， 大家整天只能靠打价格战 ， 我觉得是非常不好的 。 包括您看 ， 就是今天在国内对这个研发投入最高的其实也是华为 ， 就华为有足够高的利润 ， 我感觉这不是什么坏事 ， 这就是对它创新的奖励 。 我觉得科技类就应该做成垄断性企业 ， 你有足够高的利润 ， 这首先这是对你创新的奖励 。 我觉得第二点呢 ， 只有你垄断了 ， 你才会在一些跟你相关的前沿性课题上你愿意投入 。 **曼祺** [27:00] 那你想表达的是 ？ **尤洋** [27:01] 我想表达的是 ， 只有有顶尖模型能力的企业才应该去做 MaaS， 就比如 OpenAI， 它可以不受价格战的影响 。 **曼祺** [27:09] 嗯 ， 就是它有一个独占的模型 ，因为我比别人领先 ， 我有溢价 ， 然后我再把溢价变成利润 ， 我再去发展新的东西 。 **尤洋** [27:18] 对 ， 就是先不考虑政治问题啊 ， 就是我觉得每个国家都会有一些国家上的战略 ，不考虑我觉得非商业化的行为 。 就如果我们仅考虑商业化的行为的话呢 ， 我觉得 OpenAI 做的很对 ， 我就是通过闭源把我的利润赚回来 ， 这是商业化的行为 。 那否则这件事怎么持久呢 ？ 我花了几亿去训练这个模型 ， 我这钱什么时候能赚回来 ？ 就纯从商业角度考虑 ， 我必须得多赚钱 ， 这是对我创新的奖励 ， 我的模型就是比别人好 ， 我就应该多赚钱 。 **曼祺** [27:47] 那你这是从一个领先的模型公司它自身的角度去考虑的 。 那如果从整个 AI 生态的角度去考虑 ， 像 DeepSeek 这样 ， 它一直愿意开源自己最强模型的公司 ， 它是不是带来的一个外部效应 ， 就是说我可以让下游的应用有更多的探索 ？ **尤洋** [28:03] DeepSeek 这不是商业化行为 ，是吧 ？ 就是包括我看到有一些报道说 ， 梁文锋老师不是说也不在乎多少多少日活月活吗 ？ 这就说明他是有宏大理想的 。 我感觉跟这个 OpenAI，OpenAI 我感觉他是在商衍商吧 。 当然我感觉我是个普通人， 我就先在商衍商吧 ， 对吧 ？ ### 线上波动 **曼祺** [28:21] 嗯 ， 那我们如果具体来看 ， 就是 DeepSeek 今天它发表的这个概览性的介绍自己推理优化方法的文章 ， 它里面确实也提到了很多方法 ， 这些可能是能帮大家降低成本的 。 包括它最近一周也是开源了很多工具嘛 ， 就这个里面你如果从技术或者说从提效的方法上， 你看到的一些亮点是什么 ？ **尤洋** [28:42] 我就不过多评价 DeepSeek 了 ， 确实这个比较敏感 。 我不想把自己放在 DeepSeek 的对立面 ， 我觉得 no comments，不评论可能是比较好的一个选择 。 **曼祺** [28:53] 是因为如果你真要评论的话 ， 你会觉得你的评论又和主流的观点不一样 ，是吗 ？ **尤洋** [28:58] 我觉得容易犯错吧 。 我的结论呢 ， 就是 DeepSeek 非常优秀 ， 它的团队 ，不管是模型团队啊 ，AI 救世士团队都非常优秀 。 **曼祺** [29:06] 嗯 ， 那我问一些我自己比较感兴趣的一些细节问题啊 ， 就是比如说您说您之前用 4 台 H800 的机器去测的话 ， 就一台机器它是有 8 张卡 ， 你用 4 台机器去测 ， 得到一个实际的效果是每台机器大概每秒是输出 300 Token。 然后我看今天 DeepSeek 在知乎上的这个文章 ， 它统计了 24 小时里他们的一个吞吐量 ，其中输入量是 73.7 Tokens 每秒每节点 ，也就是 73,000 多 Tokens， 输出吞吐是 14.8 Tokens 每秒每节点 ， 就是 14,000 多 Token 每秒 。 那我们仅看输出量的话 ，是你测算的情况的 46 倍多 ， 它为什么这么悬殊 ？ **尤洋** [29:48] 你看我觉得这种东西没法深入讨论 ， 就是我要不这样说吧 ， 就是我用的 SG-Lang 或者 VLM 太烂了 ， 我就不评价 DeepSeek。 就是当然我们实验中发现呢 ， 它那个序列长度变化的情况下， 它的每秒钟吐的 Token 数是不断是变化非常大的 。 我可以稍微看一组数据 ， 我读一下吧 。 您看其实它的输入输出这个 Length 变化的话呢 ， 它这 Output Token 数是变化非常剧烈的 ，有的时候甚至只能出 100 多 Token，有的时候能出 1,000 多个 Token。 这是两机啊 ， 这是两个机器 。 **曼祺** [30:24] 因为它这个是纯音频的嘛 ， 我解释一下， 就是当我输入是 1,000， 输出是 1,000 的时候 ， 它的表现是最好的 ，但是我的输入不变 ， 都还是 1,000， 然后输出让它越来越长 ， 比如说变成 2,000， 变成 4,000， 变成 8,000， 它的每秒吐的 Token 的数量都是在变少的 。 然后你们最后的那一个例子 ， 就是我的输入也非常长 ，是 32K， 输出也很长 ，是 8K， 那它每秒就你们自己测下来 ， 每秒它就只有 100 多个 Token 的输出 。 **尤洋** [30:50] 对 ， 我相信就是您把这博客放出来 ， 肯定会有很多人说说这些数据它能做得更好之类的 。 我觉得这个其实不太相关 ， 就它即便速度比我快两倍 ， 就假定啊 ， 它的水平一骑绝尘 ， 它比 VLM、SG-Lang 这些人的水平高了两倍 ， 我觉得它那个 MaaS 关键就是它机器利用率问题是控制不住的 。 再加上这是离线的啊 ， 就是在线是非常混乱的 ， 就是我觉得真实的 MaaS 应该那个利用率是非常震荡的 。 你真的体量呢 ， 只有有些用户在做反演 ，有些用户在做摘要 ，有些用户在做多轮对话 ， 它的序列长度都是非常长的啊 ，Input Length、Output Length 都有可能 ， 或者我让它读一个论文呢之类的 ， 它有可能性能结果是非常非常难看的 。 我觉得其实我还想说一点 ， 就是很多企业它可能为了省成本 ， 它其实目前是在做模型阉割 ， 它写的满血版的 ， 可能就用一些减值量化蒸馏的手段 ， 它其实把这满血版的已经做了阉割 。 **曼祺** [31:46] 我觉得这是个纯技术问题 ， 我想请教一下， 就是我看到他们在博客里写到说 ， 就有一个项目是他们说要尽可能的负载均衡 ， 然后下面大概解释了一下一些做法啊 ， 就它分这个 Prefill、Load Balancer， 就是输入的阶段 ， 然后是 Decode， 就是输出的阶段 。 它这个里面都提到了核心问题是不同数据并行实例上的请求个数长度不同 ， 然后它就会导致一些计算上的问题 ， 然后他们有一些优化的方法 。 就是它这里说的不同数据并行实例上的请求数量和长度不同 ，是您刚才指的 ， 就是我在实际用的时候 ， 我的输入量或者输出量 ， 它每个序列其实是有波动的 ，是这个东西吗 ？ **尤洋** [32:21] Again， 就是我不想评价 DeepSeek 的任何技术细节 ， 抱歉 。 **曼祺** [32:26] 但这个不算 DeepSeek 的技术细节吧 ， 这应该算是一个大语言模型的 ， 就它其实就是一个输入和输出的一个知识性的东西啊 。 **尤洋** [32:36] 我要不说一个也不针对任何人的 ， 就我们会有很多很多优化 ， 这些优化呢 ， 很多就是在离线的机器上测的 ， 它有一些好的实验结果 ， 我觉得呢 ， 它不一定刚好在实测中都是它这种最理想的情况 ， 对吧 ？ **曼祺** [32:52] 在现在你说的这个时间点 ， 你觉得 MaaS 这个服务它可能是很难赚钱的 ， 最近市场也有些变化嘛 ， 就包括 DeepSeek 自己开源了这些东西 ，其实理论上其他的厂商也是可以去学习 ， 可以去使用的 。 你觉得再往下走的话 ， 这个 MaaS 市场会有什么变化 ？ 就比如说出现什么条件的时候 ，其实这个生意它有可能是可以成立的 。 **尤洋** [33:10] 不是 ， 我觉得 MaaS 应该让 ChatGPT 去做 ，因为这是对它创新的奖励 ， 它应该收一个很高的价格去做这件事情 ， 这是对它创新的奖励 ， 就是类似 ChatGPT 这样的厂商 。 **曼祺** [33:21] 那你说的这是一个因然吗 ？ 就你觉得应该要对它有一个创新的奖励 ， 那如果从实然的角度去推理 ， 它可能会出现什么情况 ？ **尤洋** [33:29] 我觉得就如果有很好的开源模型的话 ， 大家就在这卷价格吧 ，因为大家都没有模型的壁垒嘛 ， 速度上又差不多 ， 那就只能轮到卷价格了 。 **曼祺** [33:38] 嗯 ， 所以就是你觉得虽然有一些开源的东西可以让大家的效率提升 ，但是因为开源之后可能每个人都能提升 ， 就大家水平又都差不多了 ， 就还是有点同质化 。 你是这个观点是吗 ？ **尤洋** [33:50] 是 ， 对 ， 我觉得就变成一个恶性竞争的市场 。 我还是觉得 AI 应该形成一个巨头垄断 ， 只有它拿到足够的利润之后呢 ， 它才能像 Google 一样去做前瞻性的研究 。 当然我不是鼓吹让 OpenAI 占据啊 ， 中国肯定也需要一个这样的公司 ， 或者一两家这样的公司吧 。 但是 Google 呢 ， 它是一个非常特例 ， 它把整个全世界 ， 我感觉除了中国市场以外的搜索引擎的利润都拿 ， 所以它才有这么广阔的胸怀 。 我感觉人没有好人坏人， 就是我觉得人穷志短嘛 ， 你这个公司只有富 ， 只有足够的利润 ， 它才会能做一些宏大的事情 ， 才能有可能做成百年老店 。 **曼祺** [34:28] 你刚才说到就是 MaaS 这种 ，因为它的需求非常不好预测 ， 所以就是你也很难去 ， 就说我用一个比较少的机器就去满足比较多的需求 。其实这个也有点让我想到之前的云计算啊 ， 就云计算它最开始也是因为它这种弹性的特点 ，也是让有些人觉得它好像不是一个可以成立的生意 ，但它最后其实还是成立了 。 ### 云计算类比 **曼祺** [34:49] 就如果说和当年的云计算相比的话 ， 这个 MaaS 和它的区别可能是什么呢 ？ **尤洋** [34:54] 我觉得区别呢 ， 就是我感觉大多数云计算成熟客户 ， 它还是把这一块资源包下来了 ， 你没有机器的话呢 ， 你就用不了 ， 所以说你必须得把机器包下来 。 但是 MaaS 的话呢 ， 我又不知道这个机器现在是满的还是空置的 ， 还是能不能用的 ， 就我如果机器不够的话 ， 随时有崩的风险 。 **曼祺** [35:12] 那也有可能未来的商业模式会变啊 ， 就是有可能应用类的客户 ，他也不是按 Token 去付费 ，他可能也是按一段时间我去租你这个东西付费 。 **尤洋** [35:22] 对 ， 那很好啊 ， 那就不是今天这种 MaaS 商业模式了 。 我的意思就是 ， 如果现在这种 MaaS 商业模式的话 ， 它只能轮到到卷价格 ， 又有很高的风险 。 **曼祺** [35:32] 那接下来你觉得就在你的观点里面 ， 更广泛的这个 AI Infra 这个领域的创业 ， 如果说你觉得 MaaS 是一个很难真的盈利 、 在商演商能成功的机会的话 ， 那机会是什么了 ？ **尤洋** [35:43] 我觉得机会呢 ， 就是帮助更多企业去做私有化大模型 ， 提升他们做私有化大模型的效率 。其实就是 AI， 就是 AI 版的 Databricks， 就我引用贾砚卿老师的话 ，AI 版的 Databricks 其实就是面向世界 2,000 强 、 中国 2,000 强客户 ， 面向中小型企业 。 我们做一些中国市场 、 东南亚 、 中东 、 日韩 。 **曼祺** [36:09] 在你们已经接触的这个市场里面 ， 你看到的需求旺盛程度是怎样呢 ？ **尤洋** [36:13] 我觉得呢 ， 还是非常火爆的吧 ，因为这个市场呢 ， 它其实不太需要一个超大模型 ，因为它核心的就是有个 Llama 7B 那种能力 ， 关键是它有很多珍贵的私有数据 。 基于这些珍贵的私有数据呢 ， 去把这模型做好就可以了 。 **曼祺** [36:31] 你刚才说你觉得 MaaS 是一个比较没有壁垒 ， 竞争可能会非常同质化 ， 然后大家去卷价格战的这样一个领域 ， 那你们现在选的这个方向 ， 你要把它做好 ，而且你要有一定的溢价 ， 就是你要有利润 ， 它是靠什么了 ？ **尤洋** [36:44] 其实就是靠我们的开源生态嘛 ， 就是跟那个 Databricks 的思路一样 ， 就是先通过一个开源生态去获得足够多的用户去使用 ， 然后呢 ， 再把这些用户转成我们的付费客户 。 **曼祺** [36:54] 那对你们的大公司类型的客户来说 ，也是靠开源生态可以吸引到吗 ？ 还是说它这个其实是要去拜访这些客户 ， 要有比较强的这种商业销售能力 ， 我才能 touch 到它 ？ **尤洋** [37:05] 我觉得两者都很重要吧 。 首先你开源生态是证明你有能力做这件事情 ， 你的技术能力很好 ， 这对大公司来说非常重要 ， 它要选供应商 ， 你得总得有说服力吧 。 再一个呢 ， 就是看销售的能力了 。其实 VLLM 还有 SG-Lang，因为这是两个还挺主流的这种大模型的推理的开源生态 ， 就如果说它背后有一个公司的话 ，其实它也可以做企业版 ，是不是 ？ 只是它现在不是一个公司 。 它可以做 ， 对 ， 当然我们做的是 Poster Training 嘛 ， 微调嘛 。 就是其实我们那个 Colossal AI， 就是在全球创业公司里边 ， 我觉得 GitHub 上指标还是最高的 ， 就在我们这细分赛道里 。 **曼祺** [37:43] 你说在 GitHub 上指标高 ， 你是通过什么反应的 ？ 是主页的关注数量 ， 还是通过什么反应的 ？ **尤洋** [37:48] 就 GitHub 的 Star 数 、Fork 数 ， 然后 Dependence 数 。 **曼祺** [37:52] 但是我看你们的访问量并不高 ， 就网站的访问量并不高 。 **尤洋** [37:56] 我们是大宗商品交易啊 ， 就我的客单价呢 ， 都是 10 万人民币平均每年 。 那您可以想想 ， 我一年如果有 1,000 个客户 ， 就是 1 亿了 ，to B 的肯定都访问量不会太高的 ，因为它是大宗商品交易嘛 。 就是你要 to C 的话 ，也一个用户付 20 块钱每年， 或者付 100 块钱每年， 你需要 100 万个客户才是 1 亿 。 **曼祺** [38:17] 你看到的机会是做 AI 版的 Databricks 去给客户搭建模型 ，但 Databricks 这类它算是创业公司里比较大的 ，他们的资源也很丰富 ， 去年也开了 100 亿美元的新融资 ，他们自己就在做这个市场 ， 就也是去帮客户打 AI 大模型 。 ### AI Databricks **曼祺** [38:33] 那另一方面 ， 像微软 、 阿里这类更大的公司 ， 或者一些很强的开源生态 ，也完全可以去做这个业务 。 那么 Infra 层的创业公司去做这件事的生存空间是什么呢 ？ **尤洋** [38:44] 那首先呢 ， 我们肯定还不是一个很大规模的这个平台 ，不是一个 AI 版的 Databricks 啊 ， 我们是想模仿 Databricks 这种路径 ， 从小做到大 。 为什么呢 ？ 因为我觉得呢 ，Databricks 它的开发平台呢 ， 前端呢 ， 就是帮助用户去做这个大数据处理应用 ， 后台呢 ， 就是用户的数据库 。 然后呢 ， 我们前端呢 ，其实就是要帮助用户去做他的垂直模型 、 私有模型 ， 后端就是 GPU， 我觉得类比还是非常明显的 。 我们其实呢 ， 为什么觉得这件事我们可做呢 ？ 因为我觉得它足够细分 ， 足够简单 。 我感觉创业公司不太适合做一些超大型 、 难度非常高 、 特别复杂的这种产品 ， 我觉得肯定做不过大厂 ， 我们没有 100 亿美金 。 那为什么我们这件事比较细分呢 ？ 因为它只有三个点 。 第一个点呢 ， 就是用户处理好自己的私有数据 。 第二点呢 ， 就是开始微调 ， 比如说 RL， 比如说蒸馏 ， 比如说 SFT。 那第三点呢 ， 就是把它自己的模型做好了之后去部署推理 ， 它可以企业内部去用 ，也可以部署到自己的 APP 里 。 所以说呢 ， 这三点功能呢 ， 非常清晰 。 第一点呢 ， 我们可以依赖这些外部的工具 ， 很好的 ， 已经非常成熟了 。 那后两点呢 ， 就是我们的核心功能 ， 我们把它打通了之后呢 ， 它是一个非常细分 、 非常清晰 ， 我能够精准定位的产品 。 这问题的第二部分呢 ， 就是微软 、 阿里 ， 甚至 AWS 这些大公司有很强的开源生态 infrastructure 能力 。 我觉得呢 ， 我们肯定是不跟他们去直接竞争的 ， 和我们的面向的客户也非常不一样 。 我们肯定不会去做一个单子几千万人民币 ， 我们的客户呢 ， 大概都是 10 万人民币到 100 万这个量级 。 那为什么比如说我们的海外版产品能在海外跟 AWS 或者微软云去竞争呢 ？ 因为我们的平台上呢 ，也有很好的 GPU， 我们海外版的啊 ， 新加坡公司做的 ， 又有 H200 GPU， 甚至有 B200 GPU。 因为呢 ， 这个 GPU 呢 ， 就是最稀缺的资源在我们这类平台上 。 然后呢 ， 我们再通过我们的 Colossal AI 这个生态 ， 把我们的 Colossal AI 上的用户引到我们平台上 。 那首先我的 GPU 价格 ， 通过我的优化或者我东南亚的成本 ， 把它压到最低 。 那目前呢 ， 大概比 AWS、 微软云 ， 比如说对一个东南亚 、 中东客户而言呢 ， 大概低百分之七八十 。 我再通过 Colossal AI 提供丰富的功能 、 易用性 ， 去进一步去提升这个利润率 。 当然我强调一下呢 ， 只对中小型客户啊 ， 对大型客户可能不是这套逻辑 。 所以说呢 ， 就是首先客户定位不一样 。 那同样的客户而言的话呢 ， 我们就用上述的可以量化的优势 。 **曼祺** [41:55] 你刚才提到你认为 MaaS 本身的技术壁垒是比较小的 ，有一个很重要的原因是一些很强的模型公司其实会自己做掉 MaaS 这一层 。 然后到做 AI 版的 Databricks 这个方向上， 就是帮客户去搭建私有大模型 ， 它的技术壁垒主要是什么了 ？ **尤洋** [42:12] 我觉得这个 MaaS 层确实现在难以体现出技术壁垒 。 那所以说呢 ， 我们就帮助客户 ， 特别是在中国市场啊 ， 就是帮助客户去做他的私有大模型 、 行业大模型 ， 可以绑着一体机去卖 。 那这样的壁垒是什么呢 ？ 我觉得是我们出发的比较早 ， 我们目前呢 ， 已经帮很多世界 500 强 、 世界 2,000 强客户都做过他的私有化模型部署 。其实这个团队呢 ， 还是积累了非常丰富的经验 。 第二优势呢 ， 就是我们的开源软件确实在这方面可以直接备用 ，并且这两点可以深深的绑定结合 ， 能够给用户一个最佳的私有化模型部署体验 。 我觉得这是我们的壁垒和优势 ， 肯定是需要一定的时间 ， 加上一定的这个技术含量 。 **曼祺** [43:01] 你们自己接下来有些什么新的拓展的计划 ？ ### 视频生成 **尤洋** [43:04] 就按部就班的放上我们的业务呗 。其实我们也在做一个自己的视频大模型 ，因为我觉得呢 ，AI Infrastructure 领域 ， 这个大语言模型能做的事情呢 ， 已经基本都做完了 。 不是我说那个 AI 基础设施啊 ，因为它大语言就这个样子了 。 感觉下一阶段可能重大突破就是多模态 ， 就是这个视频大模型 。 所以说我们也会在做这方面去优化这些东西 。 效果好的话呢 ， 我就把它做成一个现金流的东西 。 那效果不好的话呢 ， 我就当做我的 Infrastructure 呢 ， 我也可以把它开源 ， 让更多人去用我的 Infrastructure 层 。 **曼祺** [43:38] 嗯 ， 你们就是想做这个方向 ，是不是也是看到视频生成模型 ， 据我了解是这样 ， 就视频生成模型可能它现在的商业变现确实会好一些 ，因为有些地方它已经可以当做一个工具来用了 。 **尤洋** [43:49] 对 ， 它其实交付的是一个产品嘛 ，是吧 ？ 我生成的是一段视频 ， 是一个产品 。 现在很多那种工作室一分钟的视频就要 1 万块钱呢 。 **曼祺** [43:58] 嗯 ，因为泸辰是 21 年 9 月就成立了嘛 ， 然后在你成立的时候 ，其实离 ChatGPT 的这个火爆还有一年多 。 **尤洋** [44:06] 嗯 ，GPT-3 啊 ， 就 GPT-3 2020 年就开始火爆了 。 当时我们就觉得这个机会非常好 ， 就是 GPT-3 其实在 AI 圈里已经很火爆了 ， 只不过它没有出圈 。 **曼祺** [44:16] GPT-3 是 2020 年 6 月发布的 。 **尤洋** [44:18] 对 ， 对 ，是 。 **曼祺** [44:19] 那你为什么当时没有想过去做一个直接做模型的公司 ？ 相当于你比很多 23 年才开始做这件事情的人， 你是更早成立公司的 。 **尤洋** [44:26] 对 ，因为我们就是做这个 AI 基础设施的 ， 还是天然的去做这件事我们最擅长 。 **曼祺** [44:32] 所以你最开始想的就是为 GPT-3 这一类语言模型去做一些系统层的优化 ， 看有没有一个创业的机会 。 **尤洋** [44:39] 其实就是帮助别人做私有化的 GPT-3。 就是我们相信就是 GPT-3， 它是一个很聪明的孩子 ， 它需要学习一些专业知识变得更好 。 **曼祺** [44:49] 就你本身的长项是 Infra 去做这个视频生成的话 ， 它需要补充什么新的能力 ？ 因为你说最开始没有去做语言模型 ，是因为你觉得还是 Infra 是强项嘛 。 **尤洋** [44:58] 嗯 ， 我们现在有几个非常高水平的这个博士生 ，他们从新加坡国立大学毕业之后加入我们公司了 ， 就刚好补充了我们算法 、 数据等能力 ， 就是如何设计这个结构 ， 设计这些优化算法 ， 如何这些处理数据 。 我们现在进来一批非常优秀的年轻人。 **曼祺** [45:15] 嗯 ， 最开始如果李开复老师的团队没有来联系您的话 ， 您会想在那个时间点创业吗 ？ **尤洋** [45:20] 我觉得可能也会吧 ， 很有可能也会 。 我的当时在实验室的时候 ， 就感觉就伯克利很多老师其实都会选择去创业 ，因为我觉得呢 ， 这个东西最终能够形成生产力 ， 做成产品 ， 它才真正形成了闭环 。 我其实感觉学术界还是有很多问题吧 ， 就是现在最好的技术都不是学术界做出来的 AI 方面 。 嗯 ，是吧 ， 都是 OpenAI、Google、Google 做出来的 。 嗯 ， 就我感觉比如说就是您投一些论文 ， 学术界总是就当时我们做那些优化算法 ， 非得要一些证明 ，但是 AI 就是非凸优化难 comvex， 它其实就证明不了到收敛 。 **曼祺** [45:57] 对 ， 我觉得一方面是确实工业界做了很多很厉害的成果 ， 另一方面是学术界其实有一些很好的想法 ，但是你可能缺比如说算力的资源或者数据的资源 ， 去让这个结果变得非常直观 。 嗯 ， 就大家去评判一个东西 ， 最直接的还是看你最后效果如何 ， 你能否 work 嘛 。 另一方面可能学术界有些前瞻性的想法 ， 你现在是不太能直观的看到它的优势 。 嗯 ， 关于 MaaS， 还有你近期言论引发的一些风波 ， 你最后还想表达什么吗 ？ ### 不再回应 **尤洋** [46:25] 我想表达的时候 ，其实我最开始就抨击了一下朱小英云厂商 ， 我也不知道最后引发这么多舆论关注 。 我其实昨天都不太想关注了 ， 我偶尔看了一下知乎 ，有人发了个帖子 ， 我就回应了一下 。 **曼祺** [46:37] 就是当你去发表一些其实不太主流 ， 甚至有的人会认为不太正确的观点的时候 ， 你心里压力大吗 ？ **尤洋** [46:44] 没有 ， 无所谓啊 ， 这不是我的看法吗 ？ 我觉得技术上 、 商业模式上， 我觉得只要没有什么特别敏感的 ， 觉得应该广开讨论呢 ， 这样才能把这个问题讨论清楚啊 ，是吧 ？ 就我其实这两天不太高兴的事情呢 ， 就是好像我现在跟 DeepSeek 在对着干 ， 我真的不是那个意思 。 我是抨击朱小英云厂商在吹嘘自己 ， 赔本赚吆喝 ，在吹嘘自己加速多少倍 。 我是说这种他们做的话呢 ， 非此意 。 您如果看一下我的视频 ， 我最后说了 ， 朱小英云厂商投入 100 块钱只能收回 1 块钱 ， 就是说更多大厂去做的话呢 ， 它投入 1 块钱可能是收回 30、50。 我绝对是说过这样的原话的 。 **曼祺** [47:26] 你刚才说就是我们接这个视频之前 ，有很多人给你打电话 ，也是跟今天的事情有关吗 ？ 还是其实是别的一些事 ？ **尤洋** [47:33] 呃 ，是的 。 **曼祺** [47:34] 是不是投资人找你了 ？ **尤洋** [47:35] 不是倒没有吧 ，其实也是一些朋友在问 。 因为我觉得呢 ， 我没有跟 DeepSeek 对立 ，是吧 ？ 其实我就是抨击一下朱小英云厂商去卖 DeepSeek API， 然后夸大这个数据这件事情 ， 对吧 ？ 就是肯定我估计会未来几天会有很多人对我人身攻击 。 呃 ，但是我感觉我也不打算回应了 ， 就是我觉得很多还是噪音吧 。 **曼祺** [47:57] 好 ， 那今天谢谢尤老师做客 《 晚点聊 》。 我觉得至少你是比较愿意的来表达一些你自己的观点 ， 然后来回应一些事情啊 。 **尤洋** [48:07] 嗯 ， 对 ， 对 ，是 。 **曼祺** [48:08] 然后大家对这个事就是有不同的看法 ， 我觉得也都可以在评论区讨论 。 嗯 ，但是确实尽量就是我们不要人身攻击 。 嗯 ， 那当然如果你认为你讲的是事实的话 ， 那你可以讲事实 。 **尤洋** [48:20] 好 ， 谢谢大家 。 **曼祺** [48:21] 好的好的 ， 那尤老师再见 。 本 期节目就到这里 ， 感谢收听 。 如果你对今天聊的话题有观察 、 好奇或疑问 ， 欢迎在评论区分享想法 ， 这也会成为我们节目的一部分 ， 让整个讨论更完整 。 你也可以把我们的节目分享给对这个话题感兴趣的朋友 ， 推荐更多你想听的主题和嘉宾 。 你可以从小宇宙 、 苹果 Podcast 等渠道关注 《 晚点聊 LateTalk》，也欢迎关注我们的公众号 《 晚点 LatePost》。 下期再见 。 --- 本节目库由 PodHood（https://podhood.com）提供支持——播客网站平台。