H800

115: 华为发布超节点，如何搅动AI算力市场？与魔形智能徐凌杰聊芯片层新变化

2025年5月11日 · 1:28:13

本期《晚点聊》邀请魔形智能CEO徐凌杰（曾任英伟达、AMD、三星GPU架构师，壁仞科技联合创始人）解读华为CloudMatrix 384超节点，核心观点是：它本质是12个机柜、384张昇腾910组成的'横向扩展'（Scale out）集群，而非英伟达NVL72那种单机柜'纵向扩展'（Scale up），以数量换总算力——集群总算力300P，比NVL72提升67%，内存容量三倍以上、带宽两倍以上，但功耗约为后者四倍。徐凌杰认为，华为在成为英伟达之前已是'Mellanox'，网络与交换积累是其能做多卡互联的原因；但国内厂商普遍缺乏NVSwitch类产品，超节点趋势短期不冲击英伟达，压力主要给到其他国产AI芯片商。他还拆解了AI算力结构：GPU之外互联、交换机、光模块同样关键，芯片成本已从晶圆主导变为显存主导，HBM占五到六成；并透露魔形智能在H20上优化DeepSeek满血版已实现API业务盈利。英伟达已为可能被禁的H20计提55亿美元损失，不排除通过恢复被屏蔽计算单元'变废为宝'；华为在阿里发布Qwen3当天即宣布开箱即用支持。他判断英伟达最大威胁是客户集中（Google TPU、Amazon自研芯片），其已成立'半定制'部门防御；下一代算力变量或来自存算一体、类脑计算（脉冲神经网络）以及电力与散热等可持续发展约束。

113: 秘塔闵可锐1：回到故事开始，那些「神预言」

2025年5月5日 · 1:56:09

2023年3月大模型热潮初期，秘塔科技创始人闵可锐断言，中国VC很可能会集体错过最有雄心的中国大模型创业者，并分享了他对预训练范式、创业选择及行业格局的观察。他回顾了从复旦、牛津到伊利诺伊博士辍学，经历波森数据、猎豹后于2018年创立秘塔，因看好大规模预训练而选择法律翻译切入，理由是人比机器更贵。他认为预训练本身才是范式转变，Transformer并非关键，GPT-3只是把规模推到工业界不敢想的地步，并非新架构；AI应用已进入个人开发者、创业公司和大厂所有人PK所有人的战国时代，AI Native的突破很可能在交互。他提到秘塔写作猫注册用户超700万，付费率2%-5%，公司总成本小几千万元且已能自给自足；但热潮对秘塔并非全是好事，财务投资人因担心与大厂直接竞争而谨慎，战投反而更积极。他批评研发投入95%是浪费且不知浪费在哪，OpenAI的关键是找到会花钱的少数研究者并给他们大量资金；中国投资仍循着大佬站台的传统思路，可能错过真正能干事的人。他还预测未来半年厂商将密集发模型但热潮不可持续，拿不到正反馈的团队会速生速死，并会出现二手A100；开源是另一股力量，但真正千亿级开源模型并不多，中国团队多为微调。

105: 潞晨尤洋争议中谈三方云平台 DeepSeek 成本：为何我不做 MaaS 了？

2025年3月6日 · 48:56

在 DeepSeek 开源周数据宣称成本利润率达 545% 引发热议后，潞晨科技创始人尤洋在本期访谈中回应争议：他坚持认为，中小云厂商部署 DeepSeek 并售卖 API 的 MaaS 模式是巨亏生意，潞晨已停止相关服务。DeepSeek 官方称其 24 小时处理了 608B 输入 token 和 168B 输出 token，仅用 1814 张 H800 支撑 2000 万至 3000 万日活；而尤洋实测每节点每秒输出仅约 300 token，与官方公布的 14.8K token 相差 46 倍。尤洋解释，MaaS 按 token 计费却要按 GPU 时间承担成本，在线任务序列长度波动剧烈，需准备约 5 倍冗余资源，且中小厂商缺乏模型与技术壁垒，最终只会陷入价格战。因此潞晨科技转向为传统企业提供私有模型部署（PaaS），客单价在 10 万至 100 万元之间，目标对标 AI 版 Databricks。尤洋还主张，只有像 OpenAI 这样拥有独家顶尖模型的公司才应做 MaaS，高利润是对创新的奖励，并透露潞晨正布局视频生成模型。他称自己并不想与 DeepSeek 对立，抨击的是那些宣称推理速度比英伟达方案快十倍的中小云厂商。