硅基流动

80: OpenAI o1 来了！与硅流袁进辉聊 o1 新范式和开发者生态

2024年9月16日 · 1:40:20

本期《晚点聊》邀请硅基流动创始人袁进辉解读OpenAI o1：o1以强化学习、思维链与test-time compute的组合，突破了大语言模型在逻辑推理上的瓶颈，数学、编程和科学任务能力大幅提升。袁进辉认为这三项技术单独看都不是新idea，OpenAI把Alpha家族验证过的强化学习方法搬到大语言模型上，胜在组合，并验证了从train scaling law到inference scaling law的新范式；训练端用合成数据、推理端多次调用模型都会增加算力需求，但国内基础模型训练收缩，GPU短期有冗余、租金下降。从API定价看，o1每百万token约数十到上百美元，是4o的数倍到十倍，目前还不支持函数调用、流式传输，推理时间也长，但这些都可优化；而推理能力的提升让Agent范式更有望跑通。袁进辉还以硅基流动的一线数据反驳“AI应用降温”：大量小微企业和个人开发者正基于开源模型做应用，只是不在传统VC视野里，他称已有应用每天调用数亿至十亿token、每周活跃数十万；海外调用最多的是Meta的Llama，国内是阿里通义千问和幻方DeepSeek，千问胜在版本齐全，DeepSeek编程能力突出。他也不认为o1会改变大模型公司持续收敛的趋势，因为技术扩散和边际收益递减的逻辑未变。

58: 光年之外联创再出发，与袁进辉聊 AI Infra 到底做什么？| AI 大爆炸

2024年1月24日 · 1:09:23

袁进辉，硅基流动（SiliconFlow）创始人、前一流科技创始人和光年之外联创，在《晚点聊》本期阐述了AI基础软件在中国商业化为何艰难，以及他为何二次创业押注大模型推理。他从清华学术理想破灭后在微软做出被快手使用的LightLDA，2016年创立OneFlow预判大模型将出现，技术获PyTorch跟进但商业化失败，2023年加入光年之外，被美团收购后再次创业。SiliconFlow专做推理部署，因为训练客户少且集中，推理客户更多更分散，且优化空间比训练大十余倍；团队进光年40人出来35人，现超40人，自研框架Crossing已快于vLLM和TensorRT-LLM，他称OpenAI一天生成一两万亿token，远超训练总量。商业化上他主张全球化，海外需求是国内的几十倍，国内则要绑定算力等客户必付项，希望这次能证明“好技术能赚到钱”。他判断大模型本身壁垒不高，真正的长期壁垒是工程能力；2024年国内模型有望达到GPT-4水平、应用爆发，但超级应用大概率不来自现有大模型公司，芯片也会从一家独大走向分散。他曾听到邻桌评价OneFlow“技术挺好……还不是被收购没赚钱”，希望这次创业能成为更好的范例。