LightLDA

58: 光年之外联创再出发，与袁进辉聊 AI Infra 到底做什么？| AI 大爆炸

2024年1月24日 · 1:09:23

袁进辉，硅基流动（SiliconFlow）创始人、前一流科技创始人和光年之外联创，在《晚点聊》本期阐述了AI基础软件在中国商业化为何艰难，以及他为何二次创业押注大模型推理。他从清华学术理想破灭后在微软做出被快手使用的LightLDA，2016年创立OneFlow预判大模型将出现，技术获PyTorch跟进但商业化失败，2023年加入光年之外，被美团收购后再次创业。SiliconFlow专做推理部署，因为训练客户少且集中，推理客户更多更分散，且优化空间比训练大十余倍；团队进光年40人出来35人，现超40人，自研框架Crossing已快于vLLM和TensorRT-LLM，他称OpenAI一天生成一两万亿token，远超训练总量。商业化上他主张全球化，海外需求是国内的几十倍，国内则要绑定算力等客户必付项，希望这次能证明“好技术能赚到钱”。他判断大模型本身壁垒不高，真正的长期壁垒是工程能力；2024年国内模型有望达到GPT-4水平、应用爆发，但超级应用大概率不来自现有大模型公司，芯片也会从一家独大走向分散。他曾听到邻桌评价OneFlow“技术挺好……还不是被收购没赚钱”，希望这次创业能成为更好的范例。