赵晨阳

177: 详解Kimi K3：强到冲击Anthropic估值的模型什么样？

2026年8月3日 · 1:55:18

《晚点聊》由曼祺主持，邀请RadixArk与SGLang创始成员赵晨阳、华盛顿大学博士生曾致远，从Infra与算法两条线拆解Kimi K3：这款近3T参数的开放权重模型以混合注意力架构逼近并部分超越Claude Opus 4.8等闭源前沿，同时引发对Anthropic估值的冲击与开源安全辩论。节目指出，K3用KDA线性注意力与MLA全局注意力按3:1混合，靠循环状态压缩历史，在百万上下文下获得6.3倍解码加速；其Quantile Balancing以分位数估计替代固定步长调整，支撑896个路由专家中选16个的极端稀疏负载均衡，Per-head Muon则通过逐注意力头正交化提升大规模训练稳定性。后训练部分，K3先用MOPD多教师在线蒸馏合并9个领域专家模型，既降低合版压力又提升迭代速度；在Kimi CodeBench 2.0上，K3得分仅低最强模型4分，成本却只有对方的38%。嘉宾还拆解了Attention Residuals如何让深层模型选择性读取浅层信息，以及Kernel Development Agent如何让早期checkpoint自主优化内核，甚至为国产GPGPU写Kernel。讨论也点明，K3开放了权重、MuonEP、Flash KDA和agent-inv，但未开源RL环境、知识图谱任务系统与原始专家checkpoint——权重是一次训练的产物，环境才是能反复产生下一代权重的'流水线'，构成开源模型真正的护城河。最后，嘉宾判断开源模型短期内仍难超越闭源，因为OpenAI与Anthropic内部最强模型通常比已发布版本领先半代到一代，但KDA这类线性注意力混合架构已证明'条条大路通罗马'。

163: 详解DeepSeekV4：Infra巨鲸、百万上下文走进现实、极致效率优化

2026年4月30日 · 1:33:52

本集晚点聊详解DeepSeek V4，SGLang核心开发者赵晨阳（RadixArk工程师）和UCLA博士生刘益枫判定：它并非范式创新，而是沿R1的“测试时扩展”范式，用混合稀疏注意力、Muon优化器、mHC、FP4等互相耦合的工程优化，让百万上下文从理论进入实用。V4放弃了V3的MLA架构，改用滑动窗口+CSA稀疏压缩+HCA稠密压缩的层间分工，换来激活参数占比仅3%、单token推理FLOPs仅V3.2的27%、KV cache占用仅10%的极致效率；但两人也指出，解决同一问题的token消耗反而增加，有“高压水枪浇花”式的浪费。他们具体拆解了四个新特性：Muon优化器已成为检验工程能力的试金石，V4将Kimi Muon Lite的0.2系数改为0.18；mHC是DeepSeek对Hyper-Connection的稳定化改造；Infra侧TileLang降低新kernel开发成本，FP4训练让采样和部署一致，实现真正的物理提速。此外，DeepSeek这次不再披露训练成本，两人认为最终训练成本只是冰山一角；发布延期源于四个新feature耦合导致组合爆炸，但团队流动率极低。节目还讨论了DeepSeek内部评测中9%工程师不会将V4 Pro作为编程首选，以及中美模型路线分化：美国公司追新能力、高定价，中国公司追性价比和工程极限。关于评测，他们认为benchmark会过时饱和，evaluation才是永恒追求；V4也未提出新的能力域，但它的极致压缩和低单token成本，可能成为后续开源模型的起点。