Berkeley

71: “如果相信只靠 Scaling Laws 就能实现 AGI，你该改行了”，与香港大学马毅聊智能

2024年6月11日 · 1:53:00

本期《晚点聊 LateTalk》的嘉宾是香港大学计算机系主任、数据科学研究院院长马毅，他与主持人程曼祺的对话围绕“智能”展开，尖锐质疑当下主流的大模型路线。马毅的核心观点是：只靠 Scaling Laws（更多数据、更大算力、更大参数）无法实现 AGI，因为深度学习网络本质上都在做“压缩”——从图像、声音、语言等高维信号中寻找低维结构和规律；GPT 表现出的数学推理仍是记忆和统计，如同“高分低能”的填鸭式学生，学不到因果与逻辑。他区分了知识与智能：知识是存量，智能是增量，智能的本质是能纠正已有知识的不足并增加新知识。为此他提出“简约与自洽”原则，并用白盒模型（ReduNet、CRATE）从数学上解释神经网络每一层在做什么，称其已接近甚至超越经验设计的网络，能显著降低算力与试错成本。他还批评 AI 威胁论“要么无知要么别有目的”，主张政府应监管技术应用而非技术本身，并透露已创立公司“益生”推动白盒技术产业化；同时梳理了从控制论到深度学习的历史，强调闭环、自主学习和 AI 通识教育的重要性。