规模之外：一家中国大模型公司的非共识实践

题图｜AI生成 1965 年，时任仙童半导体研发总监的戈登·摩尔坐在办公室里，手头摆着一张张集成电路的数据表，他把这些数字连成曲线，发现了一个显著的规律：芯片上的晶体管数量，大约每两年翻一倍。这条曲线后来被称为摩尔定律，它统治半导体行业半个多世纪，推动芯片一代代变得更快、更便宜。 但当晶体管逼近原子尺度，这条曲线开始变得越来越难以维持，每一次缩小，都意味着更高的光刻、散热、功耗和制造成本。当旧的规律开始失效，半导体行业开始寻找新的增长路径，不再只是让晶体管变得更小，而是让同样的晶体管提供更多有效算力。 大模型行业正在上演类似的一幕。过去四年，Scaling Law 成了这个行业最坚固的共识——大就是正义，大就是强，自 2020 年 GPT-3 用 1750 亿参数立起范式，参数从亿到千亿再到万亿，算力从千卡到万卡，融资额从几亿到几十亿美元。 这个共识逻辑简单、可测量、可模仿、可传播，它支配了行业几乎全部的叙事和资本流向，所有人都在同一条赛道上，朝着那个确定又遥远的目标狂奔。 但到了 2025 年，这个共识开始出现裂缝 ，训练前沿模型的成本逼近十亿美元，高质量互联网公开语料越来越难以获得，OpenAI 前首席科学家 Ilya Sutskever 公开说现在这种意义上的预训练将会终结。参数与投入依然在涨，能力的边际收益却在变薄，同样的投入越来越难获得过去那样的能力增益。 Ilya并非说说而已， 今年 7 月，他创办的 Safe Superintelligence（SSI）获英伟达投资，多家媒体透露，SSI 正在探索一条不同于当前主流大模型的新路线，研究重点涉及此前被忽视的人脑工作方式，Ilya在接受采访时曾说，AI 行业以后关键在于找到新的学习原理，而不是单纯堆算力，他本人正是 Scaling 时代最重要的推动者之一，如今却选择再次从底层技术路线寻找突破，这至少说明，在大模型规模不断扩张之后，如何用不同的方法获得更高效的智能，正在重新成为顶尖研究者关注的问题。 于是，一个值得追问的问题出现了： 如果规模扩张并不是大模型能力增长的唯一答案，那么，除了继续做大，还有没有另一条路？ 是否能像半导体行业的转向那样，让更少的参数、更少的算力，产生更多的有效智能？ 这并不是一个纯粹的理论问题。过去几年，一些大模型公司已经开始用实践寻找这个答案，面壁智能便是其中一个值得观察的案例。 类似的探索在中国也已有伏笔。 2020 年，当 GPT-3 用 1750 亿参数立起范式，清华 NLP 实验室训练出国内首个中文大模型 CPM-1，这支团队的核心人物后来成立了面壁智能。到了 2023 年下半年，当行业共识最牢固时，他们作出了一个非共识的决定：不再单纯追求大，而是追求效率，用更少的参数做到同等智能。 这个判断背后有一条被他们称为 Densing Law of LLMs（密度定律）的规律：模型智能密度随时间呈指数级增强，达到特定智能水平所需参数量每 3.5 个月下降一半，如果同等能力所需的参数量持续下降，那么原本只能在云端运行的模型，就有可能逐步进入手机、汽车和机器人，智能有机会离用户更近。 正是这条规律，让这支团队决定转向追求效率，其首席科学家刘知远在接受采访时提过一个疑问：“既然还有大量未知空间，为什么一定要在同一条路上卷？” 2026 年年中，端侧 AI 路线正逐渐明晰，苹果与千问合作将端侧智能带到中国市场，谷歌 Pixel 把 Gemini Nano 做成常驻能力。模型公司与终端厂商都在加码布局，下游设备与场景层出不穷，但回到 2023 年，这仍是一个非共识的选择。 这不是一家公司赌对了方向的叙事。更值得追问的是，当一条定律定义了所有人的目标和叙事，为什么一个新团队选择了另一条路？它的底气和证据是什么？更进一步，在中美 AI 乃至整个科技产业存在巨大差异的背景下，这些判断与实践，又能给行业带来怎样的参考？ 从实验室到那个关键的下午 一个非共识的判断，往往不是灵光一现。向前回溯，它与决策者及其组织的经历、技术信仰、组织形式，乃至品味，都息息相关。 面壁这一非共识判断，发生在 2023 年国庆前后的一次管理层会议上。那时，ChatGPT 发布还不到一年，国内正处在“百模大战”最狂热的阶段，阿里千问、百度文心、字节豆包、Minimax、智谱，几乎所有的中国大模型公司都在把参数往上堆，面壁自己也在跑一个千亿参数的通用模型 CPM-Cricket。 会议亲历者的回忆指向同一个画面，一位研究员把一组实验曲线投在屏幕上，那组曲线来自他对模型的实测： 同等智能水平，用更少参数也能做到。 那次会议的结果是，面壁放弃了已投入大量资源研发的千亿参数通用模型，把资源转向端侧和模型效率，并在随后推出了密度定律，尝试走规模之外的另一方向。 需要厘清的一点是，面壁的这次转向，常被外界读成放弃大模型、孤注一掷做端侧。但从面壁的过往来看，这是一种误解。 面壁及其前身，最早恰恰是从大参数大模型切入的。来时路可以追溯到 2020 年，那一年，GPT-3 用 1750 亿参数立起了参数量即智能的范式，而中国的大模型几乎还是一片空白，国内能跑通 GPT 量级中文预训练的团队一只手数得过来，在清华 NLP 实验室，年仅 22 岁的曾国洋担任核心工程负责人，参与训练了国内首个中文大模型 CPM-1，他的导师刘知远是清华大学计算机系长聘教授、国内最早投身大模型的研究者之一。 模型做出来，他们又选择把权重、代码、训练方法全部开放了出去。2021 年，这支团队把这条开放路线又推了一步，成立 OpenBMB 开源社区，并参与了悟道·文源 CPM 大模型的研发。 那一年也是中国大模型起步之年，智源“悟道”、阿里达摩院 M6、百度 ERNIE 3.0 等多个大模型项目几乎同时起步，中国公司开始入局，让大模型不再是 OpenAI 一家公司的游戏。 同一时期，国内“百模大战”正酣，几乎所有玩家都在把参数往上堆。刘知远后来把这次押注形容为一场非共识下注：“2021 年是什么时间点？那时候 OpenAI 都还不是今天的 OpenAI。”在大参数阶段，曾国洋与刘知远团队就已经开始琢磨效率，他们在 2021 年发表的 MoEfication 论文证明，一个稠密大模型可以转化为等参数量的稀疏模型，只用原模型 10% 到 30% 的参数，就能保留 95% 的性能。 2022 年 8 月，ChatGPT 发布前三个月，团队从清华 NLP 实验室独立，成立面壁智能，刘知远任首席科学家，曾国洋任 CTO；2023 年 4 月，知乎领投面壁天使轮，两个月后原知乎 CTO 李大海出任 CEO；有十余年产业经验的雷升涛后续加入，负责产业落地，补齐从技术到市场的最后一环。 作为最早看到大模型效能的团队之一，面壁也最早看到了它的现实制约，算力并非无限供给。刘知远接受采访时说，未来不可能真的用几百万张卡训练一个模型，这样的成本很难由任何一家机构长期独自承担。当所有人都在往更大冲，参数的边际收益正在变薄；而智能密度，正在以可测量的速度提升。 与其说面壁选择了端侧，不如说它选择了效率。 来时路让面壁更早看到了规模之外的技术选择，组织力则帮它把判断快速落进实践。据转型会议的参会者回忆，在一次讨论会上，