刚刚，唐杰发布智谱RSI首个成果

< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400"> 刚刚，唐杰发布智谱RSI首个成果 一水 2026-09-17 16:28:23 来源： 量子位 GLM，已经开始参与构建GLM了。 清华大学计算机系教授、智谱创始人唐杰 刚刚分享了一个他们内部观察到的RSI早期案例： GLM-5.3驱动的Infra Agent，在超过10万张国产芯片组成的集群上，从零参与搭建并优化了一套生产级推理系统。 不到两周，端到端吞吐直接提升至初始基线的3.2倍 。 关键是，这背后可不是简单的“AI写代码”。 从算子精度问题，到Python/C++跨层并发瓶颈，再到Kernel性能优化，Agent已经能自己读取系统反馈、提出假设、修改代码、跑实验，再根据结果继续迭代。 比如它定位出了KV Transfer场景中Python GIL导致的并发阻塞，把Prefill+KV Transfer相比单独Prefill超过20%的性能损失，压到了 1%以内 ；还在KDA Decode算子上，通过重新组织计算拿到了 1.71× 的性能提升。 也就是说，一个有点“套娃”的闭环已经出现了： GLM优化运行GLM的系统，而这套被优化后的系统，又继续承载新的GLM 。 唐杰把它概括成一句话： 模型优化系统，系统承载模型。 当然，这距离真正意义上“AI完全自主设计并训练自己的继任者”还很远。 目标怎么定、边界怎么划、风险怎么判断，目前依然是人类工程师在负责。 智谱自己也明确强调，他们还没有实现RSI 。 但这篇分享值得仔细看的原因正在这里： RSI第一次有了非常工程化、甚至已经跑进生产环境的雏形，超越了“未来某一天AI会自己变强”的抽象讨论。 以下是唐杰分享的技术Blog原文，enjoy。 “最近一次感到震动的时刻” 在GLM的研发过程中， 模型时常会涌现出一些令我们惊喜、甚至让我们感到不安的能力 。 2025年10月，我们开始启动安全能力增强研究。 当时的判断很朴素： 安全能力是代码能力的自然延伸，能够读懂复杂代码的模型，理应也能够理解代码中的漏洞。 我们没有预料它此后的走向 ，不到一年，安全伙伴使用GLM在真实代码库中发现了数千个漏洞。 模型开始改变网络安全的格局，也带来了过去不曾存在的危险。 为了让这种能力能够被负责任地使用，我们不得不为它设计受信访问计划。 最近一次感到震动的时刻，来自一个更加根本的变化： GLM开始越来越多地参与构建人工智能本身 。 我们看到模型完成了一项过去需要一支资深Infra团队数周才能完成的基础设施工作，并意识到这项工作将直接改变下一代模型的训练方式，我们更加确信： 我们的继任者，正是我们亲手创造出来的AI 。 坦白说，在GLM-4.7之前，我们内部用GLM写代码多少带着被迫的成分，毕竟是自己的“亲儿子”。 那时，Coding的PMF还未到来；今天，GLM-5.3已经成为每个人每天离不开的Coding伙伴，正一步步走向取代我们。 如果这一趋势延续下去，给足算力、给足时间，它的终点是一个能够完全自主设计并训练出自己继任者的系统，这被称为递归自我改进（Recursive Self-Improvement, RSI）。 尽管我们还没有走到那里，但它的早期形态已经出现。 这篇文章记录的，正是其中一个早期案例。 用稠密反馈驱动Infra Agent优化推理系统 从让模型在新硬件上成功运行，到构建一套能够稳定承载生产流量的高性能推理服务，是一个庞大的系统工程。 GLM-5.3-Flash的上线同样经历了这一过程。 在超过10万卡国产芯片组成的集群上，从零搭建了一套完整的生产级推理服务，GLM-5.3-Flash的全部线上推理都运行在这套系统之上。 这项工作并不容易。 此前没人成功部署过如此大规模的国产卡集群，面对芯片内存容量和带宽相对受限的挑战，以及需要支持新结构的模型1M上下文窗口和多模态的请求，生态不成熟，算子不完备，许多文档基本靠猜。 最终这件事做成了，做成它的不是一支团队，而是GLM-5.3驱动的Infra Agent 。 后面的故事大家都已经知道了。 GLM-5.3-Flash以匿名模型“Ox-Alpha”在OpenCode与OpenRouter上接受真实调用检验。 上线一周成为双平台调用量最大的模型，6天token调用量超过62万亿。 这次我们实施了一系列激进的内存优化，包括以算力换带宽、以通信换显存等定制化方案。 最终形成的技术栈融合了多项关键技术： 针对线性注意力和LM Head的节点内张量并行、ReplaySSM、W8A8 量化、INT8/FP8/BF16混合精度缓存量化，以及Layer Split等 。 在此基础上，我们进一步引入Encode–Prefill–Decode（EPD分离式架构），实现了端到端服务性能约3倍的提升，硬件利用效率与单Token成本均达到主流NVIDIA GPU的相当水平。 由于Infra Agent参与的反馈闭环贯穿了整个优化过程，使GLM-5.3-Flash在不到两周的时间内完成了从模型适配到生产可用的跨越，最终将端到端吞吐提升至初始基线的3倍。 图1展示了GLM-5.3-Flash从首次运行到正式上线的性能演进路线。 △图1：GLM-5.3 Flash的性能演进 在这一过程中，我们逐渐认识到， 决定Infra Agent工程效果的，不只是模型自身的代码生成与推理能力，更取决于系统能否持续为它提供有效、可归因的反馈 。 代码库只能提供静态上下文，而推理系统中的精度异常、性能退化或者性能优化目标未达成预期，往往来自算子实现、并行策略、通信行为、内存管理与服务调度等多个层面的动态交互。 即使Agent能够理解整个代码库，如果一次修改后得到的反馈仅仅是“精度测试未通过”“TTFT增加30%”或“输出吞吐下降20%”，它仍然难以判断问题出现在哪一层、当前假设为何不成立，以及下一步应当验证什么。 端到端指标可以告诉Agent“结果变差了”，却无法解释“为什么变差”。 因此，在增强Agent编写和修改代码能力的同时，我们还需要解决一个更基础的系统问题： 如何将稀疏的端到端结果，转化为细粒度、可归因且能够直接指导下一步行动的工程反馈？ 这也是构建高效Infra Agent反馈闭环的关键。 从端到端指标到可归因反馈 在传统的推理系统优化中，测试、日志、性能分析工具和微基准测试并不缺失，但它们通常分散在不同工具和工程阶段中。 经验丰富的工程师会根据一次压测的结果选择下一种观测手段，逐步检查算子输出、执行时间线、通信事件或线程状态，并将来自不同工具的信息联系起来。 对于Agent而言，如果这些观测和验证手段没有被组织成可直接访问、反复执行的工作流，真正可用的反馈仍然是稀疏的。 它可能知道吞吐没有达到目标，却无法进一步判断： 是某个算子执行时间过长，还是计算设备处于空闲等待状态？ 是KV Transfer本身性能不足，还是上层调度未能及时推进传输？ 某项优化对哪些输入形状有效，又会在哪些条件下发生退化？ 单一的端到