智谱GLM-5V-Turbo“擦枪走火”，国产多模态智能体战争一触即发

文 | 硅基星芒 在国产大模型的激烈竞争中，智谱的 GLM 系列一直掌握着一张极具商业价值的王牌：极强的代码能力。 随着 AI 的主要形式从大语言模型转向智能体，行业竞争进入下半场，开发者和开发生态是付费意愿最强的群体。 但是，行业巨头们对 AI 的期许显然不仅仅是一个“外包的程序员”，只有成为一个能真正接管系统工作流的全能型智能体，才能让 AI 进入每个普通人的生活。 因此， 一个强大的 AI 只会敲键盘还远远不够，它必须长出眼睛，去审视网页排版、看懂海报图表、甚至要理解 GUI 上各种非文本的复杂信息。 前几天， DeepSeek 灰度测试“识图模式”已经打响了第一枪。 如今，智谱也紧紧跟随，正式开启了多模态领域的全新探索。在最新模型 GLM-5V-Turbo 的技术报告中，我们可以清晰地认识到，这是智谱向原生多模态智能体发起的新一轮冲锋，也是一份充满技术暴力、工程妥协和商业考量的自白书。 01 视觉底座的暴力美学与微操艺术 向大语言模型中增加视觉能力，这个思路在过去几年中早已被频繁尝试。 然而，由此诞生的视觉语言模型（ VLM ）往往只是个拼接而成的产物，语言模型是绝对的大脑，视觉模块只是一个外挂摄像头。 也就是说，模型压根无法理解图像等信息中蕴含的逻辑。把二维的视觉信号强行压缩至一维的 token 序列，带来的结果就会是看不懂图像、忽略关键细节甚至产生严重的幻觉，自然也无法作为智能体使用。 因此， GLM-5V-Turbo 在开篇就定下了基调： 多模态感知绝对不能只是一个辅助接口，它必须成为模型推理、规划、工具调用和任务执行的原生核心组件。 因此，为了实现真正的 “原生”，智谱这次在底层架构上动了三次大手术： 1.重构视觉底座：专为Agent而生的CogViT 智能体需要操控用户的电脑，因此在图形用户界面中，模型不仅要知道图片里有什么，还要关注各种容易被忽视的细节，哪怕一个长宽可能只有几个像素的按钮。 为此，智谱自研了一套高参数效率的视觉编码器 CogViT ，并采用两阶段的预训练： 第一阶段是特征重构，两个教师模型中， SigLIP2 负责让模型识别语义， DINOv3 负责让模型识别纹理，最后通过掩码图像建模增强模型视觉特征的表达； 第二阶段是图文对齐，通过引入 NaFlex 方案来处理动态分辨率，将全局的 Batch Size 直接提升至 64K 。 这种设计方式直接将智谱新模型的空间感知和几何理解能力拉满，也为后续操控网页和手机 UI 打下了基石。 2.工程与算法的平衡：多模态多Token预测（MMTP） 多模态能力的引入，必然伴随着显存和算力消耗的指数级膨胀。 关注 AI 领域的开发者应该都知道，智谱近半年来算力储备并不宽裕，此前引发激烈讨论的价格调整已经侧面印证了在大规模推理面前，算力成本 就是一个黑洞 。 引入多 Token 预测（ MTP ）以提升推理效率是业内普遍使用的做法，不过智谱在引入 MTP 时，采用了一个教科书级别的工程决策： 直接把包含大量信息的视觉特征直接传给 MTP 预测头不可行，那就采用一个共享的特殊 token “ <|image|> ”作为视觉输入的占位符。 看似简单的改动，其实最符合 “工程实用主义”。它大幅降低了流水线并行中的通信复杂度，直接避免了显存爆炸这个让人头疼的问题。 除此之外，在保证模型收敛稳定的前提下，这个 “巧思”还能极大降低训练和推理的算力成本。 3.破除长尾魔咒：超大规模多模态强化学习系统 目前，智能体的训练思路与大语言模型本质上并无区别，使用的仍然是强化学习。 但是，在智能体的训练过程中，单任务强化学习很容易让模型陷入震荡。 而智谱的研究团队发现，多任务协同强化学习能够让模型见识到更丰富的策略分布，甚至出现跨任务的思维模式迁移。 因此，智谱在超过 30 个任务类别上进行了联合强化学习，并在基础设施上实现全流水线解耦和异步执行。他们不仅将视觉切分这个环节从前向传播阶段提前至数据加载阶段，还对 GPU 之间的通信做出了极致的内存管理。 02 从 API分发到工作流接管的范式转移 技术的底层重构，最终指向的永远是商业变现逻辑的跃迁。 GLM-5V-Turbo 展现出的多模态深度研究能力，正在预示着智谱 AI 应用的两点商业变局： 一是用多模态深度研究打破传统文本 SaaS 的壁垒。 对于此前大部分 AI 助手，大多只能阅读纯文本内容。即便是允许用户上传图片、视频、 PDF 等附件，一旦其中包含的非文本信息过多， AI 的识别能力就会断崖式下降。 然而， GLM-5V-Turbo 能够自主循环执行“规划→多模态阅读→状态更新”这套工作流，直接解析各种图表、文档、 PPT 中的高价值视觉信息，直接交付 Markdown 商业报告和高度结构化的幻灯片。 在这一点上，智谱的路线与昨天发布 Claude for Microsoft 365 、单刀直入杀进微软生态的 Anthropic 几乎完全相同。 因此，传统的信息检索工具必然会面临降维打击。当 AI 能够端到端交付包含数据可视化的成品报告时，按 token 计费的模式也会逐渐走向“按交付项目计费”的商业模式。 二是 Agent 终极形态将会是模型（ Model ）与载具（ Harness ）的共生。 智谱的技术报告中给出了一个很有启发性的观点： 系统的能力边界不再由模型单方面决定，而是由模型与它周围的框架（ Harness ）共同塑造的。 作为国产模型的领头羊之一，智谱官方也在不断提供更为丰富的工具链（ Official Skills ），并且与行业标准框架 Claude Code 和 Auto Claw 均实现了无缝集成。 事实上，智谱早已清晰地认知到，单靠自己一家 AI 初创公司几乎不可能创造出像 Google 一般的强大生态。与其孤注一掷，不如让 Claude Code 和 AutoClaw 这些善于处理终端和文件逻辑的全球通用工具成为自己操作计算机的灵巧手。 此前人们期待的 “全能大模型”神话，如今已经接近破灭，强如 OpenAI 也无法仅靠大语言模型实现 AGI 。未来的护城河必将转移到模型能力与外部工具的深度耦合。 毕竟，作为付费主力的 B 端企业从来都不需要一个什么都能聊的机器人，而是需要一台能够直接无缝融合进已有系统的认知驱动引擎。 03 血泪史：智能体研发的三条定律 智谱的这次技术报告发布之所以与众不同，是因为研究团队在报告末尾非常罕见且坦诚地分享了他们在研发过程中总结的设计视角。 这份用无数算力和通宵加班换来的 “避坑指南”，远比开源的模型和技术要宝贵，而且对整个 AI 行业来说都有极高的价值。 首先，千万不要好高骛远，底层感知才是决定模型天花板的基石。 最近一年来， AI 行业逐渐形成了一种风气，所有产品发布时总会带上“深度思考”、“自我反思”、“长逻辑规划”这些标签，仿佛只有贴上这些标签的才是高级的 AI 。 然而，在用户的反馈中其实不难发现，这些高大上的标签并没有在具体的应用场景中得到落实。 智谱在实践中发现，很多看似高级的规划最终失败，并不是过程中细枝末节的错误积少成多，而是模型在第一步就开始 “盲人摸象”。或是没看清细微的 UI 元素，或是搞错了按钮的