ZGCM-1：完全开放且极其高效的数学和代理搜索基础模型

arXiv:2609.13356v1 公告类型：新 摘要：在这项工作中，我们提出了 ZGCM-1，一个完全开放的 7B 密集基础模型，从头开始训练，具有极高的数据、系统和算法效率。 ZGCM-1 建立在一个核心前提之上：紧凑模型不能被动地记忆开放网络，而是可以通过将深思熟虑的内部思维与主动的外部工具使用相结合来克服参数容量限制。为了在 256K 环境中支持这种范式，我们开发了一种端到端、高效的开放训练方法：架构与系统协同设计：交错门控滑动窗口和充分关注，以及稳定的 FP8 Muon 优化器；渐进式课程和 MDP 中期培训：跨 16K、64K 和 256K 的上下文扩展，以及将交互轨迹重新表述为马尔可夫决策过程。此外，我们建立了人工智能原生研发工作流程，其中代理群自主管理集群操作、数据管理和快速诊断评估。广泛的评估表明，ZGCM-1-7B 在一般基准测试中在 7B 型号系列中具有竞争力。在几个具有挑战性的数学推理和代理搜索套件上，它与大数量级的前沿模型（例如 Qwen3-235B-A22B 和 GLM-5.1）相比仍然具有竞争力。我们还表明，我们的预训练设计在 16K 预训练损失时间方面提供了约 4.2 倍的效率提升。在整个开发生命周期中，我们提炼出了八个可操作的实证结果——涵盖架构扩展、SFT 质量修剪、长上下文泛化和代理协同训练动态。为了促进社区研究，我们开源了训练前、训练中和训练后阶段的模型权重、中间检查点、训练代码、每阶段数据和数据配方以及 W&B 日志。