蚂蚁百灵开源 Ling-3.0 tiny / flash Base 模型，开放训练过程中的关键节点

IT之家8月21日消息，蚂蚁百灵已于本月陆续开源了Ling-3.0-tiny和Ling-3.0-flash模型。官方昨日宣布，将Ling-3.0-tiny-base与Ling-3.0-flash-base正式开源，除最终基地检查点外，并同步开放两个模型的预训练和远程训练的权重检查点，共计6个检查点。预训练检查点：已完成大规模预训练，尚未进行中期训练、WSM 中期训练和后期；中期训练检查点 ：已完成中期训练，尚未进行 WSM 中期训练和后期； WSM 中期检查点 ：已基于中期训练检查点完成 WSM 中期训练，尚未进行后期训练。适合用于持续预训练、领域定向训练、用户偏好优化、强化学习后、后续，以及长上下文和教育部系统研究。特别说明的是，基础模型尚未完成指示的聊天模型。我们不建议后训练便直接将其配置为面向后续的聊天服务，也不建议首先额外关注并评估安全型应用。任何使用都应完成面向具体任务生产的后训练、评估与验证。在中止训练结束后，官方将传统学习率衰减改写为检查点加权浓度，即WSM（Warmup-Stable and Merge）。由于没有了学习率衰减，该基础模型更适合持续训练预和动态扩展数据，且支持训练后离线探索不同的学习率“增益曲线”。其中，Ling-3.0-tiny-base（总参数7.9B，激活参数1.3B）较前代50% Ling-3.0-flash-base（总参数 124B，激活参数 5.1B）具备更及时的参数充足与稀疏激活设计，为下一阶段和团队提供了一个可继续开发、扩展并视觉真实场景的开放基础。在接下来的情节中，模型在复杂推理和长纵向方向表现突出。 2–3倍的基础模型，模型的整体表现仍具优势。 IT之家附开源链接如下： Ling-3.0-tiny Hugging Face： https://huggingface.co/inclusionAI/Ling-3.0-tiny-base https://huggingface.co/inclusionAI/Ling-3.0-tiny-base-30T https://huggingface.co/inclusionAI/Ling-3.0-tiny-base-midtrain 模型范围： https://www.modelscope.cn/models/inclusionAI/Ling-3.0-tiny-base https://www.modelscope.cn/models/inclusionAI/Ling-3.0-tiny-base-30T https://www.modelscope.cn/models/inclusionAI/Ling-3.0-tiny-base-midtrain Ling-3.0-flash 抱脸： https://huggingface.co/inclusionAI/Ling-3.0-flash-base https://huggingface.co/inclusionAI/Ling-3.0-flash-base-30T https://huggingface.co/inclusionAI/Ling-3.0-flash-base-midtrain 模型范围： https://www.modelscope.cn/models/inclusionAI/Ling-3.0-flash-base https://www.modelscope.cn/models/inclusionAI/Ling-3.0-flash-base-30T https://www.modelscope.cn/models/inclusionAI/Ling-3.0-flash-base-midtrain 相关阅读： 《蚂蚁百灵开源 Ling-3.0-tiny 模型，支持英伟达 DGX Spark、苹果 Mac mini 部署》 《蚂蚁集团百灵开源 Ling-3.0-flash》型号：124B总参数、5.1B激活参数》