首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 汽车 游戏 社会热点 开源推荐 医疗健康 归档 标签 关于

Altum:蚂蚁集团新一代大模型训练数据处理系统设计与实践|QCon上海

摘要

从「构建 AI」到「驾驭 AI」,100+ 实战案例拆解 AI Native 时代的工程新实践! 推理模型持续突破能力边界,Coding Agent 深度参与研发流程,Agent Runtime、Agent Framework 快速演进……AI 正在从回答问题的模型,演变为能够自主规划、调用工具、执行任务的软件系统。AI 不再只是软件中的一个能力,而开始成为软件系统的一部分。这意味着软件工程面对的...

Agent Infra Altum Apache Native Coding Data GPU Runtime Loop
2026-09-21 1 阅读 约7分钟阅读 QCon全球软件开发大会
分享:
字号:
从「构建 AI」到「驾驭 AI」,100+ 实战案例拆解 AI Native 时代的工程新实践! 推理模型持续突破能力边界,Coding Agent 深度参与研发流程,Agent Runtime、Agent Framework 快速演进……AI 正在从回答问题的模型,演变为能够自主规划、调用工具、执行任务的软件系统。AI 不再只是软件中的一个能力,而开始成为软件系统的一部分。这意味着软件工程面对的挑战也发生了变化:团队需要思考的不再只是如何训练模型、模型、部署模型 或优化 Prompt,而不是如何让具备自主能力的 AI 稳定、可信、可控地运行。模型决定 AI 能做什么,系统决定 AI 能否真正创造价值。 在这一背景下, 2026 年 QCon 全球软件开发大会大会 · 上海站 "正式启动。本次大会将于 10 月 22 日—24 日举办,聚焦 Harness AI 时代的工程实践,围绕 AI Native 架构、Agent Runtime、AI Infra、Data Systems、Agent 安全与可观测、Loop Engineering、Vibe Coding、具身智能与世界模型、端云协同等前沿技术方向,邀请全球技术社区与产业一线的实践者,系统性分享前沿洞察与实战经验,共同探索 AI 从能力到系统、从实验到生产的真实路径。 蚂蚁集团 & 大模型训练数据处理系统 Altum 技术负责人王鑫已确认出席 “ AI Infra:算力效率决定规模化落地 "” 专题,并发表题为《 Altum:蚂蚁集团新一代大模型训练数据处理系统设计与实践 "》的主题分享。在大模型训练数据规模持续提升、模型迭代效率持续加快的背景下,业界在模型数据处理的 GPU 效能、任务稳定性、数据交付时效等方面面临巨大挑战。蚂蚁通过新一代大模型训练数据处理系统 Altum 的建设,尝试系统化解决这些问题。本次分享将重点介绍在性能、稳定性、效率等方面提升的关键技术策略和背后的思考与取舍,以及业务生产实践案例。 Apache Member(Apache 软件基金会成员),多个 Apache 顶级项目的 PMC Member、Committer,多个 Apache 孵化器项目的 Mentor。蚂蚁集团新一代大模型训练数据处理系统 Altum 技术负责人、实时智能技术负责人。加入蚂蚁集团前曾就职于阿里巴巴,并参与大数据领域早期创业。具备数据智能领域引擎、平台、数据解决方案的复合背景,当前重点关注 AI Data Infra 的建设。 演讲提纲:背景业界、蚂蚁在大模型训练数据处理上面临的挑战;整体方案涵盖算力、引擎、平台、数据等多个层次的体系化方案;极致性能优化异构算力融合调度:向上兼容不同算子体系、向下支持多种算力类型,提升全局资源利用率;基于数据湖存储 Paimon 的端到端升级:从数据采集到模型训练消费的端到端优化,提升存储与网络 IO 性能;算子性能优化与增量计算(全局去重、样本重试、增量同步等),提升 GPU 计算性能;稳定性提升样本级重试、端到端可观测与 SLA 保障、熔断保护机制、智能运维诊断;研发效率提升端到端场景化 Pipeline:场景化研发范式、增强能力(节点、算子)、人机协同研发;Agentic 数据处理:支持逐条数据的多轮 Agent 处理;生产实践与未来展望在阿福、百灵等内部场景的落地效果;AI Data Infra 发展方向。实践痛点:跨引擎调度的统一抽象 vs 引擎特有能力损失:不同引擎的统一在一定程度上牺牲了各引擎的独有优化,需要在统一对齐上做 tradeoff,做不到「零损失抽象」;样本级重试的降本空间 vs 幂等约束与熔断阈值的平衡难题:只重跑失败样本能根治「全量重跑烧 GPU」,但失败熔断阈值在「误杀抖动」与「无效烧卡」之间难以平衡。前沿亮点:「高失败率、低吞吐、高交付时长」三角困局下的体系化解法;从全局资源利用率、存储与网络 IO、计算性能全方位的极致性能优化;场景化、Agentic 方式的 AI 数据研发新范式。听众收益:了解大模型背后训练数据处理的全链路;掌握全链路数据处理背后的关键技术挑战与系统性解法;获得真实业务场景下的落地路径。 除此之外,本次大会还策划了 Loop Engineering "、 千行百业 Agent 创新实践 "、 Agent 自主进化:从记忆到持续学习 "、 Agent as a Service "、 Vibe Coding 时代的新质量债 "、 理性驾驭 AI 的 SRE 可靠性工程 "、 金融 AI Native工程实践:从研发提效到业务破局 "、 AI Infra:算力效率决定规模化落地 "、 AI Native 架构 "等20个专题论坛,届时将有来自不同行业、不同领域、不同企业的100+资深专家在现场带来前沿技术洞察和一线实践经验。 QCon 全球软件开发大会·2026(上海站)现已正式启动。本届大会聚焦 Harness AI 时代的工程实践,从「构建 AI」到「驾驭 AI」,围绕 AI Native 架构、Agent Runtime、AI Infra、Agent 安全与可观测、Loop Engineering、具身智能与世界模型 等热门技术方向,邀请全球技术社区与产业一线实践者,共同分享 AI Native 时代最具价值的工程经验。9折倒计时进入最后一周,现在报名立减680,查看更多详情可扫码或联系票务经理 18514549229进行咨询。
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱