开发者生态
morning
基于昇腾算力的大模型推理加速研究与实践|AICon北京
2026-11-18
1 阅读
约7分钟阅读
AICon 全球人工智能开发与应用大会
字号:
当 Agent 真正进入企业流程,哪些工作可以交给 AI ?50 + 实战案例揭晓答案! AI 正在从回答问题的辅助工具,走向理解目标、调用系统、完成任务的工作承担者。当 Agent 真正进入企业流程,问题不再是 “如何把 AI 做出来”,而是哪些工作可以交给 AI、结果如何验收、权限、成本与风险如何收住。随着大模型向推理、工具调用、多模态和长任务延伸,开发重心正从单次调用转向上下文、工具、执行环境与反馈回路的设计,Coding Agent 也从代码补全演进为能理解代码库、运行测试、完成复杂任务的工程协作者。OpenAI、Google Cloud、Anthropic 的最新实践共同指向一个结论:模型决定 Agent 能做什么,工程决定它能否真正进入生产、创造价值。 在这一背景下, 2026 年 AICon 人工智能开发与应用大会 · 北京站 "将于12 月 18–19 日,在北京新云南皇冠假日酒店举办。本届大会以探索A应用边界为主题,设置 13 大技术专题,覆盖大模型后训练、推理优化、Agent 工程、知识工程、智能体评测与安全、自进化系统、AI 软件交付、原生架构及组织变革等核心方向,汇聚一线技术专家,深入分享 AI 技术突破与企业规模化落地的真实实践。 华为高级技术专家,人工智能科学家杨浩已确认出席 “ 大模型推理与算力调度实践 "” 专题,并发表题为《 基于昇腾算力的大模型推理加速研究与实践 "》的主题分享。本次演讲,杨浩以 AI Coding 长上下文场景为牵引,分析昇腾推理面临的四大核心挑战:算力利用率低、KV Cache 开销大、首 Token 延迟高以及多卡通信瓶颈,并围绕吞吐、时延、显存占用和 MFU 等关键指标展开系统性优化。 本次分享将沿着「研究 + 实践」两条主线展开:研究部分聚焦推理性能瓶颈分析与下一代算力演进;实践部分重点介绍基于 A3 平台的 Infra 调度优化,以及 TurboQuant 算子的工程落地,结合具体技术方案与实践收益,完整呈现从问题分析、技术优化到效果验证和未来展望的全过程。 杨浩,华为高级技术专家,人工智能科学家,北京邮电大学通信与信息系统博士,师承两院院士陈俊亮老师,在搜索推荐和机器翻译等人工智能相关领域有十年以上研发经验。有 10+ICLR/ICASSP 等顶会论文和国内外专利,带领团队获得 WMT/WAT NEWS/DOMAIN/QE/APE 冠军。 他在本次会议的详细演讲内容如下: 演讲提纲 AI 推理性能现状与目标AI Coding 长上下文场景最能放大访存、通信、显存瓶颈,长序列下 KV 随上下文线性膨胀。以模型量化(W4A8)和 KV Cache 量化为基础手段,目标是提吞吐、降 TTFT、压显存。昇腾推理 Infra 加速实践以昇腾 A3 为主力算力,落地 PD 分离、投机推理、动态批处理,并通过分级 KV 缓存与多卡并行调度,实现通信计算重叠。在并发与时延间找最优配比,给出 A3 实测数据在 精度不变的前提下,摸高场景取得收益:1M 长序列请求,并发数从 4 提升到 10,提升 2.5 倍CANN 融合算子加速实践核心是 TurboQuant:基于 Hadamard 旋转域量化,实现权重近优量化与 KV 3~4bit 压缩。用 CANN/Ascend C 融合算子链,消除中间 buffer、减少 kernel 调度,算子随 CANN 商发、vLLM-Ascend 主版本落地在精度不变的前提下,业务场景取得收益:3P1D 架构下,TPOT 维持 30ms、TTFT 控制在 10s 以内,吞吐提升 3 倍 +下一代昇腾与异构算力思考结合昇腾 950 的应用进展,介绍其代际算力提升与适配。进一步探索异构算力池化、训推一体与近存互联,支撑复杂 Agent 和超大模型场景 听众收益: 理解 AI Coding 长上下文场景下,算力利用率、KV Cache、首 Token 延迟及多卡通信等核心瓶颈,了解 PD 分离、投机推理、动态批处理、分级 KV 缓存等 Infra 优化技术,以及它们在吞吐、时延和显存优化中的应用理解低比特量化、KV Cache 压缩与融合算子的优化思路,掌握从算法设计、算子开发到推理框架集成的关键路径,并通过 A3 平台实测案例了解相关技术在长上下文场景中的性能收益 除此之外,本次大会还策划了 Post-Training Engineering|数据、奖励与模型能力塑造 "、 大模型推理与算力调度实践 "、 Knowledge Engineering|让 Agent 理解企业 "、 Multi-Agent Systems "、 智能体评测与生产可靠性探索 "、 Agent Security|身份、权限与行动安全 "、 AgentOps|企业 Agent 全生命周期管理 "、 Self-Evolving Agents|从经验学习到可控进化 "、 Agentic Software Engineering|从代码生成到软件交付 "、 Personal Agent "、 AI 原生架构的演进与治理 "、 AI 时代的组织重构 "、 AI × Industries |产业智能化 "等13个专题论坛,届时将有来自不同行业、不同领域、不同企业的资深专家在现场带来前沿技术洞察和一线实践经验。 9折优惠限时开启,现在报名立减580,查看更多详情可扫码或联系票务经理 13269078023 进行咨询。
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱