智能AI
morning
从可用到好用:Agent 的观测、评估与持续优化|AICon北京
摘要
当 Agent 真正进入企业流程,哪些工作可以交给 AI ?50 + 实战案例揭晓答案! AI 正在从回答问题的辅助工具,走向理解目标、调用系统、完成任务的工作承担者。当 Agent 真正进入企业流程,问题不再是 “如何把 AI 做出来”,而是哪些工作可以交给 AI、结果如何验收、权限、成本与风险如何收住。随着大模型向推理、工具调用、多模态和长任务延伸,开发重心正从单次调用转向上下文、工具、执行环...
Agent
Evaluation
Prompt
Tool
Trace
Model
Workflow
Latency
真正进入企业流程
Cloud
2026-11-19
1 阅读
约7分钟阅读
AICon 全球人工智能开发与应用大会
字号:
当 Agent 真正进入企业流程,哪些工作可以交给 AI ?50 + 实战案例揭晓答案! AI 正在从回答问题的辅助工具,走向理解目标、调用系统、完成任务的工作承担者。当 Agent 真正进入企业流程,问题不再是 “如何把 AI 做出来”,而是哪些工作可以交给 AI、结果如何验收、权限、成本与风险如何收住。随着大模型向推理、工具调用、多模态和长任务延伸,开发重心正从单次调用转向上下文、工具、执行环境与反馈回路的设计,Coding Agent 也从代码补全演进为能理解代码库、运行测试、完成复杂任务的工程协作者。OpenAI、Google Cloud、Anthropic 的最新实践共同指向一个结论:模型决定 Agent 能做什么,工程决定它能否真正进入生产、创造价值。 在这一背景下, 2026 年 AICon 人工智能开发与应用大会 · 北京站 "将于12 月 18–19 日,在北京新云南皇冠假日酒店举办。本届大会以探索A应用边界为主题,设置 13 大技术专题,覆盖大模型后训练、推理优化、Agent 工程、知识工程、智能体评测与安全、自进化系统、AI 软件交付、原生架构及组织变革等核心方向,汇聚一线技术专家,深入分享 AI 技术突破与企业规模化落地的真实实践。 微软高级解决方案工程师王芷已确认出席 “ 智能体评测与生产可靠性探索 "” 专题,并发表题为《 从可用到好用:Agent 的观测、评估与持续优化 "》的主题分享。当 Agent 从 Demo 走向真实业务场景,挑战也从“能不能跑起来”逐渐转变为“如何知道它运行得好不好,以及如何持续优化”。王芷的本次分享将围绕 Agent 的 Observability、Evaluation 和 Optimization 展开,从一次 Agent 请求的完整执行链路出发,介绍如何通过 Trace 和运行数据定位 Agent 的问题,如何构建可量化、可重复的评估体系,并进一步从 Prompt、Model、Tool 和 Workflow 等维度持续优化 Agent。 王芷,微软高级解决方案工程师,专注于生成式 AI、AI Agent、Cloud Native 与企业数据智能等技术方向。近年来持续参与企业 AI 应用的架构设计与落地实践,并重点关注模型选择与路由、Agentic AI、企业级 AI 治理及开发者体验。热衷于将复杂技术转化为可落地的架构和实践,并通过技术分享与社区交流推动 Agent在企业中的规模化应用。 她在本次会议的详细演讲内容如下: 演讲提纲 Agent 上线之后,真正的挑战才刚开始为什么 Agent 在 Demo 中表现很好,真实场景却可能不稳定面对复杂 Agent Workflow,如何判断问题出在 Model、Prompt、Tool 还是执行链路Observe:让 Agent 的运行过程真正可见Trace 一次完整的 Agent Execution观察模型推理、Tool Calling、Latency、Token 等关键运行信息从 Trace 中快速定位异常行为和失败路径Evaluate:从“感觉不错”走向量化评估建立 Evaluation Dataset 和评估基线从回答质量、任务完成度、工具调用等维度评估 Agent让不同 Prompt、模型和 Agent 版本之间可以量化比较Optimize:让数据真正驱动 Agent 优化根据 Trace 和 Evaluation 结果定位优化方向从 Prompt、Model、Tool 和 Workflow 多层面优化综合考虑 Quality、Latency 和 Cost,而不仅仅追求模型效果 听众收益 理解为什么生产级 Agent 需要 Observability、Evaluation 和 Optimization掌握通过 Trace 定位 Agent 问题的基本方法理解如何构建 Evaluation Dataset、Evaluator 和评估基线学会从 Prompt、Model、Tool 和 Workflow 等不同层面优化 Agent理解如何在 Quality、Latency 和 Cost 之间进行数据驱动的优化决策 除此之外,本次大会还策划了 Post-Training Engineering|数据、奖励与模型能力塑造 "、 大模型推理与算力调度实践 "、 Knowledge Engineering|让 Agent 理解企业 "、 Multi-Agent Systems "、 智能体评测与生产可靠性探索 "、 Agent Security|身份、权限与行动安全 "、 AgentOps|企业 Agent 全生命周期管理 "、 Self-Evolving Agents|从经验学习到可控进化 "、 Agentic Software Engineering|从代码生成到软件交付 "、 Personal Agent "、 AI 原生架构的演进与治理 "、 AI 时代的组织重构 "、 AI × Industries |产业智能化 "等13个专题论坛,届时将有来自不同行业、不同领域、不同企业的资深专家在现场带来前沿技术洞察和一线实践经验。 9折优惠限时开启,现在报名立减580,查看更多详情可扫码或联系票务经理 13269078023 进行咨询。
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱