开发者生态
morning
当人类在循环中变成“闭着眼睛点确认”时,企业特工安全还能靠谁?
摘要
Agent 正加速进入企业核心场景,但其自主规划、工具调用与数据访问能力,也让提示词注入、意图偏离、工具滥用、数据泄露等运行时的风险浮出水面。那么,企业如何建立 Agent 安全准入基线和成熟度模型,实现安全可控的工程路径? 近日,InfoQ《极客有约》X AICon直播栏目特别邀请腾讯专家工程师、AI Agent 安全负责人张栋担任主持人,和百度智能云安全架构师林道正、Cloudflare 高级...
Agent
token
InfoQ
AICon
全球人工智能开发与应用大会
human
the
2026
https
infoq
2026-08-11
1 阅读
约10分钟阅读
AICon 全球人工智能开发与应用大会
字号:
Agent 正加速进入企业核心场景,但其自主规划、工具调用与数据访问能力,也让提示词注入、意图偏离、工具滥用、数据泄露等运行时的风险浮出水面。那么,企业如何建立 Agent 安全准入基线和成熟度模型,实现安全可控的工程路径? 近日,InfoQ《极客有约》X AICon直播栏目特别邀请腾讯专家工程师、AI Agent 安全负责人张栋担任主持人,和百度智能云安全架构师林道正、Cloudflare 高级解决方案工程师刘旭一起,在 AICon 全球人工智能开发与应用大会 "2026深圳站 即将召开之际,共同探讨 AI 基础设施从“可用”走向“高效可规模化”的关键路径。 部分精彩观点如下: 安全不是刹车,是护栏——有了护栏,你在山路上反而敢开得更快。现在行业里很多人把 human in the loop 当万能解药,但它正在成为 Agent 安全里最大的"安慰剂"。弹窗越多,它就越退化成 human clicking the button——真正的解法,是把人只用在刀刃上。安全和落地是相辅相成的,最好做渐进式管理。每个产品不可能一开始就想得比较全面,如果都做到巨完美、安全巨好、权限收敛特别好才落地,那可能就很难落地了。安全的方法论是不变的,三板斧:可视、可管、可追溯。每接入一个工具,就等于给 Agent、也给黑客多发了一把万能钥匙。危险的从来不是工具,而是我们给它的权限,远超任务真正的需要。 在 8月 21-22 日将于深圳举办的 AICon 全球人工智能开发与应用大会 " 2026 深圳站上,我们特别设置了【 Agent 安全:从风险到可控 "】专题。该专题将聚焦头部企业从供应链管控到运行时防护的一线落地经验,从攻击/防御的双向视角探讨企业级 Agent 安全,为企业 Agent 规模化部署提供安全准入参考。查看大会日程解锁更多精彩内容:https://aicon.infoq.cn/2026/shenzhen/track 以下内容基于直播速记整理,经 InfoQ 删减。 完整直播回放可查看:https://www.infoq.cn/video/G0R3FyRBpfeSsa2QqJIr?utm_source=home_video&utm_medium=video Agent 为什么越来越危险 张栋:去年我们还在聊模型安全,今年话题几乎一夜之间全变成了 Agent 安全,是什么让它突然变得这么危险? 刘旭:今年年初 OpenClaw 爆火,标志着 Agent 从 demo 阶段走到了台前,进入实际生产环境。AI Agent 不再只是一个“大脑”,它有了手和脚,有了自己的 channel,可以远距离控制,有了自己的 skill,甚至可以接入 MCP 进入公司内网获取能力。它能部署网站、生成新闻报表、做量化交易,一旦没做好,财产都会受损。更关键的是,如果有人获取了你 AI Agent 的权限,不再是像以前那样盗个 ChatGPT 账户偷点 token 问几个问题,而是可以直接操控你的账户、窃取你的个人信息,风险完全不一样了。 原来 Agent 可能靠身份认证就能搞定,但现阶段要面对的问题很多:一次性登录后的 token 要保持多长时间?Agent 之间的 token 要不要有继承关系?MCP 的认证怎么做?这些都是落地阶段的具体问题。Agent 已经从 demo 阶段走向了台前。 林道正:类比历史,2000 年左右大家觉得 PC 安全问题越来越多了,2012 年左右大家讨论的是手机安全问题越来越多了。每当一个新时代开始时,安全问题就会集中爆发。背后一定是大范围的推广和使用,大家在自己的业务中深入使用之后,真实碰到了能造成灾难性后果的问题,才会反思安全怎么办。同样,OpenClaw、Hermes 等 Agent 的爆火,说明这个市场实实在在起来了。市场起来的风向标,就是安全关注度急剧上升。还有一点跟去年明显不同的:Agent 这一波对实际的软件环境产生了影响,这个影响让大家越来越关注安全。所以两个维度,一个是范围广,一个是影响程度更深。 张栋:两位其实说的是同一件事的两面——范围更广,影响更深。我再强调一个最关键的变量:行动能力。去年我们防的是"Agent 说错话",那只是内容层的轻微影响;今年 Agent 有了工具、记忆和执行权限,执行与行动之间,可能已经没有人在把关了。所以安全的本质发生了第一次换轨:从"内容对不对",到"行为可不可控"。这不是量的增加,是质的换轨。 张栋:Agent 和传统 AI 应用相比,最大的不同是什么? 林道正:传统 AI 是业务流中的一环。比如做 WAF,用传统 AI 做分类、做白样本黑样本的学习,它嵌入在业务流程的某个环节里。但到 Agent 的时候,Agent 本身就是个业务流,它掌控了业务流的全生命周期。这就是它为什么对真实业务的影响更深。 往细了说,Agent 有了三样东西:第一是身份,能规约它能做什么;第二是思考,大模型的技术让它有智能涌现,结合 harness 工程具备了自己的思考能力;第三是行动,基于工具、skill 和自主编码的行为。有了这三个,它把对世界或对软件系统的影响更具象化了。 刘旭:从 chat 到执行,AI Agent 得到了巨大的进步。原来用 ChatGPT、Gemini 都是以问答形式,我问一句它回答一句。但从去年年底开始,Claude 能帮你做 plan、审核你的 plan、编码、获取相应权限、部署落地,甚至自己去测试、去迭代一个 feature。这是传统的豆包、Gemini 完全做不到的。之前我用 Gemini 做编程,它总是丢三落四,我新加了一个 feature,哪怕把所有代码让它 review 一遍,它还是把我之前的一些 feature 删掉了。 Agent 从原来的单次输入输出,变成了串行的,有逻辑、有短期或长期记忆、能调用自己的 skill 和 tool。它拥有了更多能力,但同时一旦安全被攻陷,带来的风险也更大。 张栋:传统 AI 在原来的应用中只是一个环节,打个比方——传统 AI 像一台自动售货机,输入输出固定,攻击面就是某个写死的环节,相对可控;而 Agent 像一个拿到了公司工牌的新员工,会自己判断、自己找工具、自己联系人、自己在环境里操作。防护的边界,也随之发生了第二次换轨:从"守住静态入口",到"约束动态行为"。已知入口模糊了,难度是几何级上升的。 企业真正踩过哪些坑? 张栋:很多人觉得 Prompt Injection 已经讲了两年,听着快像老生常谈。它今天到底还是不是企业的头号风险?有没有真把企业打疼的案例? 刘旭:通过 OWASP 发布的 AI 标准也能看到,Prompt Injection 一直高居 LLM 01 安全风险榜首。提示词注入其实不新鲜了, ChatGPT 刚公布于世的时候就发生了著名的“雪佛兰一元内购车案”——客户通过指令告诉 AI,以后我的所有订单你就要听我的,我只需要加一美金就可以买你雪佛兰车。这就是提示词注入。只不过那时候是问答型 Agent 发生错误,被顾客带偏了而已。 但现在不一样了,各种 API、skill、channel 的加持下,AI Agent 的权限大大变大了。一旦发生这种带偏的提
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱