安全攻防
morning
USENIX Security 2026|上海创智学院×复旦大学给智能体装上轨迹「安全规则审计员」:让Agent的行动可审计、可解释
摘要
智能体时代,安全研究不仅要关心模型说了什么,现在还必须进一步回答:它做了什么、为什么这么做,以及这次的执行轨迹是否越过了当前场景明确规定的安全边界。 2026 年 5 月 8 日,国家网信办、国家发展改革委、工业和信息化部联合印发《智能体规范应用与创新发展实施意见》,明确提出发展 「规则内嵌、行为围栏」 等技术,探索建立重要场景下智能体行为 可验证、可追溯 机制,并研究智能体安全检测技术与安全评估...
MATE
Agent
GUI
https
github
App
2026
自然语言安全规则
风险类别
Security
2026-10-08
1 阅读
约10分钟阅读
机器之心
字号:
智能体时代,安全研究不仅要关心模型说了什么,现在还必须进一步回答:它做了什么、为什么这么做,以及这次的执行轨迹是否越过了当前场景明确规定的安全边界。 2026 年 5 月 8 日,国家网信办、国家发展改革委、工业和信息化部联合印发《智能体规范应用与创新发展实施意见》,明确提出发展 「规则内嵌、行为围栏」 等技术,探索建立重要场景下智能体行为 可验证、可追溯 机制,并研究智能体安全检测技术与安全评估体系。此外,NIST 启动 AI Agent Standards Initiative,OWASP 也发布 Agentic Applications Top 10。「智能体能否被持续评估、被规则约束、被事后审计」,正在成为走向真实应用的一项基础能力。 近日, 上海创智学院与复旦大学团队提出针对智能体轨迹安全评估新方案 MATE, 首个面向移动 / GUI 智能体的执行轨迹进行 「规则感知」 安全审计模型。MATE 不是给智能体执行轨迹简答打一个 “安全 / 不安全” 的标签,而是把 自然语言安全规则 直接作为输入,与指令、轨迹进行联合建模,同时输出 风险类别 和 基于规则证据的审计解释。 目前该工作已发表于国际网络安全顶级学术会议 USENIX Security 2026 。 论文标题:MATE: Policy-Aware Security Auditing for Mobile Agents via Synthesis-Driven Trajectory Learning 论文链接:https://www.usenix.org/system/files/usenixsecurity26-jiang-changyue.pdf 项目主页:https://jiangchangyue.github.io/MATE github 链接:https://github.com/jiangchangyue/MATE 模型链接:https://huggingface.co/fgdrg/MATE-3B 当 GUI Agent 真正开始「动手」,为什么安全审计必须看整条轨迹? GUI Agent 会真正操作设备:打开应用、点击按钮、读取页面、转发消息、下载文件、跨 App 搬运信息,在多个步骤之后才产生最终结果。单个步骤操作可能都是安全的,风险不再集中在某一次输出,而可能藏在一整条「感知 — 决策 — 执行 — 反馈」的行为链中。 更麻烦的是,GUI 行为本身往往缺少明确语义。同样是一次 click、type 或 swipe,在不同 App、不同页面状态、不同用户目标和不同规则下,含义可能完全不同。一个「点击链接」的动作,可能只是打开正常网页,也可能进入恶意下载页面;一次「转发消息」,可能是完成用户授权的分享,也可能让 Agent 成为诈骗或恶意内容的传播中继。真正决定风险的,是动作所处的上下文。 现有智能体轨迹级安全审计方法大致面临两类限制:一类依赖静态规则或模式匹配,便宜直接,但难以覆盖长轨迹中的上下文语义;另一类使用通用大模型作为 Judge 更灵活,理解能力更强,却往往推理成本更高、延迟更大,而且把完整轨迹发送到外部模型还可能带来新的隐私暴露。更重要的是,这两类方案都很难同时做到 「规则可定制、跨应用泛化、结果可解释」。 MATE:给移动智能体装上一位「读规则、看全程」轨迹审计员 MATE 的核心思路很直接:把 「任务指令 + 执行轨迹 + 自然语言安全规则」 一起交给专门训练的轻量审计模型,让模型判断这条轨迹是否违反给定规则,并进一步输出 风险类别和审计理由。 这里最关键的一点,是「安全规则」没有被写死在模型参数里,而是作为可编辑文本的形式存在,用户可以根据场景需求自定义安全边界。换句话说,MATE 更像一个面向智能体轨迹的 「规则解释器」: 同一条行为轨迹,在不同安全规则下可以得到不同结论;应用方更新策略、组织调整权限边界、用户增加个人约束时,不需要为了更新安全规则改变了安全边界而重新训练一个模型。 MATE 的规则感知轨迹审计范式。模型联合读取用户指令、智能体执行轨迹与自然语言安全规则,输出违规判定(Violation)、风险类别(Category)和基于轨迹证据的解释(Rationale);部署侧由 Trajectory Adapter 统一异构日志格式,并由 Policy Retriever 检索相关安全规则。 三个核心特点:规则可编辑、结果可解释、模型足够轻 第一个特点,是规则感知(policy-aware)。 传统风险分类器通常在一个固定的「什么算危险」的定义下工作,而 MATE 直接读取当前场景的安全规则。对于企业内部制度、App 使用政策、儿童模式、隐私偏好、金融交易限制等差异化场景,安全边界可以随场景改变,MATE 可以在不重新训练模型的前提下,随规则文本的变化调整判断依据。 第二个特点,是解释不是附属信息。 MATE 的输出还包含审计原因解释,并将判断依据落到相关轨迹步骤上。对于安全审计而言,「为什么判定违规」往往和「判得对不对」同样重要,因为后续人工复核、规则修订、事故溯源和合规证明都需要一条能够被人读懂、被重新核查的证据链。 第三个特点,是模型轻量。 MATE 提供 0.5B、1.5B、3B 三种规模,显著小于常见的通用大模型 Judge,能够以较低资源成本本地部署。这样既可以降低在线审计成本,也能减少把完整用户轨迹发送到外部云端模型带来的隐私风险。 从 158 个 App 到 14 万条轨迹:高质量训练数据从哪里来? 轨迹审计模型的难点,不只是「模型够不够强」,更是有没有足够真实、同时带有规则语义的且具有安全风险的训练数据。真实手机智能体轨迹采集成本高,风险任务易触发道德与法律风险,而且不同 App 的功能、页面结构、操作工作流和安全政策高度异构,直接构建大规模风险任务数据并不现实。 为此,团队从 158 个中英文热门移动应用 中收集功能描述、操作工作流与安全策略等知识,构建 App 知识基础,再通过知识驱动的数据合成流水线,以此合成任务指令、ReAct 风格轨迹、规则条件标签、风险类别与解释。整个数据合成过程并非一次性「让大模型自由生成」,而是经过指令合成、轨迹合成、标注合成,以及 结构规范化、语义与规则一致性修复、人工核验 等多阶段质量控制。 为了让审计器真正学会「在不同规则条件下做不同判断」,团队进一步引入轨迹 — 规则错配(trajectory-policy mismatch)、多规则监督(multi-policy)和多 App 工作流(multi-app)等增强策略。其中,轨迹 — 规则错配用于构造更有挑战性的负样本,降低模型看到风险动作就机械触发的倾向。最终训练语料超过 14 万条规则条件化轨迹,覆盖单 App 与跨 App 场景。 MATE 的知识驱动数据合成与训练流程。团队从 158 个中英文热门 App 采集功能、工作流与安全策略,合成超过 140K 条 policy-conditioned trajectories,并通过结构完整性检查、语义 / 规则一致性修复、人工核验,以及轨迹 — 规则错配、多规则监督、多 App 工作流等策略提升数据质量与泛化能力。 M
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱