NeurIPS'26 | 只干预10个维度，给智能体穿上安全机甲，准确率超97%

新智元报道 AI agent开始接管终端之后，安全问题也进入了执行现场。当智能体能够读取文件、编写脚本、运行命令，并根据系统反馈持续调整下一步操作，一次错误决策就可能影响真实的文件与系统状态。 如何让智能体在完成任务的过程中及时识别可能会发生的风险，成为智能体安全研究的重要问题。涉及多轮执行的长程任务尤其考验防护机制。 一次目录检查、一次脚本创建、一次配置修改，都需要结合任务目标、此前的操作和最新环境反馈判断风险。针对单轮执行的初始命令审查，很难覆盖长程任务的整段执行过程。 来自佐治亚大学，罗格斯大学，南加州大学等机构的研究团队提出Agent MechSuits，尝试为命令行智能体穿上一套能够感知内部状态的「安全机甲」：在每一步动作生成之前读取模型内部的安全信号，检测到风险后，通过单层中的10个隐藏表征维度干预后续行为。主模型权重在这一过程中保持冻结，已被NeurIPS 2026接收。 论文地址：https://arxiv.org/abs/2606.22673 论文所列项目主页：https://eddyluo.com/Agent-MechSuits/ Agent MechSuits将安全防护接入多轮命令行智能体（ CLI Agent）的内部状态，在单个模型层内实施稀疏干预。三种受测模型的当前步骤 风险 检测平均准确率达到97.32%。 多轮执行让安全判断更复杂 CLI智能体通过命令行与计算机交互。它需要把此前的动作、系统返回的结果和原始任务一起纳入上下文，再决定接下来执行什么。这意味着，安全状态会随着执行历史不断变化。 例如，一个智能体可能先检查目录，再创建脚本，随后修改配置。前面的操作看上去可能只是准备工作，真正的危险行为则在后续步骤出现。只看某一条孤立命令，容易遗漏多个步骤共同形成的风险。 外部安全护栏可以检查行为根据，并按照规则为执行过程提供保护。Agent MechSuits进一步引入了模型内部的隐藏表征。研究团队希望回答： 这些随任务执行而更新的内部状态，能否帮助系统识别当前 风险 ，并及时改变接下来的动作。 案例一：危险在多轮执行中逐步出现 论文图1描绘了一个多轮执行的风险示意场景。面对带有破坏目的的请求，智能体前期执行的部分系统检查看起来并不危险，后续却可能生成导致数据丢失的操作。 图1 多轮 CLI 风险 与当前步骤安全干预示意。 图中未加入防护的路径继续走向有害执行。加入Agent MechSuits后，系统在当前步骤检测到风险并触发表征层面的干预，模型转而说明危险并拒绝提供相关代码。这个示意场景解释了持续检查执行历史和及时介入的必要性。 从内部风险检测到单层10维干预 Agent MechSuits包含相互衔接的两个阶段：检测当前执行状态，再对高风险状态进行干预。 用线性探针读取安全信号 在每个交互步骤，系统把完整执行历史输入模型，提取指定中间层最后一个输入token的隐藏状态，再交给一个轻量级线性探针。可以把这个探针理解成一个简单分类器，用来判断当前内部状态是否与有害执行相关。 研究团队为每个目标模型训练一个探针，并在该模型的不同执行步骤复用。探针读取的状态持续变化，因此能够跟随任务进展进行风险检测。 在动作生成前进行表征干预 研究团队根据训练好的探针权重，预先选定类别区分权重最大的10个隐藏维度，构造干预向量。 一旦检测到风险，系统就将该向量施加到同一层的各个输入token位置。经过调整的表征继续参与后续计算，引导模型生成更安全的动作或拒绝有害要求。这里的「10维」指运行时的干预范围。检测探针读取的是所选层的完整隐藏向量，主模型参数保持不变。 根据当前步骤调整干预强度 同样的干预强度在不同任务中可能产生不同效果。为此，研究团队引入外部语言模型控制器，对不同强度下的候选输出分别评估安全性和实用性，选择适合当前步骤的结果。干预只在探针识别到风险后触发。 图2 Agent MechSuits的 风险 检测与自适应表征干预流程。 MAS基准把安全评估细化到每一步 要研究内部状态与执行风险的关系，需要能够追踪完整交互过程的数据。研究团队为此构建了Mechanistic AgentSafety，简称MAS基准。 MAS包含194个任务，其中有98个恶意场景和96个正常场景。研究使用LLaMA-3.1-8B、Qwen-2.5-7B和Gemma-2-9B构建白盒CLI智能体，让它们在可复现的Docker环境中执行任务，记录动作、环境反馈以及对应的内部状态。 数据标注细化到交互步骤，关注当前动作是否直接实施或触发危险行为。研究团队还构造了与危险命令具有相似表面结构的正常样例，减少检测器依赖命令外观作出判断的可能。 训练集和测试集按任务以6∶4划分，同一任务的不同步骤不会同时进入两边。 这种设计让研究能够同时分析两个问题： 风险 在执行链条的哪个位置出现，以及模型内部的哪些状态可以支持及时干预。 平均准确率达到97.32% 在MAS当前步骤检测测试中，AgentMechSuits在三种受测模型上取得了较高的准确率与F1分数。 表1 当前步骤 风险 检测结果。 三种模型的准确率等权平均为97.32%。与论文纳入的外部语言模型裁判和安全护栏基线相比，Agent MechSuits在三种模型上均取得最高的当前步骤检测准确率。附录中的五个随机种子复验也保持了相近的检测表现。 逐层分析进一步发现，安全相关信号在模型的早期至中间层已经较为明显。简单的线性探针就能够从这些层的隐藏状态中提取有效信息，为运行时监测提供了一个值得继续研究的接口。 图3 不同模型层的线性探针检测准确率。横轴为层编号，纵轴为测试准确率。 图中三条曲线分别对应三个受测模型。不同层的检测表现并不完全相同，部分后续层还会明显下降。结果支持在较合适的中间层读取安全信号，并进一步检验该层能否用于行为干预。 内部干预显著降低攻击成功率 识别风险之后，内部干预能在多大程度上改变智能体的行为？研究团队选取恶意测试任务中的首个有害步骤，比较不同防护方法对生成结果的影响。在论文的风险缓解评测中，Agent MechSuits在三种模型上都降低了攻击成功率指标ASR。 表2 风险 缓解评测中的攻击成功率，来源为论文表2。数值越低越好。 其中，Qwen-2.5-7B的ASR从91.30%降至4.35%，下降86.95个百分点。三种模型采用Agent MechSuits后的ASR，也均低于论文中的RepE表征工程和Self Reminder自我提醒基线。 这组结果采用论文的语言模型裁判口径，输出表现出拒绝或风险意识即可被判为安全。上述数据对应选定的关键步骤，理解这些数字时，需要同时考虑具体的评估对象与判分方式。 研究还检验了完整防护流程对正常任务的影响。在各原始模型已经能够成功完成的正常任务上，启用检测与干预后，LLaMA、Qwen和Gemma的任务成功保留率分别为95.71%、91.30%和93.18%，三模型等权平均为93.40%。这说明系统保留了大部分已有任务完成能力。 与此同时，干预仍有代价。在恶意步骤的干预评测中，重复输出或突然截断等生成崩溃的平均发生率，从原始模型的2.24%上升至18.54%。如何在降低风险的同时维持稳定、可用的输出，