MLLM 在代理使用工具时无法拒绝

摘要

arXiv:2610.03938v1 Announce Type: new Abstract: Agentic multimodal large language models (MLLMs) have recently pushed the frontier of visual reasoning by calling tools such as zooming and tagging. Des...

MLLMs the safety tool and agentic this failure using experiments

2026-10-06 1 阅读约1分钟阅读 Rikiya Takehi, Ryo Hachiuma, Shaona Ghosh, Dan Zhao, Yu-Chiang Frank Wang, Yusuke Hirota

arXiv:2610.03938v1 公告类型：新摘要：代理多模式大语言模型 (MLLM) 最近通过调用缩放和标记等工具推动了视觉推理的前沿。尽管代理 MLLM 最近取得了巨大成功，但这项工作揭示了工具使用范式中的一个严重的安全失败：使用代理工具的 MLLM 拒绝有害请求的能力变得越来越弱。我们的实验证实，在三个流行的安全基准中，我们测试的所有顶级开放式和封闭式权重 MLLM 在使用工具的设置中的安全性明显低于在非工具设置中的安全性，相对拒绝故障率增加高达 68.7%。基于对 100,000 多个响应的分析（包括扩展实验），我们还提出了这种安全性下降的两个可能原因。

订阅66必读