智能AI
morning
反事实邻里风险领域：视觉语言模型的循证选择性安全
摘要
arXiv:2610.20679v1 Announce Type: new Abstract: Representation-based safety defenses for vision-language models (VLMs) often learn to separate harmful from benign inputs, but separation alone does not...
risk
and
safety
for
from
CNRF
harmful
benign
selective
VLM
2026-10-16
1 阅读
约1分钟阅读
Tianshi Wang, Jingsong Wang, Fengling Li, Jingjing Li, Xin Li, Lei Zhu
字号:
arXiv:2610.20679v1 公告类型：新 摘要：视觉语言模型 (VLM) 基于表示的安全防御通常会学习将有害输入与良性输入分开，但仅靠分离并不能确定风险评分的含义或何时应该信任。我们引入反事实邻里风险场 (CNRF)，这是一种基于证据的选择性 VLM 安全框架。 CNRF 构建上下文匹配的良性-有害反事实对，使用它们的表示差异作为与能力相关的风险方向，并与风险分开估计邻里支持。这种分离可以防止将不熟悉与有害性混为一谈，并实现选择性干预而不是全面拒绝。受害者自适应界面可适应 VLM 架构中的不同安全观察，并路由选定的同一受害者响应审查请求，从而释放可接受的候选者或产生具有减少有害能力的受限替代方案。在三个 VLM 和五个多模式越狱系列中，CNRF 实现了 86.06-89.30% 的宏观防御成功率，同时保留了大量的良性任务效用。对照实验进一步表明，查询匹配的参考文献和保留的上下文方向对应关系实质上提高了低误报情况下的风险排名。因此，CNRF 重新构建了基于表示的 VLM 安全性，从学习危害边界到构建选择性风险决策的适用证据。
这篇文章对您有帮助吗？
订阅66必读
每日精选科技资讯，直达你的邮箱