通过内部信息分解确保多模式人工智能的安全

arXiv:2607.21600v1 公告类型：新 摘要：多模态大型语言模型引入了单模态系统中不存在的攻击面：对手可以跨模态分发恶意意图以逃避单模态防护。这促使使用跨模态一致性作为检测信号，而不是单独检查每种模态。我们的主要观察结果是，良性输入会从纯文本推理和纯视觉推理中诱导出兼容的预测行为，这些行为在融合时会稳定下来，而对抗性操作会破坏这种一致性，从而导致异常的多模式行为。现有的检查原始输入或输出的防御措施忽视了这种内部融合过程，导致它们脆弱且计算成本高昂。我们提出 FlowGuard，一种轻量级推理时间框架，通过监控内部多模式一致性来检测有害输入。与依赖标量置信度指标的方法不同，FlowGuard 受部分信息分解启发而派生 FlowVector，可量化跨模态冗余、协同和模态特定的优势，捕获融合的多模态预测是否与单模态语义证据保持一致。在仅针对良性数据进行训练的一类分类问题中，FlowGuard 将未见过的攻击的攻击成功率从 >90% 降低到 <15%，效用损失<3%，延迟减少高达 6 倍。我们的结果表明，监控跨模态一致性为多模态推理提供了高效且有效的防御。