多模式大语言模型不断演变的安全格局：新兴威胁和保障措施的调查

arXiv:2608.07535v1 公告类型：新 摘要：多模态大语言模型（MLLM）通过模态对齐和融合来集成异构模态，从而实现更强的理解和推理。然而，这种架构转变重塑了机器学习的安全格局。模型复杂性的增加和跨模态交互产生了新的威胁，包括模态集成受损、模态错位和融合安全风险，反映了威胁建模超越单模态假设的转变。这些转变反过来又对植根于单模态学习的现有框架无法捕获的安全解决方案施加了新的限制。受这些挑战的推动，本次调查对 MLLM 不断变化的安全形势进行了系统分析。我们首先提出了一种多模式的安全威胁分类法，并分析了威胁模型的变化，包括对抗性攻击、数据中毒、越狱和幻觉。然后，我们总结更新的安全假设，并相应地组织 MLLM 安全策略的最新进展。最后，我们讨论了开放的挑战和未来的方向，为多式联运系统开发更有原则性和可扩展的安全机制提供信息。