发现基于扩散的 AIGC 模型的 LoRA 适配器中未公开的概念

arXiv:2610.18990v1 公告类型：新 摘要：低秩适应 (LoRA) 使扩散模型个性化变得经济实惠且可广泛共享，但当有害或有问题的内容未如实披露时，它也会产生审核风险。因此，需要开发一种机制，在给定 LoRA 适配器的情况下，发现它被训练生成的概念，以支持下游调查。我们通过条件输入来描述目标概念，最清楚地揭示 LoRA 所学到的内容。这样的输入应该产生连贯的 LoRA 输出，这些输出与基础模型的输出不同，并且与学习的 LoRA 子空间高度一致。因此，我们将概念发现表述为寻找条件输入，以共同最大化输出一致性、LoRA 引起的独特性和子空间对齐。然而，即使目标明确，在开放式输入空间上对其进行优化也非常昂贵，因为对连贯性和独特性的可靠评估需要重复的扩散渲染。至关重要的是，我们观察到不需要渲染输入来确定它是否有前途。它与学习到的 LoRA 子空间的对齐提供了一个轻量级信号，用于在视觉验证之前定位有前途的候选者。基于这一见解，我们开发了一个文本到图像 LoRA 的两阶段框架。子空间引导进化搜索 (SGES) 使用免渲染子空间对齐来探索候选提示并保留紧凑的候选列表，而配对视觉识别 (PVI) 仅渲染这些候选者并比较 LoRA 和基础模型输出，以识别那些表现出连贯且独特的生成行为的候选者。这种设计能够高效、可靠地发现 LoRA 适配器中编码的先前未知的概念。