预训练的基于 Transformer 的感知模型的对抗性鲁棒溯因融合

arXiv:2608.04190v1 公告类型：新 摘要：在新环境中部署预先训练的感知模型会降低其在分布变化下的准确性，并且单独组装它们并不能恢复它：诸如多数投票交易之类的组合器为了精度而进行召回，并且很容易出现协调故障。先前的元认知方法学习标记模型错误的逻辑规则，但依赖于手工编写的领域知识线索（对象大小先验、分割掩模），这些线索不会转移到真正新颖的场景。我们证明，通过利用向量空间几何，可以在没有任何领域知识的情况下学习该元认知层：根据每个模型自己的训练嵌入构建的每个模型标签向量池（LVP），从相对于训练确定的原型的检测几何中产生错误检测规则，与领域知识规则达到同等水平，测试集上每个 F1 的成本在 0.002 美元以内。由于该方法仍然是神经符号学的，因此这些几何规则共享一个逻辑框架，并且仍然可以通过可用的领域知识来补充。我们将多个基于 ViT 的不完美检测器的融合框架为基于一致性的溯因问题，在测试时通过精确整数程序 (IP) 和多项式时间启发式解决。在 15 个天气变化测试集和 6 个 ViT 探测器的航空图像基准上，我们的领域知识自由层与干净数据上最强的多数投票变体（在 0.005 美元 F1 以内）相匹配，并且与每个多数投票基线不同，在协调标签翻转攻击下保持其性能：在 90\%$ 翻转率下，平均 F1 为 0.42 美元，而 MV-Plurality 为 0.35 美元（a $22\%$ 相对增益），一旦翻转率超过 $0.4$，就在 \emph{every} 测试集上获得最高的 F1