超越笑话：检测和解释模因中有害幽默的多角度推理

arXiv:2607.15442v1 公告类型：新 摘要：互联网迷因将视觉线索、文本内容和文化背景交织在一起，使得它们在幽默、讽刺和有害意图共存的场景中尤其难以解释。这些复杂性凸显了对可解释的模因理解系统的需求，该系统可以提供可靠和结构化的推理，以支持准确的分类和人类可解释性。然而，现有的多模态分类器要么忽视了这些相互依赖性，要么只提供有限的可解释性。在本文中，我们介绍了 MAR-12，这是一种新颖的框架，它利用视觉语言模型 (VLM) 在幽默和仇恨元素可能共存的环境中进行模因检测和理解。该框架首先通过源自幽默和仇恨理论的十二个结构化视角来解释每个模因。然后，它应用角色感知的软门关注机制来了解每个视角应贡献多少，然后使用基于原型的分类器进行最终预测。最后，使用特定观点的推理和学习到的注意力权重来综合解释，确保透明且基于上下文的理由。我们在 PrideMM 和 Memotion 数据集上评估 MAR-12，其幽默检测准确率高达 80.3%，仇恨检测准确率高达 75.9%，优于最先进的方法。此外，人类和基于 GPT-4 的评估都证实，MAR-12 可以产生连贯且有说服力的解释，特别是对于幽默和有害线索同时出现的模因。