多模态图学习：模型、基准和前沿的调查

arXiv:2611.12990v1 公告类型：新 摘要：多模态属性图（MAG），其中节点承载文本、图像和其他模态，而边编码实体之间的关系，是电子商务、社交媒体、内容平台和创意应用程序的基础。 MAG 的学习沿着两条互补的路线发展：以图为中心的方法重新设计了消息传递中模态的融合、传播和连接方式，而以基础模型为中心的方法预训练可转移的多模态图编码器或将图上下文引入多模态大语言模型中以进行预测和生成。与此同时，出现了几个具有不同数据集和评估协议的基准。这项调查采用了以算法为中心、以评估为基础的领域观点，并做出了三点贡献。建模：我们引入了统一的消息传递公式，并将方法组织为五个集成级别（特征、传播、拓扑、学习和基础模型），涵盖判别模型和图条件生成模型；在此公式中，我们将代表性方法作为特殊情况得出，比较它们的假设、表达能力和成本，并将跨模式敏感性识别为区分其他类似架构的属性。数据集和评估：我们回顾最近的基准，总结其数据集和指标，定义与模型无关的描述符（标签同质性、平均程度、聚类和边缘来源），并将每个评估协议映射到它使用的基线。前沿：我们将多模态图学习与人工智能代理联系起来，涵盖代理感知和记忆的多模态图以及图工程，将代理工作流程组织为显式图的实践；然后，我们讨论开放问题、社区的具体努力和研究方向，包括图结构在强大的多模态基础模型中何时有所帮助。