首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 汽车 游戏 社会热点 开源推荐 医疗健康 归档 标签 关于
智能AI morning

QUARTET:用于增强关系图上 Transformers 的四分支交叉注意力和随机游走轨迹

摘要

arXiv:2609.26855v1 Announce Type: new Abstract: Relational Deep Learning (RDL) models multi-table databases as heterogeneous temporal graphs, and graph transformers currently achieve state-of-the-art ...

the and local that global attention temporal graph sampler subgraphs
2026-09-24 1 阅读 约1分钟阅读 Kyaw Hpone Myint, Nan Jiang, Xiang Li, Zhe Wu, Alexandre G. R. Day, Pranab Mohanty, Giri Iyengar
分享:
字号:
arXiv:2609.26855v1 公告类型:新 摘要:关系深度学习 (RDL) 将多表数据库建模为异构时间图,而图转换器目前在 RelBench 等基准测试中实现了最先进的性能。然而,当前领先的模型 RelGT 存在两个关键限制:其随机局部采样器产生松散连接的子图,阻碍消息传递,其全局注意力模块依赖于单一的、基于种子特征的内存,忽略了更广泛的宏观层面的动态。为了克服这些限制,我们引入了 QUARTET,这是一种富有表现力的图转换器架构,它在局部子图上应用完全的自注意力,同时通过交叉注意力分支丰富全局上下文。具体来说,QUARTET 采用基于新近截断的个性化 PageRank (PPR) 的因果随机游走 (CRW) 采样器来提取紧凑、集线器鲁棒且密集连接的局部子图,而不会出现时间泄漏。同时,四分支交叉注意力模块从四个互补的角度集成了全局上下文:种子特征、种子拓扑、时间动态和协作动态。在 RelBench v1 分类任务中,QUARTET 始终匹配或优于当前最先进的图形转换器基线(HGT 和 RelGT)。消融研究证实,CRW 采样器显着丰富了当地社区的质量,而全球分支提供了必要的、特定于任务的预测收益。
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱