LLT：用于偏微分方程算子学习的局部线性变换器

arXiv:2607.07718v1 公告类型：新 摘要：神经算子已成为学习 PDE 解图和加速数值模拟的常用方法。基于 Transformer 的神经算子特别令人感兴趣，因为注意力可以学习计算域中的远程依赖关系。然而，标准注意力在应用于偏微分方程时有两个主要限制：它与计算节点的数量呈二次方缩放，并且缺乏对局部交互的明确偏见。为了解决这些问题，我们引入了用于偏微分方程算子学习的局部线性变换器（LLT）。该架构将线性全局注意力与局部空间混合相结合，并结合了坐标和几何信息。我们在几个 PDE 问题上评估 LLT，包括弹性、塑性、翼型流、管道流和达西流。这些问题的参考数据涵盖结构化和非结构化网格的有限元、有限体积和有限差分离散化。与之前研究中的其他神经算子和 Transformer 基线相比，LLT 在这些问题上实现了竞争或较低的相对 $L_2$ 误差。在匹配的结构化离散化中，每次训练迭代的挂钟时间相对于 Transolver 减少了 1.8 到 2.5 倍。我们还扩展了该方法并将其应用于每个样本有 32,186 个非结构化网格点的三维汽车空气动力学数据集。总之，这些结果表明，LLT 为跨离散化、网格类型和问题设置的偏微分方程问题提供了准确且计算高效的算子。