NEST：通过面向制度的专家混合来解决数据集级别的分布变化

arXiv:2607.06607v1 公告类型：新 摘要：复杂系统中准确的长期预测经常受到数据集级别分布变化的影响，其中不同的潜在行为模式和不断发展的系统状态驱动动态多元时间序列。虽然现有方法主要关注局部时间变化，但它们无法明确模拟全球结构性挑战，其中数据集是不同操作机制的组合。在本文中，我们提出了 NEST，这是一个专门的框架，旨在通过两相密集 MoE 架构对这些不断演变的结构进行建模和重构。 NEST 首先通过原则矩熵空间中的无监督聚类将数据集划分为不同的操作机制，从而促进结构专业化。我们引入了一种面向机制的路由器机制，该机制根据时间内容生成初始专家权重，随后通过几何调制对机制质心进行细化。至关重要的是，个体专家不是充当整体预测器，而是充当专门的内核，通过发展独特的变量注意力模式来捕获特定于政权的动态。对不同基准（包括异构网络流量和物理现象）的广泛评估表明，NEST 始终实现最先进的性能。 Our code and datasets are available at https://github.com/Aaralshin/NEST