智能AI
morning
何时信任,如何提炼:轻量级、稳健的科学时间序列预测的多基础模型指南
2026-06-19
1 阅读
Rupasree Dey, Abdul Matin, Nathan Orwick, Yao Zhang, Shrideep Pallickara, Sangmi Lee Pallickara
arXiv:2606.19363v1 公告类型:新 摘要:时间序列基础模型 (TSFM) 在物理科学中的部署受到关键权衡的阻碍:虽然这些模型编码丰富的通用时间动态,但当零样本应用于特定科学领域时,它们会遭受严重的分布错位,并且其计算成本阻碍了在边缘计算传感器网络中的部署。我们解决了一个基本挑战:如何从错位的基础模型(FM)中提取潜在的结构知识来训练轻量级的专业预测器?我们提出了用于蒸馏的门控不确定性感知路由(Guard),这是一种新颖的框架,它将多教师蒸馏重新构建为具有两种自适应机制的实例决策过程:(1)上下文路由器,根据本地输入统计数据动态选择最相关的教师,利用不同基础模型之间的互补性; (2) 不确定性门控温度机制,充当“断路器”,当教师信心偏离领域现实时,自动减弱蒸馏强度。我们在四个气候关键领域评估了我们提出的轻量级框架:气象、生态系统碳通量、土壤湿度和能源网格。相对于固定权重多教师蒸馏基线,我们的方法显着降低了 RMSE,成功地从预训练的 FM(教师)中提取知识,即使它们由于原始数据域和目标数据域之间的分布偏移而表现出次优的零样本精度。我们证明,这些领域错位的教师仍然可以作为关键的纠正措施,在 28.5% 最困难的情况下优于全球领先的 FM。最终,这可以实现适合资源受限的边缘部署的高精度科学预测。代码可在 https://github.com/RupasreeDey/GUARD-KDD2026 获取。