Lotus：通过学习预测来理解时间序列

arXiv:2610.18877v1 公告类型：新 摘要：时间序列语言模型通常使用标签、标题或问答对将数字信号与语言对齐。尽管这种监督鼓励语言表示，但并没有明确要求它们保留有关底层时间序列信号如何演变的信息。我们引入了预测基础，这是一种预训练原则，要求语言对齐的时间序列表示在适应下游任务之前保持对未来演变的预测。我们在 LOTUS 中实例化了这一原理，它将每个时间序列通道划分为不重叠的块，并将它们映射到 LLM 嵌入空间中。然后，它根据时间序列标记的 LLM 隐藏状态预测下一个补丁，鼓励学习的表示保留时间信息。为了捕获时间变化和周期性模式，我们还提出了一种时间频谱补丁表示，将每个原始时间序列补丁与其频谱表示相结合，然后将其映射到 LLM 嵌入空间。在三个语言模型主干和六个下游评估数据集上，LOTUS 以最少的可训练参数实现了最佳平均性能，达到 59.91% 的准确率，比最强匹配基线高出 3.36%。我们的表示分析进一步表明，LOTUS 使用数字输入并在其学习的块表示中保留时间结构。这些结果确立了预测基础作为一种有前途的预训练原则，使紧凑的时间序列语言模型在 TSRBench 上的性能优于其大小的 25 至 50 倍。