大模型，小收获：冻结预报器作为 MONSTER 上的分类器

arXiv:2611.06988v1 公告类型：新摘要：预测基础模型越来越多地用作时间序列分类的冻结特征提取器，但仍不清楚它们的预训练表示是否比不需要预训练的强分类器具有优势。这就提出了一个重要的问题：这些表示是否提供了超出模型架构本身所能捕获的有用信息，特别是当标记数据稀缺时？我们使用 1%、10% 和 100% 的可用训练标签，在 MONSTER 基准测试的六个大型数据集上对两个预测模型（Reverso 和 Chronos-Bolt）进行受控基准测试。我们将它们的冻结表示与四种已建立的时间序列分类方法和相同预测模型的随机权重版本进行比较。我们的结果表明，在六个数据集中的五个数据集上，预训练比随机权重对应的分类准确性提高了高达 23 个百分点。然而，冻结表示在任何设置中都无法可靠地优于最强的非预训练基线：它们在 17 个设置中的 15 个设置中表现较差，而在其余两个设置中表现平平。进一步的实验表明，恢复幅度信息可以弥补部分性能差距，而微调和预测误差功能并不能弥补这一差距。这些发现强调了在评估分类预测基础模型时强大的任务特定基线和随机权重控制的重要性。我们的代码可在 https://github.com/Rachet2006/frozen-forecasters-monster 获取。