TabPFN-MT：表格数据的本机多任务上下文学习器

arXiv:2605.20234v1 公告类型：新 摘要：先验数据拟合网络（PFN）在表格上下文中非常成功，可以处理上下文中的预测任务。然而，它们是为单任务推理而设计的，这意味着预测上下文中的多个目标值需要重复的前向调用并妨碍任务间信息共享。我们提出 TabPFN-MT，它在捕获上下文中的任务间依赖关系之前对扩展的多目标合成进行训练。该模型使用扩展的 $y$ 编码器和共享解码器头来实现多任务上下文学习和同时推理。该模型依靠上下文学习而不是传统的基于梯度的训练，专门针对中小型数据集。在此范围内（平均不到 1,000 个样本），对 344 个数据集的广泛评估表明 TabPFN-MT 为深度表格多任务学习建立了新的最先进技术。此外，尽管联合优化存在固有的计算不对称性，但我们的模型与最新最先进的单任务集成仍然具有很强的竞争力。值得注意的是，在多任务数据集上，它的总体准确度排名为 4.89，是所有测试模型中平均排名最高的。至关重要的是，TabPFN-MT 提供了这种极具竞争力的性能，同时将 $T$ 任务的推理成本从 $O(T)$ 前向传递降低到 $O(1)$，从而为多目标表格应用程序提供了巨大的计算效率改进。