TabPFN 和 TabICL 与调整后的 XGBoost：未训练的模型赢得了 14/14

模型基准 GPU 数据 TabPFN 和 TabICL 与经过调整的 XGBoost：未训练的模型在 14 个表中的 14 个上获胜 TabPFN 和 TabICL 背后的主张是，它们在没有经过训练的情况下在表上进行预测，并且仍然击败了经过调整的 boosting。我在 Grinsztajn 基准测试的 14 个数据集上进行了测量，每个人都有相同的分割和相同的时钟。不训练的获胜，优势是最多保存 32,000 行而不是破坏，并且没有帐户就无法再下载引用次数最多的模型。 Efrain Garay 2026 年 8 月 17 日 2026 年 8 月 18 日 听总结 0:00 游戏总结 该说法已经流传了几个月，而且足够具体，可以衡量：表格基础模型无需经过训练即可在桌子上进行预测，并且仍然击败调整后的提升。如果这是真的，五年的实践就会改变形状。搜索超参数不再是强制性步骤，而是成为一种有时没有回报的奢侈行为。所以我在自己的卡片上进行了测试，有十四个数据集、四个竞争者和每个人都使用相同的秒表。您的浏览器不支持 HTML5 视频。 33 秒内有旁白：两个机器人争夺一张桌子。独眼者看着并回答；齿轮的人在回复之前会尝试二十五种组合。每个数字都是经过测量的。默认静音：在控件中将其打开。在卷轴查看器中观看 → 这些模型到底做什么 表格基础模型是在故意生成的数百万个合成表上进行预训练的。当新表到达时，它不会调整单个权重：它接收训练行作为上下文，并在一次前向传递中生成预测。这与我们从语言模型中了解到的上下文学习理念相同，从单词转移到列。这就是为什么动词“train”的位置很奇怪：代码仍然称其为 fit ，但内部没有梯度下降，而是将数据复制到卡上。这也解释了为什么成本会出现在您意想不到的地方。拟合几乎是免费的，预测才是有价值的，这与树正好相反。这样听起来很抽象，所以这是一行的完整旅程：请求到达时带有一个空单元格，模型将其与已经发生的所有事情进行权衡，一次解决它并返回一个未来。选择我测量的六个案例中的任何一个来查看其真实数据： 违约风险 销售活动 临床再入院 累犯 电力需求 分子筛查？请求 上下文 单次传递 预测 信用申请到达 2 100 个申请已结算 · 10 列 clf_num/credit.csv TabICL · 没有调整 · 0.8 s 他们会偿还吗？偿还违约 AUC 0.8528 信用 联系人进入列表 已拨打 2 100 个电话 · 7 列 clf_num/bank-marketing.csv TabICL · 没有调整 · 0.8 秒 值得给他们打电话吗？注册不 AUC 0.8699 银行营销 患者出院 2 100 次出院 · 7 列 clf_num/Diabetes130US.csv TabICL · 没有调整 · 0.8 s 他们会重新入院吗？返回不 AUC 0.6484 Diabetes130US 评估一个病例 2 100 个病例已结案 · 11 列 clf_cat/compas-two-years.csv TabICL · 没有调整 · 0.6 s 他们会再次犯罪吗？重犯不 AUC 0.7329 compas-两年 一个市场周期收盘 2 100 个先前周期 · 7 列 clf_num/electricity.csv TabICL · 没有调整 · 0.8 s 价格上涨还是下跌？向上 向下 AUC 0.8873 电 候选分子到达 2 100 个已分析分子 · 419 列 clf_num/Bioresponse.csv TabICL · 未调整 · 6.0 s 它是否会触发生物反应？活性惰性 AUC 0.8667 生物反应？请求 上下文 单次传递 预测 信用申请到达 2 100 个申请已结算 · 10 列 clf_num/credit.csv TabICL · 没有调整 · 0.8 s 他们会偿还吗？偿还违约 AUC 0.8528 信用 联系人进入列表 已拨打 2 100 个电话 · 7 列 clf_num/bank-marketing.csv TabICL · 没有调整 · 0.8 秒 值得给他们打电话吗？注册不 AUC 0.8699 银行营销 患者出院 2 100 次出院 · 7 列 clf_num/Diabetes130US.csv TabICL · 没有调整 · 0.8 s 他们会重新入院吗？返回不 AUC 0.6484 Diabetes130US 评估一个病例 2 100 个病例已结案 · 11 列 clf_cat/compas-two-years.csv TabICL · 没有调整 · 0.6 s 他们会再次犯罪吗？重犯不 AUC 0.7329 compas-两年 一个市场周期收盘 2 100 个先前周期 · 7 列 clf_num/electricity.csv TabICL · 没有调整 · 0.8 s 价格上涨还是下跌？向上 向下 AUC 0.8873 电 候选分子到达 2 100 个已分析分子 · 419 列 clf_num/Bioresponse.csv TabICL · 未调整 · 6.0 s 它是否会触发生物反应？活性惰性 AUC 0.8667 生物反应银行最重复的案例：决定借给谁。数据集大小 TabICL TabPFN 调整 XGB 信用 3000 × 10 0.7667 0.7578 0.7533 heloc 3000 × 22 0