审核 Model-Hub 基准：HuggingBench 中的数据质量、培训预算和辅助信息

arXiv:2611.03727v1 公告类型：新 摘要：从模型中心构建的基准结合了交互数据、知识图 (KG) 和资源文档，但有效文件并不能确保这些工件描述相同的对象。我们将发布视为数据产品，通过数据验证、复制其 11 种推荐方法以及使用 3 个训练种子进行对照实验，对 HuggingBench（SIGIR 2025）这一推荐 Hugging Face 资源的基准进行审核。在其四个外部知识图谱中的三个中，文件通过了键和范围检查，但违反了知识图谱推荐器所依赖的项目实体身份约束。纠正此连接可以改进每个种子中的每个基于 KG 的方法，平均 Recall@10 提高高达 73%，并且一致地反转 KG 配置之间 27 次比较中的 10 次。该协议也很重要：100 个时期的预算在 29 个验证选择的设置中的 7 到 8 个提前停止之前结束，并且 23 个此类设置种子对中的 21 个通过更长的预算得到改善。已发布的项目文本（没有报告的方法使用）是最强的信号：带有文本和项目图的封闭式线性模型超过了最佳报告的 Recall@10 18%，同时在 CPU 上进行了几分钟的拟合。对其他推荐版本的检查表明，一个数据集的单独有效版本可以使用不兼容的标识符。我们发布更正的文件、映射、验证器和日志，并得出在基准和模型湖的工件中保留身份和来源的实践。