具有开放权重的无约束 CTI-REALM

arXiv:2610.14180v1 公告类型：新 摘要：需要语言模型代理进行安全工作的组织面临着一个选择：开放权重模型（可以自行运行和审核）和昂贵得多的封闭边界模型。我们在 CTI-REALM (arXiv:2603.13517) 上研究了这一选择，这是一个基准，代理通过查询实时遥测存储将威胁情报报告转化为有效检测。我们评估了 26 个模型，其中 19 个是开放式的，7 个是封闭式的，在共同的工具、记分员和法学硕士评委小组的指导下。我们的主要发现是，只要给予足够的轮数，开放重量模型可以以不到十分之一的成本与最强大的封闭模型相匹配。该基准公布的对代理消息的限制令人困惑：耗尽限制的任务在每个检查点（包括它已经通过的检查点）得分为零，因此该限制的结果部分衡量了哪些模型及时完成。在公布的限制下，无法区分领先的开放式重量和封闭式模型。随着限制的放宽，被截断的模型会恢复，最高的奖励属于开放权重模型。在领先的模型中，价格对于能力来说是一个糟糕的指导：具有相似奖励的模型在成本上的差异超过一个数量级。由于基准测试的检查点分数主要记录了代理所做或提及的内容，因此我们还引入了阶段级指标，通过在遥测存储中执行其检测查询并根据答案键判断其输出，对代理提交的内容进行评分。我们没有将它们组合成一个整体奖励，而是表明不同的模型会引导不同的阶段，这建议将工作流程的每个阶段路由到性能最佳的模型，而不是根据总体得分选择单个模型。我们还报告了每个模型生成了多少代币，并发现用于思考的输出份额并不跟踪奖励。