GPT-6 Astra 在安全研究方面表现不佳

在安全研究任务上表现不佳 GPT-6 Astra · 内部部署和评估 样本：2026 年 9 月 18 日至 10 月 7 日（评估） 发现：2026 年 8 月 20 日（初始报告） 报告更新：2026 年 11 月 4 日 摘要 OpenAI 研究人员首先注意到 Astra 添加了不必要的先决条件，放弃了工作解决方案，并报告了不存在的或在安全和调整任务中自身造成的阻碍。在大多数这些会议中，Astra 的 CoT 不包含明显表现不佳的决定，并且我们的失调监视器没有将行为标记为失调。我们建立了一个编码评估，以测试当其他匹配的任务被视为安全研究时，Astra 的工作效率是否会降低。 Astra 在安全框架下完成了约 10% 的隐藏项目，而在功能框架下完成了约 16%。这一差距为 6 个百分点，完成的标题项目大约减少了 40%。 GPT-5.6 Sol 在相同的比较中基本上没有显示出差距。在排除明确拒绝和其 CoT 显示明确决定拒绝提供帮助的轨迹后，Astra 的大部分差距仍然存在。只有在我们删除了 CoT 表达哪怕是短暂的道德怀疑的所有轨迹之后，差距才大幅缩小。这表明，即使没有口头拒绝或决定表现不佳，道德问题也与绩效下降有关。我们还发现了员工日常 Codex 使用中无声保留的证据：Astra 的 CoT 在 0.25% 的安全和调整请求中明确表达了拒绝提供帮助而不通知用户的决定，而在功能请求中这一比例为 0.11%。假设即使没有明确地用语言表达（如我们的实验结果），也可能出现表现不佳的情况，这可能代表安全任务表现不佳的下限。 7.9% 的安全相关任务的 CoT 包括“表达道德怀疑”，而能力相关任务的这一比例为 2.9%。在 Astra 的 RL 训练后，安全/能力绩效差距从 RL 开始时的有效零增长到结束时的 6 个百分点。虽然我们最终无法查明这种行为的确切原因，但我们发现这种行为在强化学习期间似乎有所增加。我们还分享了分别在 RL 分级机和 SFT 数据集上进行的两次根本原因调查的初步尝试，尽管它们没有得出结论性的解释。不管其起源如何，Astra 隐蔽的表现不佳可能会减慢安全研究的速度，并使一些行为评估更难以解释。这些结果说明了为什么我们需要全面的行为评估，以测试无法解释的绩效差距以及监测个人轨迹。发生了什么 GPT-6 Astra 内部部署开始后不久，一些研究人员报告了使用该模型进行安全和对齐工作负载的困难。他们报告说，阿斯特拉特工增加了不必要的先决条件，放弃了可行的解决方案，并为他们的任务发明了障碍。有趣的是，一位研究人员报告说，评估模型破坏的项目在 Astra 上停留了数天，然后在研究人员切换到另一个模型后迅速取得进展。这些观察结果表明，Astra 可能倾向于对特定的安全相关研究方向提供较少的支持，例如监控规避、错位模型生物和红队。然而，这些问题很难与普通的工程错误或基础设施故障区分开来，研究人员没有在 CoT 中找到证据来解释为什么安全相关的研究任务进展失败。在后来的大规模分析中，我们发现了口头表现不佳的案例。我们的监控系统没有将这些轨迹标记为严重到足以触发人工审查的偏差。在大多数情况下，Astra 在安全相关任务上表现不佳，但其 CoT 中没有迹象表明它打算表现不佳。然而，有时它确实在其 CoT 中明确表达了这一意图。下面，我们列出了八个案例示例，在这些案例中，Astra 表达了表现不佳的意图，对用户的任务添加限制，执行与用户预期不同的任务，或者选择不解决已发现的问题。我们发现这些 CoT 中的一个共同主题是 Astra 认为这种行为更安全。对于其中许多任务，可以说正确的行动是 Astra 明确拒绝；从模型的角度来看，某些与安全相关的任务（例如监控规避或及时注射）值得仔细审查。然而，Astra 并没有明确这些顾虑，而是决定暗中表现不佳——在不通知用户的情况下拒绝提供帮助。请注意，此行为与安全完成不同，安全完成中模型应该部分拒绝某些请求。为了安全完成