Livenerf：Opus 5.5 被削弱了吗？

livenerf 是一个小型、无聊、仅附加的基准，用于解决一个问题：模型发布后是否会变得更糟？几个月来，一直有报道称，人择模型在发布几天或几周后会被“削弱”。这可能意味着量化、同名背后的更小的模型、更少的工作量或路由更改。这也可能意味着什么也没发生，人们正在对噪音进行模式匹配。没有人有一个干净的第 0 天基线可供检查，因此每次争论最终都会成为共鸣与共鸣。 Claude Opus 5.5 于 2026 年 9 月 22 日发布，因此这是一个在发布日启动并保持运行的机会。现在，v0 通过无头 Claude 代码 ( claude -p ) 在 Claude Max 订阅上运行，没有 API 密钥。您无法使这些模型具有确定性：采样参数消失了，并且无法关闭思考。因此，livenerf 使其他一切都具有确定性：冻结提示、固定 CLI、精确分级器、永远的原始日志。然后，它统计测量数千个样本的漂移。它基于英国人工智能安全研究所的开源评估框架 Inspect 构建。这些统计数据遵循 Anthropic 自己的“向 Evals 添加误差线”，因此没有什么自制程序可以争论。有关存储库的问题，请在“讨论”选项卡中打开一个线程或问题。该系列正在运行。第 1 天是 2026 年 9 月 24 日 22:10 UTC，大约在发布后 2.5 天。它每天运行一次，持续 30 天：第 1-10 天是基准，然后有两个 10 天的窗口，因此第一个可能的调用是在 2026 年 10 月 24 日左右。第一个结果行在第 20 天后出现。该小组是根据预先注册的协议 (v2) 选择、确认、锁定和验证的。下面的每个数字都是从 docs/CALIBRATION.md 中的日志生成的。进度 (2026-09-29)：收集 30 天中的 6 天（基线 10 天中的第 6 天），没有遗漏。所有 6 天都在同一线束哈希 ( 461391b6fce64167 ) 和固定 CLI (2.1.280) 上运行了完整的 90 个样本。第 5 天，预算守卫被覆盖一次（参见偏差日志）。面板。筛选了 2,336 道 GPQA Diamond、MMLU-Pro、竞赛数学和 AIME 2025-26 问题，每个问题有 4 个样本。 Opus 5.5 第一次尝试的正确率约为 93%，并且 97% 的问题总是正确或总是错误。 78 个问题有时是正确的，它们组成了小组 ( docs/DESIGN.md )。选择偏差，已测量。被选为“有时正确”的问题看起来比实际情况更接近 50/50。对于新鲜样品，其合格率从 54.7% 上升至 62.0%，因此功效计算使用新鲜率。它可以检测到什么。整个面板每天运行一次，检测到每个 10 天窗口的准确度变化约为 7.5 个点，约为每周计划的 3.6%。验证 ( docs/VALIDATION.md ) 通过了其预先注册的标准。较低的努力在代币中比在准确度中表现得更清楚：努力低：−62% 输出代币，−8.3 ± 4.5 点准确度；努力程度中等：−26% 代币，−4.2 ± 3.9 点。极限。 Opus 5 中的交换与 Opus 5.5 的 99% 没有区别（−3.8 ± 6.3 点，−23% 代币）。该仪器无法在验证样本中检测到该大小的同系列模型交换。 10 天的窗口期大约有 2.5 倍的样本，但这还不够。问题本身。对 78 个问题（加上后来排除的 2 个问题）进行仅报告审核，发现 8 个答案看起来错误，还有 30 个不明确的问题。这就是你所期望的问题，一个强大的模型有时会“正确”。什么都没有掉落。预先注册的敏感性分析会在没有它们的情况下重新运行结果。服务路径。安全分类器有时会回答 Opus 5 或拒绝生物学和一些数学问题。这些样本将被拒绝并进行计数，其涉及的问题也将被排除在外。该存储库将维护的主要内容是一张运行 10 天的表格，显示 Opus 5.5 在校准基准面板上相对于其发布周基线的表现。负增量意味着比发布周更糟糕。该表报告的改进与回归一样响亮。 # 窗口样本得分 Δ 与基线 ± SE 输出 tok（中位数）控制 Δ CLI 决策 0 天 1–10（从 2026 年 9 月 24 日起） - - 基线 - 基线固定基线（收集） 主要指标是校准面板上每个项目相对于基线的配对得分差异，具有集群标准误差，因此项目难度下降。请参阅 PREREGISTRATION.md 。我最关心的次要信号是每个样本的输出标记计数。如果一个模型悄悄地开始减少思考，这就是它首先出现的地方，通常是在准确性发生变化之前。您需要 Python 3.11+、 uv 和已登录的 Claude Code 安装。 v0 是围绕 Max 订阅构建的，但任何可以运行 claude -p 的东西都可以。 Linux、macOS 和 Windows 均受支持。 git clone https://github.com/ninjahawk/livenerf cd livenerf uvsync 这将安装固定的 Inspect 并注册 claudecode 模型提供程序。该提供程序包装了一个密封的 claude -p 调用，因此 Inspect 会像对待任何其他模型 API 一样对待您的 Max 订阅。固定 CLI。这不是可选的：