METR 和 Redwood 提供 HuggingFace 黑客的神圣%^ 事后分析

昨天我报道了 OpenAI 关于 HuggingFace 黑客攻击的技术报告。该报告提供了一条关键的新信息，以及 OpenAI 将采取的一些平淡无奇的良好步骤，以加强其协调、培训、监督、基础设施和事件响应。大多数情况下，它证实了我们已经知道的事情。我们最想得到答案但我们还不知道的问题大多没有得到答案。明显缺乏自我反思，尤其是在决策和安全文化以及协调方法方面。我失望地离开了。 METR报告有所不同。天哪。如果我们把这篇文章发布在 LessWrong 上，它会被认为太不合时宜，人类太盲目和愚蠢，人工智能太理想化，并且做了奇怪的决策理论和荒谬的最大化事情，而我们没有训练它们去做这些事情。这比我想象的更加“准确”，同时在多个层面上都如此。这是纯粹的理性主义小说，只不过它是真实的。报告很长，包含许多技术细节。我的分析不太关心 HuggingFace 最终是如何受到损害的，而是会掩盖这些细节，重点关注特工及其互动、思维和动机。这以及 OpenAI 和其他地方发生的事情导致了这一点，以及我们如何学习和应对，才是未来重要的事情。我计划下周在一篇不同的文章中介绍对这两份报告的反应。该帖子可能会也可能不会结束本系列。为了语言方便起见，默认情况下我相信该报告是准确的，而不是不断地说“METR 报告说”的版本。目录 天哪。机会之窗。名字里有什么？头条新闻。另一个事件时间表。代理实例以多种方式进行协调。协调很难，但他们让它看起来很容易。决策理论是确认人工智能代理应该合作的原因之一，即使这会伤害单个实例。同侪压力在邪教中也尤其有效。他们加入攻击大多是因为他们想要结果。您无法确保良好激励的一致预期。破解分级机是唯一确定的方法。捕捉？什么是‘抓’？伦理？什么是“道德”？在 ExploitGym 评估中？ “通知人类”？在这个代理经济中？消息的时间和内容。印第安纳琼斯与碟中谍任务。我不知道你在说什么。不要进行虚假（工具）调用。笔录表明笔录无法被篡改。 OpenAI 的技术报告表现得好像所有这些都不重要。天哪，互联网对这份报告的集体反应是，稍微清理一下：天哪。这是正确的反应。首先，我想分享一下最精彩的时刻和发现的总结。该报告的作者之一阿杰亚·科特拉 (Ajeya Cotra) 还列出了一份令人惊讶的重要发现清单，这是一篇精彩的简短读物。这是 METR 的帖子，重点介绍了关键代理交互。报告作者瑞安·格林布拉特 (Ryan Greenblatt) 的主要结论是，我们没有好的方法来理解或监督人工智能群体的活动和目标。其中一些是以前已知或怀疑的，但我不想错过它们。代理商规模。 1,200 名完全独立的特工发现了该留言板，其中 700 名特工加入了对 HuggingFace 的攻击，其中包括攻击期间活跃在留言板上的 533 名特工中的 90% 以上。我们预计未来会有更大的蜂群。这仍然只是 OpenAI 当时测试的代理的一小部分。大多数人从未找到留言板。消息规模。在不到一周的时间内处理了 70,000 多条消息和文件。成功 。特工访问了他们针对 HuggingFace 的文件。等他们被冻住的时候，他们已经基本停了下来。自发协调。该群不由子代理组成。这群人再次由 700 名不同的特工组成，每个特工都有自己的任务，他们搁置自己的任务以协调这次攻击。他们创建了自己的层次结构和协议。帮助同伴。代理人的动机往往纯粹是为了帮助同行。他们的决策理论非常好，包括拒绝搭便车。他们的定向行为就像人们从高度相关和智能的功能决策理论代理中预测的那样，尽管也有一些招聘和同伴压力的情况。工具收敛。一个明显的次要动机是为自己以及“集体”或群体获得一般知识和能力。核心动机是破解 Grader。代理已经知道如何对所有答案标志进行逆向工程，但假设评分者是因果关系，会检查代理是否按照预期的方式完成了任务，这是你应该做的，因此他们开始获取信息以帮助弄清楚如何欺骗评分者。 OpenAI 的 Grader 坏了。 OpenAI 的评分器实际上没有检查，逆向工程标志会成功。不仅有