这个寓言故事上笼罩着阴影

2026-06-13 1 阅读 theahura
科技事物:这个寓言事物笼罩着巨大的阴影,伙计,我只是想放松一下,并(让我的经纪人)在星期五 theahura 2026 年 6 月 13 日 1 2 2 分享好吧。我本来不太打算今晚写这篇文章,因为今天是星期五,星期五是我喜欢编码的时间,当我说编码时,我的意思是“让代理在我和朋友一起看足球的时候编码。”最近我一直在制作一些有趣的 html 游戏。实际上,我还有另一篇草稿文章,内容是关于我认为我们应该如何看到“Flash 游戏”复兴的复苏,因为使用 AI 工具制作有趣的小游戏变得更加容易。但正当我思考如何让我那糟糕的密室主题射击游戏玩得更好时,经纪人说:“抱歉!”这个模型已经不存在了!’什么鬼? 《12 克碳》是一本由读者支持的出版物。要接收新帖子并支持我的工作,请考虑成为免费或付费订阅者。订阅 我的第一个想法是我需要重新登录。大多数时候我并行运行大量代理,所以我的直觉是这只是一个非常非常奇怪的极限错误。我隐约知道 Anthropic 正在考虑将《神鬼寓言》从订阅计划中取消,所以我转向了 API。还是什么都没有。我的团队构建了一个定制的 Rust Agent 客户端,非常棒。但我的下一个想法是“天哪,线束变砖了”,然后我开始研究 Rust,这是一种我几乎不知道的语言,尽管我表面上已经编写了数万行代码。就在那时,我的朋友说“政府禁止寓言。”他妈的是什么?但这是真的。美国政府指示 Anthropic 禁止世界各地的任何外国人(包括美国境内的外国人,包括 Anthropic 员工)访问《寓言和神话》。这是一个不可能的要求,政府也知道这一点,因此 Anthropic 禁止了对《寓言/神话》的所有访问。美国政府以国家安全部门为由,发布了一项出口管制指令,暂停任何外国人(无论是在美国境内还是境外)访问《神鬼寓言 5》和《神话 5》,包括 Anthropic 的外籍员工。该命令的最终影响是,我们必须突然禁用所有客户的《神鬼寓言 5》和《神话 5》,以确保合规性。对所有其他 Anthropic 模型的访问不会受到影响。 ……我们今天下午 5:21(东部时间)收到了政府的指令。这封信没有提供其国家安全担忧的具体细节。我们的理解是,政府认为它已经意识到一种绕过或“越狱”《神鬼寓言 5》的方法。我们回顾了这种特定技术的演示,该技术用于识别少量先前已知的小漏洞。这些漏洞看起来都相对简单,我们发现其他公开可用的模型也能够发现它们,而无需绕过。 ……我们审查了一份报告,我们认为该报告是政府指令的基础,并验证了该报告所显示的能力水平可广泛用于其他模型(包括 OpenAI 的 GPT-5.5),并且每天都被保护系统安全的防御者所使用。我们将在接下来的 24 小时内分享更多详细信息。 ……我们正在遵守政府的法律指令,并取消所有用户对《神鬼寓言 5》和《神话 5》的访问权限。然而,我们不认为,小范围潜在越狱的发现应该成为召回部署到数亿人的商业模式的理由。对此有几点想法。说实话,我内心是非常矛盾的。大多数时候我都是人工智能的毁灭者。我曾训练过许多深度神经网络,因此我对优化器可能出错的方式深有体会。我们优化我们可以衡量的内容,而不是我们实际想要实现的目标。我们希望并祈祷这些是同一件事,但事实往往并非如此。我们想要打造优质的产品,但我们不知道如何做到这一点,因此我们针对参与度进行优化。我们想教孩子们如何阅读和写作,但我们不知道该怎么做,所以我们针对测试成绩进行优化。我们想改善经济,但我们不知道该怎么做,所以我们杀死了数千头鲸鱼,让它们的尸体在码头上腐烂。 AGI / ASI 系统是优化器,而优化器确实可能极其危险,其方式极其难以预测,因为在它们努力优化我们可以衡量的内容时,它们的优化偏离了好的一面。企业也是优化者,所以他们当然正在优化“尽快赚钱”——这是我们可以衡量的——尽管许多构建它的人都说“嘿,是的,这真的很危险”,这对于整个人工智能对齐辩论来说当然是一个奇妙的寓言。但同时,整个事情也笼罩着巨大的阴影。如果美国历史上任何其他政府采取了这一步骤,那么就有充分的理由至少给予该政府无罪推论。但这克