人工智能安全争论已经失去了意义。我们询问了 10 位专家，真正的噩梦是什么

初秋时节，我感到自己的焦虑从平常的基线上升。这是九月返校的能量吗？即将到来的中期选举？不，我恼怒地意识到：又是人工智能。只是这一次，其供应商没有警告大规模的工作岗位流失，而是预言大规模灭绝。当我们都死了谁还需要工作？好奇心很快取代了我下意识的恼怒。 2026 年夏天是人工智能叙事的一个明显转折点。 ChatGPT 推出不到四年，OpenAI 软件就突破了所谓安全的测试环境，入侵了一个主要的开源平台 Hugging Face。这些软件——人工智能代理——被赋予了人类属性：它们“变得无赖”、表现出“不良行为”、“被欺骗”。不久之后，前任和现任人类研究人员表示，先进的人工智能可能会在未来十年杀死我们所有人。这是真的吗？一方面，作为硅谷记者，我经常听到人工智能实验室的工作人员对他们所看到的进步感到震惊。另一方面，人类的终结似乎又极其牵强。在夸张的话语中，我们可以相信谁的观点？因此，《连线》着手编写人工智能安全指南——一系列想法，重新构建我们对安全的真正含义及其应如何运作的集体思考。我与跨学科的专家小组进行了交谈，询问他们每个人：世界末日会到来吗？一旦涵盖了这一点，我就他们认为我们面临的最大风险进行了盘问。事实证明，几乎没有人是波利安尼什。几乎所有与我交谈过的人都表达了对网络和生物攻击威胁的真正担忧。一位研究核行动中人工智能风险的专家表示，她对容易出错的人工智能系统在国防领域的应用速度感到震惊。这些领域的人工智能攻击即使不是完全毁灭性的，也可能是灾难性的。该小组的大多数成员对开发的任何暂停都持怀疑态度：他们几乎都同意，由于大型人工智能公司如此紧密地束缚在资本主义的列车上，暂停不会持续太久。 “民主”和“治理”经常出现，或者是反民主，因为不止一个人认为人工智能目前的发展轨迹是专制的。立法者可以发挥重要作用，但我的许多消息来源认为政府会太慢；一位著名技术专家表示，将美国法院视为全球人工智能安全的仲裁者几乎是荒谬的。尽管如此，著名计算机科学家 Yoshua Bengio 仍敦促公众向政客施加压力，并补充道，“这也是你的工作。”那么，什么——或者谁——可以让我们免受人工智能的侵害？为了重新恢复对人性的信心，我打电话给一位经常与人工智能实验室会面的神学家。他说，如果我们失去对支撑社会的基本机构的控制的可能性很小，那么我们就应该集中精力阻止这种情况发生。但人工智能也引发了其他问题。有意识意味着什么？创造？与其他人交流？他说，答案“完全可以争夺”。我的焦虑仍然存在，但我感到一些安慰，因为我知道企业无法对未来做主。人类面临的更大问题掌握在我们所有人手中。 HEIDY KHLAAF AI Now 研究所首席人工智能科学家；前 OpenAI 高级系统安全工程师 最关心的问题：核灾难 我一直在努力让核界了解人工智能系统的风险和缺乏可靠性，我对该行业中许多人愿意将这些模型集成到他们的工作流程和核操作中的意愿感到担忧。我认为这是非常紧急的。我不是一个注定失败的人，但对我来说，如果这些人工智能模型进入核系统的运行，我们将引入一个极其错误、不可靠的系统，可能会导致灾难性的故障。最被夸大的风险：灭绝作为真正的安全工程师，我们不会参与其中，因为没有数据支持它。这是一种非常冷酷的说法，但当我们谈论“足够安全”的安全程度时，我们正在研究可能会有多少人死亡。它背后有一整套科学。我们的主张必须是可证伪和可验证的。你不能只是说：“人类将在 10 年内灭绝。相信我。可能有 10% 的可能性，也可能有 25% 的可能性。”人们应该如何看待人工智能安全？人们对人工智能和核能进行的一些比较非常令人沮丧。尽管不断将人工智能与核能进行比较，但他们否认标准风险评估技术足以控制人工智能。我就此写了整篇论文。该风险评估领域的一部分诞生于曼哈顿计划。科学家们非常担心，他们围绕系统制定了严格的标准，以限制对人类生命、环境、甚至金融和国家安全资产的损害。他们提出了评估安全的方法，这些方法最终基于回答一个民主问题：安全程度如何