“反向博弈论”如何控制人工智能代理

人工智能“反向博弈论”如何控制人工智能代理借鉴经济学等学科可以帮助人工智能安全研究人员控制人工智能模型，即使他们不理解它们。莎拉·罗杰斯/麻省理工学院技术评论| Getty Images、Envato 一种被称为“反向博弈论”的新方法旨在通过设计激励人工智能模型遵守规则的系统来控制强大的人工智能模型。随着人工智能模型的能力越来越强，安全研究人员正在努力确保它们与人类的愿望“保持一致”——换句话说，确保流氓特工不会违法、侵入未经授权的服务器或向大城市释放毒气并杀死我们所有人。到目前为止，这项工作主要集中在尝试深入人工智能的“大脑”以了解它在“思考”什么，或者训练模型以遵循我们所珍视的价值观。例如，克劳德有其宪法——一种道德准则。问题是，这些技术似乎效果不是特别好：模型已被证明故意在测试中表现不佳、隐藏其意图并误导评估者。现在一些对齐研究人员认为，逆向博弈论，也称为机制设计，可能会得到更好的结果。博弈论试图预测理性参与者在给定一组特定规则时将如何行为，而逆向博弈论则试图设计规则来引发我们想要鼓励的行为。现实世界中机制设计的一个例子可能是将一块蛋糕一分为二的经典策略：一个人切蛋糕，另一个人首先选择一块蛋糕。这会激励切割师使碎片尽可能均匀。其他例子包括叫车应用程序中的大幅定价（鼓励司机在繁忙时间提供服务）和次价拍卖（中标者支付第二高出价而不是最高出价的价格）。平台利用这些拍卖来销售在线广告，因为它们鼓励买家出价接近他们愿意支付的最高价格。在人工智能中，机制设计的前提是我们可能永远无法充分了解前沿模型的内部运作方式以确保它们保持一致。这意味着我们应该设计一些机制来激励代理按照我们想要的方式行事，而不管幕后实际发生了什么。麻省理工学院经济学家斯蒂芬·莫里斯（Stephen Morris）最近与耶鲁大学和哥伦比亚大学的同事一起发表了一篇预印本论文，提出了一些潜在的机制，可以阻止智能体“沙袋”测试（假装比实际情况更糟糕，例如，以避免触发安全机制）。一个模型不仅可以根据其在测试中的表现获得奖励，还可以根据其答案对第二个模型的预测能力进行奖励。故意装傻就会输掉赌注。 “人工智能代理非常了解其他人工智能代理可以实现的目标，”莫里斯说。 “因此，这似乎确实是这种交叉检查可以更实际地发挥作用的背景。该论文还建议让智能体相互竞争，创造一种竞争动态，激励他们发挥最佳水平，或者将已知有相反方向偏见的智能体配对，并根据其输出匹配的程度给予奖励，从而激励他们达到最佳答案。普林斯顿大学计算机科学教授埃拉德·哈赞（Elad Hazan）设想的第二种方法是设计从这些方式中汲取灵感的机制。人类社会让人们“保持一致”：社会规范、司法系统、自由市场资本主义的货币激励，“我们希望让超级人工智能保持一致，”他说，“为什么我们不先谈谈人类呢？我们如何调整人类？”哈赞建议的机制包括让人工智能模型轮流充当解决问题的“解决者”或检查其他人工作的“审计员”。 “一名特工的行为就像执法人员；他说：“在训练过程中，模型会根据结果获得奖励：被发现作弊的解决者会受到惩罚，而未能抓住作弊者的审计员也会受到惩罚。如果审计员和解决者之间存在分歧，案件可以被送去“审判”——也许由人类专家来决定谁是对的。哈赞承认，存在代理相互勾结的风险——因为审计员与企业勾结但这个问题可以通过给审计员足够的奖励来解决，这样被抓到就不值得冒这个风险（在人工智能训练的世界里，这比警察工资紧张的现实世界容易得多），哈赞引用了经济学家加里·贝克尔（Gary Becker）获得诺贝尔奖的工作，他提出了“理性犯罪者”的概念。在 20 世纪 60 年代，犯罪分子不会犯案。