“反向博弈论”如何控制人工智能代理

普林斯顿大学计算机科学教授埃拉德·哈赞 (Elad Hazan) 设想的第二种方法是设计从人类社会使人们“结盟”的方式中汲取灵感的机制：社会规范、司法系统、自由市场资本主义的货币激励。 “我们希望整合超级人工智能，”他说。 “我们为什么不先谈谈人类？我们如何协调人类？”哈赞建议的机制包括让人工智能模型轮流充当解决问题的“解决者”或检查其他人工作的“审计员”。 “一个特工的行为就像执法人员；另一个特工的行为就像公民，”他说。在训练过程中，模型根据结果获得奖励：被发现作弊的解决者会受到惩罚，而未能发现作弊者的审计员也会受到惩罚。在审计员和解决者之间存在分歧的情况下，案件可以被送去“审判”——也许由人类专家来决定谁是对的。哈赞承认，存在着代理人相互勾结的风险——就像审计师与他们本应审计的企业勾结，或者腐败的警察与犯罪分子勾结一样。但这个问题可以通过给审计员足够的奖励来解决，这样被抓到就不值得冒险（在人工智能训练的世界里比现实世界容易得多，因为警察工资很紧张），并使用类似于雇用神秘顾客的技术对审计员进行审计。哈赞提到了经济学家加里·贝克尔 (Gary Becker) 获得诺贝尔奖的著作，他在 20 世纪 60 年代提出了“理性犯罪者”的概念。他说，罪犯不会触犯法律，因为他们本质上就是坏人。相反，考虑到所提供的激励措施，当这是最理性的选择时，他们就会这样做。只有当收益超过潜在的惩罚时，犯罪才有意义。他认为，对齐不应被视为模型的属性，而应被视为模型在特定时刻行为的描述。 “你是一个好人，”他说。 “你们一致吗？我不知道。可能大多数时候你们是一致的，但也可能存在不一致的情况。”将机制设计应用于人工智能的一个潜在问题是：它依赖于人工智能代理行为理性的假设。机制设计与人类的记录有好有坏，人类常常无法按照经济模型所说的方式行事。具有讽刺意味的是：经济学家花了几十年的时间试图将人类行为简化为数学，而现在，在大型语言模型中，我们已经构建了在人类语言上运行的数学系统，并且可能同样难以理解。人工智能模型表现出的行为看起来更像人类而不是机器，并且它们可能会受到难以理解和解释的微妙因素的影响。 “假设他们会对激励措施做出反应是否合理？”熨斗研究所 (Flatiron Institute) 的研究员 Helen Qu 问道，该研究所是一家致力于通过计算方法推进科学发现的非营利组织，她撰写了有关机制设计和人工智能安全的文章。