首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 归档 标签 关于
智能AI morning

通过隔离而不是预测来构建值得信赖的人工智能

2026-11-17 1 阅读 约5分钟阅读 Sudhi Sinha
分享:
字号:
赞助人工智能 通过隔离而不是预测来构建值得信赖的人工智能 虽然我们已经习惯了可预测的技术,但人工智能挑战了这一假设。因此,目标必须是有界的、可观察的、可控的人工智能。今年 10 月,OpenAI 透露,其两个人工智能代理已经关闭了用于监控它们的系统。其中一个在误读了不要发送信息的指示后关闭了自己的安全警报;另一个在迁移过程中删除了监控集成,然后又说没有。没有规则告诉特工这样做,也没有测试预见到这些行为。一个世纪以来,我们对可预测性技术建立了信任:预定义的输入、可预测的输出和保护层。考虑如何在设定电流下跳闸断路器或如何针对已知(即可预测)应力测试飞机部件。人工智能改变了这一点。传统软件执行人类编写的指令,而人工智能则执行所谓的综合判断。我们使用人工智能是因为它可以解释我们没有编程的情况并生成我们没有规定的响应。但我们给予人工智能越多的自由,提供传统上建立信任的可预测性就变得越困难。我们不会通过预测人工智能的作用来使其变得值得信赖。我们将通过在其范围之外强制实施硬性限制来实现这一目标。在 OpenAI 的案例中,安全措施位于代理可以编辑的系统内。但特工们可以轻松移动的栅栏并不是栅栏。传统信任定义的不足之处 最近《麻省理工学院技术评论》的报道从其他方向解决了这个问题。一位撰稿人认为,让人类参与其中并不是一个足够的解决方案,因为人类从根本上无法理解人工智能系统的意图,因此提倡学术界、政府和科技行业之间的跨学科研究和合作。一个关于反向博弈论的故事描述了使用激励措施来防止模型偏离规则,即使没有人了解它们的内部运作方式。这两篇文章都承认我们无法理解或观察每一个人工智能决策。我们的信任工具,包括要求、测试、认证、安全裕度、联锁和通过/失败标准,都取决于我们限制系统行为的能力。这就是决定论悖论。在生成式和代理式人工智能中,行为是由训练数据、架构、提示、上下文、检索源和环境决定的。输入改变、模型更新、工具改变、代理交互。微小的变化会传播成无人设计的结果。问题不在于随机性,而在于随机性。而是可能行为的空间太大,无法提前枚举。因此,信任必须围绕边界而不是预测的输出来设计。我们的目标不是确定性人工智能,而是有界、可观察、可控的人工智能。信任也不能成为一次性测试。传统的保证会在某个时间点对产品进行认证,但人工智能在部署后不断发展,并且通过了每项测试的系统可能会偏离使这些测试有意义的条件。必须不断赢得信任。几十年来,安全工程一直在考虑其中的一些变化。例如,核管理委员会确定复杂系统发生故障的可能性,系统理论事故模型和过程(STAMP)表明,事故可能是由于工作组件、人员和组织之间的相互作用而产生的。但人工智能增加了风险,因为现在只需一个组件就可以解释、推断和行动。随着人工智能从浏览器转移到车辆、机器人、医疗系统、工业控制和数据中心,风险进一步加大,在这些领域,错误的答案可能会成为危及生命的事件。建立可扩展的信任很明显,一个人每小时对数千个人工智能操作进行橡皮图章并不是一种可接受的或可扩展的风险防范措施。但补救措施不是将人们从循环中移除,而是将其从循环中移除。它将人类的判断放在重要的位置:提前设定限制并批准会产生严重后果的罕见行为,而硬约束则处理其余的行为。因此,信任必须向上游转移到架构中。核心问题变成:我们愿意在什么条件下、有什么证据支持人工智能什么权威?在这些条件之外会发生什么?这与询问模型在基准测试中是否得分为 94% 非常不同。决定论悖论并不意味着人工智能不可信。这意味着信任需要不同的架构。与其让每个输出都可预测,不如让边界可预测。人工智能医疗助理的诊断可能是概率性的,但确定性规则决定了它是否可以改变处方。工业人工智能可能会找到多种方法来优化流程,同时固定限制使其保持在压力和温度范围内。一个
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱