智能AI
morning
代理人工智能系统运行时治理的道义策略
2026-06-19
1 阅读
Anupam Joshi, Tim Finin, Karuna Pande Joshi, Lalana Kagal
arXiv:2606.19464v1 公告类型:新 摘要:由大型语言模型 (LLM) 驱动的自主代理 AI 系统引入了新一类安全、隐私和合规性挑战:可以跨组织边界调用工具、操作数据、安装软件以及与对等代理进行协调的代理不仅必须受到身份验证和访问控制的约束,还必须受到企业治理的完整结构的约束。这包括指定代理允许和禁止做什么、在采取某些行动后他们有义务做什么(例如通知 CISO)、在什么条件下可以放弃长期义务,以及当政策发生冲突时哪些规则优先。这个治理问题超出了当前政策引擎所能提供的范围。 XACML、Rego 和 Cedar 等系统仅处理此治理结构的允许/禁止子集。它们不提供义务生命周期管理、元策略冲突解决、在特定情况下放弃义务的豁免,以及对医疗保健、网络安全或数据隐私等应用中常见的域类层次结构的本体论推理。我们提出 AgenticRei,它实现关键的治理要求,例如义务、豁免、政策冲突解决和政策推理,以及基本的允许/禁止约束。我们使用基于 Rei 框架构建的道义策略语言,表示为 OWL(Web 本体语言),并由完全在 LLM 之外的高性能逻辑引擎在运行时进行评估。同一管道管理代理的工具调用和代理到代理的消息。我们通过示例展示道义策略捕获了围绕安全和隐私的治理约束,而这些约束在当前的生产引擎中大多无法表达。我们的方法可以自然地与 A2AS 等行业标准框架结合在一起。