首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 归档 标签 关于
智能AI morning

人工智能治理应优先考虑控制和知识边界,而不是限制智能

摘要

arXiv:2611.12941v1 Announce Type: new Abstract: The rapid proliferation of autonomously acting AI agents makes the governance of agentic systems urgent. We propose the competence circuit, summarized a...

the intelligence that and fast for rapid agents control takeoff
2026-11-11 1 阅读 约1分钟阅读 Hendrik Luuk
分享:
字号:
arXiv:2611.12941v1 公告类型:新 摘要:自主行动的人工智能代理的快速扩散使得代理系统的治理变得紧迫。我们提出了能力回路,概括为 IKC + KC + C,它将智能体对现实世界的影响分解为三个途径:智力介导的发现、程序性知识和直接控制。使用典型的快速起飞辩论作为压力测试,我们将智力介导的快速起飞的条件形式化为足以实现快速灾难性霸权的联合,这表明大多数人依赖于快速知识获取或控制实现,而不仅仅是智力。我们将认知智能作为假设选择效率进行操作,并通过跨连接链的六个场景的 NK 适应度景观的随机模拟来验证该框架。模拟支持的分析界限表明,无论任务难度如何,智力驱动的加速都受到竞争智力水平比率的限制。模拟还暴露了一个快速起飞的困境:只有当假设空间有噪声时,大型智能驱动的加速乘数才会实现,但绝对时间尺度仍然受到能力关键测试所需时间的限制,因此大乘数不一定意味着快速进展。模拟还表明,当强制授权延迟相对于这些智能体花在无效搜索上的时间可以忽略不计时较大时,机构阻塞点会不成比例地减慢超级智能智能体的速度。我们认为,主要的安全杠杆是限制控制和强制知识边界,而不是仅仅限制智能,这适用于任何能力级别的代理系统。纯数字领域削弱了这些瓶颈,强化了有意“将物理纳入循环”的架构的理由。
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱