智能AI morning

NOVA:通过人工智能发现知识的基本限制

2026-05-18 1 阅读 Salman Avestimehr, Ken Duffy, Muriel M\'edard
arXiv:2605.15219v1 公告类型:新 摘要:人工智能系统能否通过迭代自我改进发现真正的新知识?如果可以,代价是什么?我们引入了 NOVA 框架,它将常见的“生成、验证、累积、再训练”循环建模为知识空间上的自适应采样过程。我们确定了积累的真正知识最终覆盖有限领域的充分条件,并展示了它们的违规行为如何产生不同的失败模式:污染、遗忘、探索失败和接受失败。然后,我们分析不完善的验证并识别污染陷阱:随着易于查找的知识耗尽,分配给新的有效工件的模型质量会缩小,因此即使很小的误报率也会导致无效工件比真正的发现更快地进入知识库。我们澄清,古德-图灵估计是一种局部批量多样性诊断,而不是对历史上未发现的有效质量的估计,而该质量控制着长期的发现。在将模型的有效发现分布与指数 $\alpha>1$ 的 Zipf 定律相关联的单独尾部等价假设下,我们证明获得 $D$ 不同真实发现所需的累积生成成本满足 $R_{\mathrm{cum}}(D)=\Theta(c_{\mathrm{gen}}D^\alpha)$,其中 $c_{\mathrm{gen}}$ 是每个候选生成成本。随着发现前沿的推进,这种缩放定律量化了渐近收益递减。最后,我们通过指导、生成和验证将人类放大形式化,解释了为什么专家输入在自主探索障碍附近最有价值。