代理可塑性：通过经验衡量自我完善

arXiv:2610.08902v1 公告类型：新 摘要：人工智能代理越来越多地在可以诊断故障并通过经验进行改进的环境中运行，但现有的评估主要衡量代理在固定时间点可以做什么，而不是学习的效率。评估自我改进需要回答三个问题：未来的表现是否会改善并推广到超越促进学习的互动？获得新能力的效率如何；自我完善的过程在哪里失败了？为了回答这些问题，我们在受控环境中研究自我完善，在该环境中，智能体将过去的经验分摊为可重用的工件，并由未来的实例继承。在每个检查点，我们都会衡量训练和保持环境交互的表现，同时考虑学习成本。我们引入了代理可塑性，即代理将经验转化为未来绩效收益的效率。在多种环境中，尽管学习机会相当，但前沿模型表现出截然不同的改进轨迹。有些人取得了实质性和持久的收益，而另一些人则仍然接近或低于其初始表现，并且训练制度内的收益通常只能部分转移到分布外的条件下。端点能力和采集效率也存在差异：最终表现最佳的代理不一定是改进最有效的代理。通过改进循环追踪失败进一步揭示了不同的候选瓶颈。可塑性较低的代理通常无法重用相关工件，而更多的可塑性代理尽管重用了相关工件，但仍可能失败，这表明工件质量、泛化或应用方面的局限性。评估自我改进的代理不仅需要衡量他们能做什么，还需要衡量他们如何有效地通过经验变得更好。