多模式代理框架的基础和前沿综述：技术和应用

arXiv:2608.20379v1 公告类型：新 摘要：大型语言模型 (LLM) 的进步推动了对代理的研究浪潮：推理、计划和行动的能力。这项工作产生了代理框架，围绕强大的法学硕士骨干协调感知、记忆和决策。随着大型多模态模型（LMM）的出现，这些系统可以处理和集成不同的模态，包括图像、音频和视频，从而提高其现实世界的适用性。然而，虽然存在对法学硕士代理人的调查，但近年来多模态在塑造代理人方面的作用尚未得到系统研究。这项调查通过分析多模态对代理框架核心功能模块（感知、推理、规划、记忆和行动）的影响来填补这一空白。使用这个镜头，我们追踪从以文本为中心的代理到多模态框架的演变，研究如何通过委托、后期融合和早期融合架构来集成模态，并评估由扎根感知和多模态推理实现的代理行为的出现。我们通过以模态为中心的分类法来组织现有的工作，该分类法将架构设计选择与代理功能联系起来。此外，我们还回顾了跨不同应用领域的多模式代理系统，包括机器人、GUI 和 Web 导航、多媒体内容生成和编辑以及长格式视频理解和检索。除了功能之外，我们还分析这些设置的性能并讨论效率与可扩展性的权衡，包括训练和推理成本、延迟和部署限制。通过关注多模态在代理设计中的影响，我们的目标是找出关键差距并制定通往稳健和通用智能系统的路线图。