视频生成也能查资料、做模拟：8B智能体学会自主调用工具

从检索动作知识、寻找角色参考，到模拟运动和衔接镜头，一个经过强化学习的智能体，能给视频生成带来多大提升？ 让视频模型生成一个人打太极，画面可能很流畅。但如果把要求具体到某个招式，手该怎么抬、重心该怎么移，模型还能做对吗？ 再加一点难度：指定一个角色，让它完成这套动作；或者要求两个物体按给定条件碰撞，再把一段故事分成三个连续镜头。 这些要求把视频生成带到了更细的层面。动作需要知识，角色需要视觉参照，运动需要物理约束，多个镜头还要保持顺序与连续性。仅靠一句提示词，生成模型未必能把所有细节都处理好。 如果系统可以先查资料、找参考，必要时跑一次模拟，再决定怎样生成视频，会发生什么？ VideoGen-Agent 尝试把这些步骤交给一个可训练的多模态智能体 。它以 Qwen3-VL-8B-Instruct 为基础，在多轮交互中调用检索、生成和验证工具，并根据工具返回的结果继续作出决策。研究团队先用监督微调建立工具使用能力，再通过多任务强化学习改进这套决策过程。 在包含 600 条提示词、覆盖六类能力的 VABench 上，VideoGen-Agent 的 Toolset 1 配置取得 75.6 分 ，相较基础视频生成器的 56.5 分提高 19.1 分 。保持智能体参数不变、升级生成工具后，得分进一步达到 86.1 分 。在人类比较中，评估者在 84.3% 的判断中更偏好升级配置生成的视频，而非最强单模型基线的结果。 论文：VideoGen-Agent: Reinforcing Video Generation Agents 论文链接：https://arxiv.org/abs/2609.24997 项目主页：https://andyca111.github.io/VideoGen_Agent/ VideoGen-Agent 面向不同生成要求选择工具：检索动作知识、获取视觉参考、模拟物理运动、验证场景结构，以及逐段生成连续镜头。 看三个例子，工具具体补上了什么 第一个例子是太极招式「白鹤亮翅」 。 图 1 第一行中，单模型已经生成了白衣练习者和庭院，也表现出了武术动作，但展示的姿态更接近泛化的展臂、收手，未清楚体现指定招式的动作细节。Agent 先检索招式说明，将重心后移、右腿屈膝和左脚前移等信息补充到生成输入中。右侧关键帧呈现出逐步抬臂、形成一高一低手位的过程。这里需要补充的是动作知识：提示词中的招式名称被展开成了可供生成器使用的具体描述。 第二个例子是指定游戏角色持弩的场景 。 图 1 第二行中，单模型抓住了「人物」和「弩」，却生成了写实风格的兜帽持弩者，未呈现参考素材中的角色造型。Agent 通过图像检索获取视觉参考，再将其交给条件生成工具。右侧结果在发型、服饰和整体角色风格上更贴近图中选用的参考。这个对比说明，仅凭角色名字可能只生成一个语义上接近的人物，而视觉参考能够把身份要求落实到可见的外观特征。 第三个例子要求一段 12 秒视频按三个时间阶段展开 。 图 1 最后一行的提示分别规定了三个阶段的内容：先展示承受重压的雨槽，随后支架开裂，最后雨槽向下摆落。相比单模型一次性生成整段视频，Agent 根据 prompt 中的时间结构将视频拆成三组连续镜头，并分别按照对应时间段的子 prompt 进行生成，同时使用上一段的末帧作为下一段的视觉条件。右侧关键帧因此分别对应三个阶段，使不同时间段内要求的事件能够逐段得到满足，并在整体上形成与原始 prompt 一致的时序过程。 这三组样例分别对应动作知识、主体外观和事件顺序。它们展示的是图中这次生成的具体差异；关键帧无法独立证明整段视频的动作精度与时间对齐程度，整体效果还需要结合后面的 VABench 和人类评估来看。 先把生成这段视频需要的信息找齐 VideoGen-Agent 的工作从理解任务开始。 遇到带有专业知识的动作描述，智能体可以先检索文本资料，把动作步骤和关键细节补充到生成输入中。遇到指定角色、地标或品牌物体，则可以检索图片，选择参考素材，再调用图像或多参考图条件下的视频生成工具。 物理任务提供了另一种工具使用方式。对于给定初始条件的碰撞、下落场景，系统可以通过模拟得到运动条件，再把这些条件交给支持运动控制的视频生成器。这样，生成过程能够使用外部计算得到的运动信息。 工具也可以在视频生成之后发挥作用。例如，一段视频要求多个物体以特定位置关系出现，系统可以利用目标检测和深度估计检查主体与空间结构，并根据反馈决定是否重新生成。 多镜头任务则需要处理前后衔接。智能体可以先生成第一段，提取末帧作为下一段的条件，逐步完成后续镜头。前一段的实际输出，由此成为下一步决策的输入。 这些能力共用一个智能体策略。系统提示中提供工具约束和典型流程，具体执行时，策略根据用户要求和已有观察选择工具、组织参数，并决定是否继续验证或生成。每一步获得的信息，都能影响后续动作。 智能体围绕用户提示和交互历史，持续选择工具并读取反馈。工具分为信息增强、视频生成和结果验证三组。图中的 action-to-video 为机器人探索实验的扩展接口，不计入六任务主评测。 从模仿工具调用，到根据生成结果学习 把工具接上以后，怎样让智能体学会用好它们？ 研究团队为六类任务构建了 24K 条提示及教师交互轨迹。其中，16K 条教师轨迹用于监督微调，让模型学习如何选择工具、填写参数，以及利用工具返回的信息。另有 8K 条提示留给强化学习，智能体在这些任务上重新采样自己的执行过程。 监督微调给出了可供学习的示范。强化学习进一步比较同一任务下不同执行轨迹的表现，让更有效的决策获得更强的训练信号。 难点在于，视频生成很难只靠一个简单的「对或错」判断。工具调用格式正确，不代表工具选得合适；工具选对了，也不保证最终视频满足要求。 因此，训练同时检查三个方面：调用是否有效、工具使用是否符合任务需要，以及视频质量与提示的一致性。三项奖励的权重分别为 0.1、0.4 和 0.5。其中，视频评分使用针对不同任务设计的评价准则，工具奖励还会检查返回结果的利用情况。 这种设计把训练信号连接到了完整执行过程。例如，查到了参考图片以后，图片是否进入后续生成，比单纯记录一次检索调用更有意义；生成了一个流畅片段以后，片段是否体现了指定动作，也需要单独评价。 六类任务的评分分布并不相同。研究还在同一提示下的组相对归一化之后，加入任务类别内的优势归一化，使不同类别的学习信号处于可比较的尺度。整个训练过程更新的是智能体策略，视频生成器作为工具参与交互。 16K 条教师轨迹用于监督微调，8K 条独立提示用于强化学习。混合奖励结合调用有效性、任务相关的工具使用和视频质量，指导共享策略学习。 600 道题，分别检查视频有没有完成要求 为了评估工具使用带来的效果，研究团队提出了 VABench：一个面向视频生成智能体的复杂任务基准 。它包含 600 条未参与训练的提示，六类任务各 100 条，重点考察系统能否满足知识、身份、物理、场景关系和时序方面的具体要求。 候选提示经过重复检查、VLM 筛选和人工审核，每类从 150 条候选中选取 100 条。评测使用 Gemini 3.1 Pro，按各类别的评价维度与权重给视频打分，归一化到