科大讯飞-Embodied-Omni技术报告

arXiv:2607.02542v1 公告类型：新 摘要：通用实体代理必须理解多模式指令，预测其环境将如何演变，并在更广泛的范围内产生精确的控制动作。现有的方法通常专注于视觉语言推理、基于视频的世界建模或动作生成，而首先综合未来观察结果然后推断动作的级联管道可能会引入接口瓶颈和复合预测错误。我们提出了 iFLYTEK-Embodied-Omni，这是一个统一的多模态基础模型，可在单个 Omni 框架内对视觉（视频和图像）、语言和动作进行联合建模。其特定于模态的视觉语言、视频生成和动作生成组件通过共享的多模态自注意力进行通信。该设计建立了大脑-小脑协作：视觉语言模型和视频生成模型形成了用于指令理解、任务规划、进度跟踪和未来视觉状态预测的高级大脑，而动作生成模型作为低级小脑，直接将计划的子目标和共享的多模态上下文转换为可执行的动作块。为了开发这些功能，我们将来自人类演示和机器人交互的带动作注释和无动作的具体视频与具体推理、具体感知和通用图像文本数据相结合，构建一个综合数据集。我们进一步采用四阶段策略，逐步训练 VLM、VGM 和 AGM，然后共同微调整个模型。