九文共生深度解析：从数字世界走向物理世界，为物理AI打造Symbiosis（共生）

Jiuwen Symbiosis是一个能懂人话、看得见物理世界、控制四肢执行的Physical AI Agent。用户不需要示教，只需像指挥一个经验丰富的工人一样，用自然语言下任务，它就能自己完成感知、理解、规划、执行。同时，对昇腾、鲲鹏算力具备天然亲和性，保障推理性能高效稳定。本文将对其技术进行详解。 GitHub： https://github.com/openJiuwen-ai/jiuwensymbiosis GitCode： https://gitcode.com/openJiuwen/jiuwensymbiosis AI Agent已经能够在数字环境中展现出不错的能力，比如写代码、查资料、调用工具、整理内容等。不过，这些能力大多仍停留软件与屏幕之内，还没有真正走进物理世界。 下一步的重要方向，是让智能体从“数字助手”走向“物理世界的执行者”。用户只需通过自然语言下达指令，智能体就能够结合对真实环境的感知与理解，自主完成相应的物理操作，并把任务在现实场景中真正落地执行。 OpenJiuwen 社区近期开源的 Jiuwen Symbiosis，正是围绕这一方向展开的一套面向 Physical AI 的 Agent 框架。它的目标不是简单地让 AI"动手"，而是让 AI 真正读懂物理世界、自主操控现实环境，像一个熟练工人那样听懂任务、直接上手。 这背后是一个看似简单、却很关键的转变——只告诉它做什么（What），不必教它怎么做（How）。在传统机器人系统中，要让机器真正完成一个任务，往往需要把流程拆解得非常细：通过示教器一点点记录轨迹、把动作顺序写成固定脚本，一旦任务或环境发生变化，就必须重新配置甚至重新编排整个流程。这种方式虽然可控，但泛化能力有限。 而在Jiuwen Symbiosis 的设计中，这一模式正在发生变化。用户只需给出一个自然语言层面的任务指令，系统就可以在实际场景中自主完成理解与执行：它会识别环境状态、定位目标对象、进行任务分解与规划，并在执行过程中根据反馈动态调整。如果出现抓取偏移、放置不准确等情况，也能够进行纠正和再尝试，而不是严格依赖预先写死的步骤。 从使用体验上看，用户不再需要关心中间的执行细节，只需要表达最终目标，其余的理解、规划与控制过程由Agent 自主完成。这种从“单向指令执行”到“任务协同完成”的变化，也正是 “Symbiosis（共生）”这一命名所表达的核心含义——人类与智能体在同一目标下分工协作，而不是简单的控制与被控制关系。 “人说一句，机器就把活干完”——要让这件事在真实世界里既稳定又安全地落地，究竟该如何实现？直接训练一个足够强的大模型，将感知理解、任务规划与动作执行全部交由单一模型来完成，是否就足以解决问题？ 为什么不把所有能力交给单一端到端大模型 先说结论：并不足以解决问题。将“感知理解 → 任务规划 → 动作执行”完整压缩进一个 Transformer，并通过端到端方式直接输出关节位姿，看起来是一条足够优雅的路线，但在真实机器人系统中仍然面临几个绕不开的关键挑战： · 跨本体、跨环境与跨任务的泛化能力有限。 当前主流端到端具身模型（如VLA）通常与特定机器人形态和训练场景强耦合。一旦更换硬件平台或部署环境，甚至面对分布外的任务变体，往往需要重新采集数据并重新训练，导致整体成本高、迁移效率低，难以支撑规模化落地。 · 长程复合任务能力不足。 在多步骤、长时序任务中，单一端到端模型往往缺乏显式的任务分解与子任务编排能力，也难以进行中途纠错与策略回退。本质上更多是在学习“轨迹模仿”，而不是具备在线规划与决策能力。 · 成功率低、稳定性差。 当前具身端到端基础模型为典型的黑盒结构，直接输出关节位姿，大模型兼顾认知决策与运动控制，整体训练难度大，在真实物理系统中往往表现为稳定性不足、任务成功率低。 针对上述三大核心痛点，Jiuwen Symbiosis 提出以端到端智能体（Agent）系统替代传统单一端到端模型。两者的核心区别在于：该方案不再依赖一个黑盒模型统一完成感知、规划与动作执行，而是转向一种分层解耦的系统设计范式，具体而言： · 一是解耦本体、环境与动作执行模块，使系统在硬件形态或场景环境发生变化时，仍能稳定泛化迁移。 · 搭建原子化工具库（Tool Library），通过工具组合完成复杂任务，依托组合泛化能力适配各类长时序复合作业； · 将感知、规划、执行拆分为独立可解释显式模块，统一运行于具备态势感知（Situation Awareness）的智能体循环链路中，内置实时视觉反馈与动态任务重规划机制。模块解耦使得端到端优化难度降低，显著提升系统稳定性与任务成功率。 技术核心：态势感知循环（Situation Awareness Loop） 物理AI 与数字 AI 之间存在本质差异。在数字世界中，即便对话或决策出现偏差，也可以通过撤回、追问或重新生成来修正结果；但在真实物理环境中，机器人一旦执行错误，轻则导致操作失败或路径偏移，重则可能造成设备损坏、生产中断，甚至引发安全事故。 更关键的是，物理世界本身是持续变化且不可完全回放的：物体可能被意外扰动，场景状态随时发生变化，机械臂也可能因为累积误差而无法精确到位……这些不确定性是常态，而非例外。 因此，Physical Agent 不能依赖“预先规划完整流程并一次性执行”的开环模式，而必须构建一个持续运行的闭环系统。在这一框架下，系统需要不断在“感知—执行”之间循环迭代：实时获取环境状态、推理并生成下一步动作、执行物理交互、再对执行结果进行校验与修正，并基于反馈持续更新后续决策。 这一闭环机制，正是Jiuwen Symbiosis 的核心设计之一——态势感知循环（Situation Awareness Loop，简称 SA Loop）。整套系统通过多个关键环节首尾衔接、持续迭代，使智能体能够在物理世界中保持稳定运行与自适应能力，其完整流程如下： 九问物理感知→ 安全规划 → 物理执行 → 状态观察 → 观测反馈 →（回到感知） 下文将依次拆解各环节的核心功能与运行逻辑。 一、九问物理感知（Jiuwen Physical Perception）：先看懂现场，听懂指令，输出结构化场景状态 本环节是Agent 的感知器官，接收视觉、文本、语音等多模态输入，负责将非结构化的物理现场转化为结构化的世界状态，为规划层意图推理、任务编排与技能构建提供标准环境依据。除了进行场景理解、目标检测，感知模块还需要承担所有空间解算工作，输出可直接复用的标准化技能参数，使规划层无需开展任何空间推算与数值解算，仅负责逻辑决策与技能组装，实现感知与规划的彻底解耦。 在感知流程上，系统并行处理两个关键问题：看什么，与怎么看。相机同步获取RGB 与深度信息，为空间解算提供高精度数据基础。与此同时，物体检测摒弃了传统的硬编码类别清单，转而采用开放词汇范式：只需将目标描述（如“黑色盒子”）以纯文本形式输入感知模型，即可完成定位与识别，检测对象完全由用户指令动态指定。 面向机器人实操场景，本模块统一将目标坐标投影至机械臂基座坐标系，自动解算抓取高度、接近位置、放置点位等核心参数，最终整合形成包含目标语义、位姿、置信度与可执行参