独家对话银河通用张直政：我们找到了VLA和世界模型的融合之路

“从加入银河到现在，除了吃饭睡觉，基本上都在工作。”说这话时，张直政抬手摸了摸鬓角，笑了笑，“多了一些白头发。” 5月的一个下午，在北京我们见到了银河通用 机器人 联合创始人兼大模型负责人张直政博士，他曾任 微软 研究院高级研究员，参与微软公司Copilot、Token Mixers、Dynamics 3让各式模型路线兼容并蓄，使不同具身数据各尽其用。65 Connected Spaces等多个大模型及相关产品研发，因其对人形机器人、具身智能等国家重要战略方向的突出贡献，2025年获评“北京市劳动模范”称号。 他说话风格犀利、直接，却又不失严谨，遇到模棱两可的问题时，喜欢先定义本质。这种习惯，大概源于长期坚守第一性原理训练出的思维方式。 “我在微软既做基模研究，也负责把基模变成大模型产品。”张直政回忆，“但越做越觉得，AI如果永远困在电脑里，这不是真正的AGI。把AI从数字世界释放到物理世界，让它在物理世界里感知、思考、行动、改变环境才是下一个阶段的挑战。” 2023年，恰逢王鹤刚创业，正在寻觅一个兼具研究背景和产品转化经验的人来主导大模型研发，通过中间人牵线，两人聊完一拍即合。 离开前，微软亚洲研究院院长问他：“加入一个刚成立的创业公司，明年的今天可能发不起工资，你真的想好了吗？” “当一件事足够有意义，你又对它负主要责任时，就没有必要担心这件事情了。”张直政说。如今这家公司，已经成长为具身智能赛道的头部玩家。 这场对话，缘起于银河通用最新发布的技术LDA（Latent Dynamics Action Model）。这是一个在隐空间中统一世界模型与VLA的跨本体动作基础模型，首次在数据层面实现虚实共融、人机混合、质量参差、有无动作标签的数据统一有效利用。它真正做到了“让各式模型路线兼容并蓄，使不同具身数据各尽其用”。目前，该工作成果成功登顶今年仅有210篇录用的机器人顶会RSS，项目成果代码已全面开源。 对谈持续了一个多小时。从LDA的技术路线与落地挑战，到银河通用坚守初心的全栈思考；从具身行业的泡沫与“烧钱”真相，到那个万众期待的“具身GPT时刻”。 银河通用机器人联合创始人兼大模型负责人张直政博士 以下为与张直政博士的对话全文，略有删减： 智客ZhiKer：LDA（Latent Dynamics Action）是终局的唯一解吗？ 张直政：目前看是最有希望的解。 智客ZhiKer：VLA与世界模型技术路线分歧的终局，您是怎么思考的？ 张直政：现在行业里很多人把VLA和世界模型当成两条独立甚至对立的技术路线，但我们不这么看。 VLA模型直接学习策略，世界模型侧重预测环境的状态转移对环境状态进行建模，LDA既学习“我该做什么”，又建模“环境会怎么变”，在一个统一的Latent Space里让二者协同训练、相互增益。 后续行业可以将LDA当作具身智能大模型的底层框架，再结合不同类型、各具特点的数据一层一层地把它Scaleup起来。 智客ZhiKer：在理解世界如何演化这件事上，LDA与李飞飞和LeCun的世界模型相比有什么区别？ 张直政：李飞飞和LeCun的世界模型主要在回答“世界应该如何被表征、预测和生成”。更关注对于物理世界在投影空间中状态建模的三个问题，生成一致的世界、多模态输入输出、以及在给定动作或目标时预测世界下一状态。而策略学习仅是其下游任务，他们仅做了简单初步的验证，尚未将其作为核心研究目标来攻克。 LDA更进一步把问题落到具身智能上，在回答“世界演化如何直接服务于动作生成，并且如何利用全谱系具身数据规模化训练”，更侧重“我能采取哪些行动”以及“应输出何种动作才能达成预期目标”，世界的变化只是其中的一个训练子任务。 智客ZhiKer：LDA理解固定场景下世界如何演化，不需要理解一个泛用场景下世界如何演化？ 张直政：不能这么说。在LDA模型框架下，我们对世界状态的预测需要做得更准确、更泛化、更具效率。 相较于他们仅要求的“预测准确”，具身领域世界模型的要求是在任务所需的信息上实现精准预测的同时通过该预测辅助动作输出。 我举个例子，比如在网球运动上。很多世界模型是无差别地预测整个环境的变化；而LDA会在此基础上做进行具有选择性的信息处理，当下应该关注球的运动轨迹，还是对方运动员的位置，需要根据任务目标筛选出与策略相关的动作及环境状态变化，并利用其预测结果辅助策略输出。 总结而言，非具身世界模型仅聚焦于如何实现精准预测，而具身世界模型不仅要关注预测准确性，还要明确任务目标导向下输出动作需要有选择性地预测和处理何种信息，这正是我们多出来的要求。 智客ZhiKer：让模型同时理解“如何行动”和“世界如何演化”，这件事的难点在哪？ 张直政：首先，模型对“如何行动”的理解属于策略学习范畴。其本质在于给定当前状态与任务目标，机器人应输出何种动作，才能让世界朝目标状态变化。 “世界如何演化”与这个问题紧密耦合，它关注的是在当前状态下（甚至可能不存在明确的任务目标），执行某个动作后未来会发生什么。 简单来说，前者对应“我能做什么”和“我应该做什么”的问题；而后者对应“环境会怎样变化”的问题，二者有不同的优化目标。 当这两个问题落到具身智能中时，就形成了深度耦合的关系。例如打网球，如果不建模环境变化、不预测球的轨迹，就无法接到球；但如果只建模环境变化，即便能接到球，也难以控制球，无法将球打向期望的落点。 由此可见，对于具身智能，这两个问题相互依存，既需要模型理解环境的变化规律，也需要明确通过何种动作能让环境产生期望的改变。 智客ZhiKer：四个任务在一个模型里如何协同？ 张直政：我们需要设计一个统一的隐空间（Unified Latent Space），让这四个任务都能在该空间内被构建为统一的训练任务。这就是我们在LDA这个工作中提出的，将前向动力学（Forward Dynamics）、逆向动力学（Inverse Dynamics）、策略学习（Policy Learning）与视觉预测（Visual Prediction）这四个任务进行统一的核心思路。 我们需要从数据应用形式以及模型对数据训练的吞吐效率角度出发，采用统一的架构，对这四个任务进行统一建模和训练。在该联合训练（Joint Training）的范式下，通过大数据驱动的方式，让模型理解环境中哪些变化与动作相关，哪些变化与动作无关。 例如，其中有两个较为相似的任务：一个是前向动力学（Forward Dynamics），即给定当前状态与当前执行的动作（Action），预测下一个状态的变化；另一个是第四个任务，即直接根据当前状态预测下一个状态的变化。 通过这两个任务的共同学习，我们就能明确环境中哪些变化与动作相关，哪些变化与动作无关。正是通过这样的方式，促进这四个任务产生协同效应（Synergy）。 智客ZhiKer：四合一的结构下，预训练的算力成本会有什么样的变化？ 张直政：四合一并不意味着算力成本直接乘以4。 四个优化目标被统一进一个模型训练框架中，在初期阶段，由于需要学习和优化的目标增多，学习要求增加，算力消耗确实会对应上升。但当模型的基础能力和基础知识积累到足够扎实的程度后，学习新知识的边际成本便会显著降低。 这正是我们坚持研发基模的核