号称行业首个具身全模态端到端交互大模型！智元机器人发布WITA-Omni

快科技11月10日消息， 智元机器人今日宣布，正式发布WITA-Omni（硅光动语全模态大模型）。 官方称，该模型是行业首个具身全模态端到端交互大模型，旨在让机器人拥有真正面向物理世界的“交互大脑”。 与传统主要依赖音视频信息进行交互的模型不同，WITA-Omni基于机器人本体感知数据深度训练，不仅支持音视频输入输出，还新增了触觉、本体状态等输入，以及机器人动作、表情等输出，让机器人能够更加全面地感知环境并与人类交流。 在交互效率方面，WITA-Omni采用流式全双工架构，可以实现边听、边思考、边回应、边行动，打破传统串行处理模式带来的等待。 官方数据显示，该模型交互响应最快约400毫秒，平均约600毫秒，较业内平均水平快近3倍。 值得一提的是，WITA-Omni还实现了全模态拒识能力，机器人不再需要依赖唤醒词即可进行自然对话。 系统能够综合对话朝向、视频、音频、声纹、唇动、姿态、语义及上下文等信息，判断当前发言是否需要回应，在多人交谈、环境广播等场景下，也能有效降低误触发。 语言交流方面，WITA-Omni支持上百种语言和方言免切换交流，并结合全双工架构，实现语言及方言的流式同声传译和双向互译。 此外，该模型还强化了机器人的情感表达能力。通过面部表情、语音和肢体动作协同，机器人能够呈现开心、惊讶、悲伤、激动、自信等数十种情绪，并支持不同程度的情绪表达。例如，同样是开心，既可以浅浅一笑，也可以开怀大笑。 除了听、说、看、动，WITA-Omni还具备实时可视化能力，可以根据交流内容，将复杂产品信息或科普知识直接呈现在机器人面部屏幕上。 更进一步，机器人还能够持续感知周围环境和用户状态，在适当时机主动发起互动，例如主动欢迎贵宾、回应用户点赞，或挥手告别。