OpenSQZ Glass：让端侧全双工全模态模型进入第一视角的可穿戴世界

当 AI 的交互入口从屏幕和聊天框延伸至摄像头、麦克风与真实环境，第一视角可穿戴设备正成为多模态智能的关键落点。OpenSQZ Glass 是由上海期智研究院开源平台团队打造的本地实时多模态 AI 眼镜参考实现，面向研究者与开发者，专为第一视角感知与交互场景设计。系统采用“感知-计算分离”架构：轻量眼镜端负责图像与语音采集，本地设备完成全模态模型推理，在兼顾隐私、延迟、成本与可复现性的前提下，探索第一视角实时视觉辅助的可行路径。项目提供完整的 3D 打印眼镜文件与装配教程，软硬件双开源，降低社区的复现与使用门槛。 为什么要做 OpenSQZ Glass？ 近年来 AI 眼镜赛道迅速升温。国内有字节、阿里、小米、雷鸟、乐奇等多家企业相继推出智能眼镜，国外有谷歌搭载 Gemini 的 AI 眼镜与 Meta Ray-Ban 激烈竞争。市场数据印证了这股热潮——2026 年 Q1 全球出货量同比增长 130%，2026 年全年销量预计增至 2000 万台，同期市场规模预计扩大至 56 亿美元（数据来自 市场研究机构 Smart Analytics Global (SAG) 的报告 "），行业普遍认为 2028 年或将迎来“iPhone 时刻”。 然而，热潮之下，一个根本性问题尚未解决：当前 AI 眼镜的主流交互范式与真实世界的运作方式存在结构性错位。市面多数产品的使用方式仍然是“用户拍照、提问→等待模型输出答案”的离散闭环。但现实世界是流动的：视角在切换，场景在变化，值得被注意的事件可能在任意时刻突然发生。一张静态照片无法代表持续演变的现场，而每一次等待都在打断用户的注意力和行动节奏。这种错位源于一组环环相扣的结构性约束： 云端推理带来延迟和隐私压力。第一视角辅助中，响应延迟直接决定可用性阈值。几秒钟的等待在很多场景下已经足以让语境变化、信息失效。同时，第一视角图像天然包含很多敏感信息，如路人面孔、工作环境、家庭空间、电脑屏幕等，将这些数据默认上传云端并不是理想选择。交互割裂偏静态。多数系统虽然接入了视觉和语音，但使用方式仍停留在“拍照→提问→等待回答”的隔离交互流程。这很难满足真实辅助场景中的持续性需求。第一视角场景不是一张静止图片，而是持续变化的环境流，用户和系统都需要在变化中保持交互。穿戴设备受限于算力、功耗和重量约束。如果把大模型推理、散热和电池都集中在眼镜本体内，会牺牲佩戴舒适性与续航表现。产品在“算力、功耗、轻便性”之间做取舍，让智能眼镜始终处于“勉强可用”而非“真正好用”的状态。研究社区缺少完整可复现的平台。商用 AI 眼镜价格高昂，动辄上千元，且软硬件体系封闭，模型选择、推理链路、提示词编排和评估方法都未完整开放。研究者很难在此基础上开展实验和迭代。 OpenSQZ Glass 的思路是以本地 Omni 推理、全双工交互、低成本硬件和可复现 3D 打印，构建了一套开源 AI 眼镜参考实现，让研究者和开发者用方便获得的低成本硬件、可审计的软件链路和本地优先的部署方式，构建第一视角的实时视觉辅助系统。 架构设计：感知-计算分离 OpenSQZ Glass 的核心设计原则是：眼镜只需要把感知做好，不需要跑大模型。为此，我们采用了“感知-计算分离”的系统架构。眼镜端保持轻量，只负责第一视角数据的流式采集；真正的多模态推理则在本地电脑或边缘设备上运行。数据通过本地 WiFi 传输，由本地运行的 Omni 模型统一处理视觉、语音和文本，并通过流式语音将结果反馈给用户。 OpenSQZ Glass 采用感知-计算分离的架构有如下优势： 显著降低眼镜端的负担。前端不承担重型推理，也就不需要为大算力芯片、复杂散热和大容量电池付出额外重量代价，更有利于控制功耗、发热和佩戴负担。将系统时延和稳定性控制在本地边界内。和依赖公网链路的云端方案相比，本地推理可以获得更低、更稳定的响应延迟，更适合第一视角实时辅助场景。保护隐私。第一视角数据无需上传远端服务器，直接在本地网络和本地设备内部完成处理，用户能够对数据流向和使用方式拥有更强控制权。解耦架构可升级性强。眼镜端硬件相对稳定，而主机侧推理能力、模型版本和工具链可以持续演进。这种感知-计算分离的结构尤其适合研究平台，它允许系统随着模型和算法进步不断迭代，无需频繁重做硬件。 OpenSQZ Glass 通过合理分工，让眼镜负责“看和听”，让本地设备负责“理解和回答”，二者形成边看、边问、边答的交互闭环；让模型能够像真人一样处理“插话”和“被打断”的情况，支持更流畅的双向对话。 技术亮点：从图像问答走向全双工全模态交互 感知与计算分离架构解决了硬件与系统层面的矛盾——眼镜端负责持续采集，主机端负责多模态推理。但如果交互方式仍停留在“用户拍照→系统回答”的离散回合制，AI 眼镜依然难以真正融入现实世界。现实世界不会等待系统回答完再继续变化：用户可能一边走路一边提问，环境中可能突然出现新目标或风险，用户也可能在系统回答过程中随时插话、改口或切换任务。传统半双工交互模式无法适应这种节奏。 这一问题的核心在于：AI 眼镜需要的不是更强的“单次问答能力”，而是“持续在场的感知与响应能力”。面壁智能 MiniCPM-o 4.5 的出现，为这个问题提供了关键解法——它以仅 9B 参数实现了业界首个端到端全双工全模态模型，在视觉理解、文档解析、语音理解和生成等方面均达到全模态 SOTA 水准，突破了传统“输入→输出”的范式。 OpenSQZ Glass 以 MiniCPM-o 4.5 为基座构建了自身的技术亮点：将交互从“离散回合”推向持续时间轴上的并行流，将视觉、音频、文本流纳入统一时间轴进行流式处理，实现了真正的“边看、边听、主动说”，在任何情况下都随时保持对环境的持续感知，既不错过关键细节，也不会被冗余信息干扰。这一技术赋予 OpenSQZ Glass 在真实环境中不可或缺的三项能力： 持续感知：系统不是在用户提问时才“看一眼”，而是持续接收第一视角输入，理解场景变化与上下文延续。持续响应：系统在反馈过程中不脱离当前环境，能根据新的视觉和语音信息动态调整回答内容。可中断性：当用户临时改变意图或出现更紧急的信息时，系统能及时收住当前输出，转向新任务——这对开放环境中的辅助系统尤为关键。 全双工技术的本质，是将交互从“离散回合”转变为“感知-决策-执行”的连续流。模型在输出语音时仍在持续接收新的视觉与音频输入；用户中途插话时，系统将新输入纳入状态判断，重新决策应该继续聆听还是切换任务。OpenSQZ Glass 通过接入 MiniCPM-o 4.5，实现了“边听、边看、边说、边决策”的闭环，使 AI 眼镜从“问答工具”进化为“持续在场的协作者”。 系统实现：低成本硬件与本地多模态链路 硬件层面，OpenSQZ Glass 选择了一条务实的路线：基于现成、低成本的组件构建系统。前端采用 ESP32-S3 + OV5640 作为感知单元——我们看重的不是单点性能，而是整体可复现性：成本可控、开源生态成熟、WiFi 传输稳定、社区资料丰富，便于开发者快速搭建原型并二次改造。配合小型锂电池与 3D 打印结构件，整个前端装配成本控制在 150 元。这种设计的前提是前端只承担采集与传输