让Agent首次拥有“视听双流记忆”：开启九文Agent-记忆看懂长视频，关键事件一个不落

< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400"> 让Agent首次拥有“视听双流记忆”：openJiuwen Agent-Memory看懂长视频，关键事件一个不落 思邈 2026-11-04 10:49:02 来源： 量子位 允中 发自 凹非寺 量子位 | 公众号QbitAI openJiuwen AgentMemory 正式上线了多模态记忆能力 OmniMem-Lens ：按秒盲切是记忆碎片化的元凶，按真实事件记忆才是正解——召回精度最高提升 45.7% ，在线问答时延最高降低 97% 。 一个让所有Agent头疼的问题：3小时的视频，怎么“记”？ 在AI智能体（Agent）与多模态模型（VLM）快速演进的今天，我们已经不满足于让Agent处理单一的文本工作了，而是让它干更复杂的活儿。 比如“看完3小时的新品发布会，并找出所有产品亮点”，或者“分析一整天的监控视频，并标记出异常事件”。 然而，现有Agent面对超长视频时，海量信息会瞬间超出其上下文限度，导致处理能力和准确度大大下降。 目前业界的通行做法，是粗暴地把长视频按固定时间窗口（如一分钟）切分成一小段一小段，让智能体分开去记忆。 这种方式如同 盲人摸象 ，给智能体记忆带来了两个致命伤： ① 记忆被切碎——证据碎片化 一段原本连贯的老师讲解，在中间被切断，前半段和后半段被智能体分开处理、分开存储。当用户提问时，智能体只能拿到半个“断章取义”的证据，于是胡编乱造、幻觉频出。 ② 记忆被稀释——证据淹没 一个几秒钟的关键动作，与前后几分钟无关的背景画面强行打包。智能体检索细节时，关键信息被大量噪音淹没，召回精度断崖式下跌。 问题的根源是， Agent是“按秒”在记视频，而人是“按事件”在理解视频。 打个比方，你回忆昨天看过的电影，会按“主角相遇→误会→和解”这样的情节去记，而不是拿秒表每60秒存一段。可现在的Agent，恰恰是拿秒表在记电影。 更棘手的是，市面上大多数视频事件分割方案只依赖 单一模态， 只看画面，或只听语音。可这两条路都会失灵：画面长时间不动时，它看不见内容其实换了议题；没有台词时，它听不到任何线索。 这不是算力不足，而是记忆在切分源头就失去了“焦点”。 OmniMem-Lens：让Agent像人一样“按事件”记忆 为了让智能体像人类大脑一样真正处理长视频，团队在 openJiuwen AgentMemory 0.2.0 版本中正式上线了 OmniMem-Lens（多模态记忆透镜） 能力。 作为AgentMemory针对视频多模态记忆处理的核心技术，OmniMem-Lens开创性地通过 视觉 和 听觉 两条轨迹来理解视频中的事件，并以此完成记忆内容的组织，让Agent的视频记忆第一次真正做到—— 按事件存，按事件取 。 团队对它的定位是：给智能体装上一个懂得“自动定焦”和“分层整理”的 超级海马体 。 它做对了三件事： 按真实事件切、分层存记忆、离线建好在线查 。 视觉听觉联动：像人类大脑一样，按真实事件记忆 OmniMem-Lens给智能体同时装上了“眼睛”和“耳朵”： 眼睛看画面 ，画面切换时判断出变化并标记； 耳朵听语音 ，画面没动但说话人换了话题时，通过ASR语音转录分辨出来。 双证据交叉对焦，长视频被切分在真实事件边界上，智能体对视频的理解从此不再“断章取义”。 三层记忆结构：不同颗粒度分层存，细节回溯与整体理解兼得 用户的每次提问，需要的证据颗粒度可能都不一样。OmniMem-Lens在后台建立了一个三层记忆单元： 要大纲有大纲，要细节有细节，检索时按需取用，互不干扰。 就像一本带目录和索引的书：目录（L1）帮你翻到大致章节，索引（L2）帮你定位到具体某一句话，原文（L0）随时可以翻回去核对。 同时，L1与L2记忆单元完全 文本化与向量化 ，可以无缝接入主流向量数据库——对已有RAG/Agent技术栈的开发者来说，几乎零改造即可用上。 记忆离线建，回答在线查：慢功夫提前做，快响应留给用户 如果每次不同角度的提问，都需要智能体把几个小时的视频重新看一遍，不仅反应极慢，还会消耗巨大算力。 OmniMem-Lens把繁重的记忆整理工作 提前在离线做完 ；智能体面对提问时直接查记忆，做到 秒级响应 ，问什么答什么。 在线检索的链路并不复杂：用户Query先与L1/L2的记忆单元做语义匹配，快速定位到精炼的多模态记忆；只有当明确需要视觉细节验证时，系统才按需调取L0层的精确视频帧。这种“ 轻量级文本索引+延迟调取原始视频 ”的架构，大幅提升了视频记忆检索的效率。 OmniMem-Lens的设计哲学在于：像专业摄像机一样 双焦定格 事件边界，像三棱镜一样 分层 折射记忆结构，从而让智能体对长视频的理解，从盲目切割，走向精准透视。 实测数据：精度全面领先，时延最高降97% 说得再好，不如跑一遍数据。团队选取了三个主流长视频问答评测集，将应用了 OmniMem-Lens 能力配合Qwen3-VL-8B模型处理视频记忆问答，与直接使用VLM模型 Qwen3-VL-8B 处理视频内容问答进行对比。 一句话看懂下面的表： “召回精度”越高=找到的证据越准； “在线时延”越低=等答案的时间越短。 ① 记忆召回精度：三个评测集全面领先 在通用长视频基准Video-MME-L上提升8%，长视频理解基准LVbench上提升6.4%。 最亮眼的是 EgoLife-QA上的+45.7% ——这个评测集以第一人称视角记录一整天的日常生活，事件密集、细节琐碎，恰恰是固定切分最容易失效的场景，也最能体现“按真实事件组织记忆”的价值。 ② 在线问答时延：从“重新看一遍视频”到“直接查记忆” 视频越长，VLM直答需要“啃”的画面就越多，时延也就越长——LVbench上Qwen3-VL-8B要等34.5秒，OmniMem-Lens只需 1.72秒 ，快了整整 20倍 。 换成生活场景：VLM直答像每次都把3小时的电影从头到尾重看一遍再回答你；OmniMem-Lens像一位看电影时就已经做好笔记的影评人，你问哪段，他翻笔记直接答。 两个例子，看懂“失焦盲切”与“精准透视”的差距 例一：因果关系被切断 以一段2小时的动画片为例：站台上，女生离开、男生目送，女生离开后，男生幻想她变成蝴蝶飞走。 固定1分钟盲切 把这段120分钟的视频切成120个片段。而“女生离开→男生目送→幻想蝴蝶”这个完整事件，从 第14分20秒 持续到 第16分50秒 ，恰好横跨第14、15、16三个窗口，被窗口边界连切两刀。 于是碎片变成了三段互不相干的记录： 第14分钟「女生离开」、第15分钟「男生目送」、第16分钟「蝴蝶飞走」 。 当用户查询“在女生离开后，男生在想象什么？”时，检索到的片段里只有“男生目送”和“蝴蝶飞走”， 却没有任何线索说明这蝴蝶只是幻想 ——智能体把它当成了真实发生的事，答非所问。 OmniMem-Lens 则把这个事件作为完整的一段（第14分20秒—第16分50秒）存进记忆：ASR