让Skill“有图可依”：openJiuwen开源多模态Skill范式Skill-Omni

< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400"> 让Skill“有图可依”：openJiuwen首发多模态Skill范式Skill-Omni 思邈 2026-07-07 13:03:09 来源： 量子位 从文字说明书到多模态经验库 允中 发自 凹非寺 量子位 | 公众号 QbitAI Skill让Agent不必每次都从零开始摸索，而是可以复用已有的任务经验，但一个明显的短板始终存在： 今天写给Agent的Skill几乎全是 纯文本 ，修图该修到什么程度、界面上该点哪个按钮，这些“看了才明白”的知识，一直塞不进一份Markdown文档。 针对这一问题，openJiuwen社区正式发布 Skill-Omni ——业界最早工程化落地的多模态Skill范式。 它让Agent的经验从“读得懂”升级为“看得见”，把网页和视频中的视觉知识，沉淀为Agent可复用的多模态Skill。 给Agent的说明书，第一次有了插图和参考图。 具体来说，用户只需提供一个网页链接或一个B站视频链接，JiuwenSwarm中开箱即用的skill-omni-creation就会自动提取其中的关键截图、界面状态和操作脉络， 生成Agent可直接读取复用的多模态Skill 。 这也是继SwarmSkill、SwarmFlow之后，openJiuwen在Skill工程化方向上的又一次快速迭代。 为什么Skill需要多模态化，Skill-Omni又是如何做到的？下面具体来看。 为什么Skill需要多模态化 今天的主流Skill范式停留在纯文本。 这在代码生成、文档处理等任务中足够有用；可一旦Agent开始处理视觉任务、GUI任务，局限立刻显现—— 有些任务，本来就不是“说清楚”的，而是“看明白”的。 图片编辑任务 ，文字Skill可能会写： 调整色调，使主体突出、背景柔和。 人类也许能领会，但对Agent来说过于模糊：主体在哪里？柔和到什么程度？有没有参考效果？ 这些问题仅靠文字很难给出稳定答案。 真正的知识藏在调整前后的视觉差异里：有了前后对比图，Agent才能看到 “调整到什么程度才算合理” 。 GUI自动化 ，文字Skill可能会写： 进入设置页，打开高级选项，选择导出设置。 但“设置”可能是齿轮图标，也可能藏在头像菜单下；“高级选项”可能需要滚动页面才能看到；“导出配置”可能是按钮，也可能是下拉菜单里的某个条目，界面里还有多个相似按钮。 如果有关键界面截图和页面状态，Agent才能 不再只依赖文字猜测 。 还有更被低估的 视频教程 ：大量技能不写在文档里，而藏在软件录屏和操作演示中。 人类看得懂，但总结成一段文字，界面状态和操作细节就全丢了。 一句话： 视觉任务中的关键知识往往不是一句话，而是一组可观察的状态。 界面长什么样、操作前后有何变化、结果是否符合视觉预期。全部压缩成文字，既费笔墨，又丢失空间关系和视觉细节。 这个判断并非openJiuwen一家之言，MMSkills¹、VisualSkill²等近期学术工作已系统论证了这一方向。 方向已被验证， 但把多模态Skill做成生产级Agent平台中开箱即用的工程能力，openJiuwen是业界最早的实践者 ——不停留在范式讨论，而是快速做成可用的产品能力。 从更形式化的角度看，多模态Skill的价值并不只是“信息更多”，而是为Agent提供了一个更大的决策信息空间。 这意味着，在理想决策器假设下，引入有效的多模态信息不会降低Agent的最优决策能力，反而为其 提供了更高的信息上限 。 skill-omni-creation：把网页、视频和视觉经验转化为多模态SKILL 在这一背景下，openJiuwen在JiuwenSwarm中默认提供了skill-omni-creation—— 一个用于生成多模态Skill的meta skill 。 它不直接完成业务动作，而是关注“这里面有哪些截图、关键帧和操作模式，能帮Agent下次完成类似任务”，并把它们从网页、视频等外部资料中整理出来。 它把原本面向人类阅读和观看的网页、视频，转化为Agent可以使用的多模态经验资产。 目前支持两类生成入口： 一是 网页转多模态Skill ，把图文教程、技术博客中的截图和步骤沉淀为Skill； 二是 视频链接转多模态Skill ，从视频教程中提取关键帧和操作脉络。 能力一：把网页转成图文并茂的多模态Skill 高质量教程和技术博客本身就是图文结合的，但对传统文本Skill来说，网页里的图片经常被直接忽略，难以进入Agent的执行逻辑。 skill-omni-creation处理网页分三步： 自动解析 ：只需提供一个网页链接，系统自动解析内容并下载图片资源； 智能去噪 ：过滤广告图、装饰图、无关banner，只留正文截图、操作步骤图、前后对比图等有价值信息； 重组过滤 ：将文字步骤、关键图片和操作逻辑重新组织成信息密度更高的多模态Skill。 网页不再只是被收藏或总结，而是被转换成Agent可以使用的经验资产。 场景演示：图文经验贴转多模态Skill 某网页讲解如何修复照片欠曝光。这类任务的关键信息藏在图像前后的视觉变化中：暗部细节是否被拉回，高光是否被过度提亮。 skill-omni-creation把这些视觉判断标准连同前后对比图一起沉淀进Skill——让Agent不仅知道“如何修复”，也理解“修复到什么程度才算合适”。 能力二：把视频链接转成多模态Skill 视频的信息密度更高，但复用难度更大： 视频天然带有时间轴 ，重要信息只出现在某几个关键帧里。 转录成文字会丢失视觉状态；逐帧塞给Agent又会带来巨大的上下文成本。 skill-omni-creation的做法是：提供视频链接后，系统从连续画面中筛选关键帧，识别关键操作节点，整理出“什么时候发生了什么变化”。 一个复杂的视频教程不再是“看过就忘”的内容，而变成Agent可调用、可复用的多模态经验。 场景演示：B站视频转多模态Skill 一个Bilibili视频完整讲述了JiuwenSwarm的安装过程。只需提供视频链接，skill-omni-creation就会围绕筛选出的关键帧整理安装步骤、命令说明和界面状态。 这对安装类任务尤其重要：安装是否成功，不只取决于命令写没写对，还取决于终端输出和启动界面是否符合预期。 生成之后：Agent如何读取多模态Skill 生成只是第一步，关键是Agent执行时能否正确使用——如何查阅多模态证据，又不因一次性加载大量图片而撑爆上下文（这也是学术研究反复指出的难点）。 JiuwenSwarm的工程答案是一套 按需读取 机制： 环境检测 ：运行时先检测用户提供的API是否支持多模态输入，避免在模型不支持视觉输入时盲目加载图片； 动态注入与按需调用 ：调用Skill时，系统自动检查Skill中是否包含图片链接，若有则注入提示，引导Agent在需要时调用read_file读取图片。 图片 不会被一次性全部塞进上下文 ，而是按需进