GitHub star量过千，HF榜单第二，第一个会自己改学习规则的视觉骨干开源了

机器之心发布 人眼在观察陌生事物时，从来不是按一套死板的程序走到底的。 读一封字迹潦草的手写信，最难认的往往是开头几个字。看得多了，我们渐渐摸清写信人的笔画和连笔习惯，后面的字也就越认越顺。医生阅片、考古学者辨认拓片，也有类似的经验：前面识别出的线索，会影响后面如何观察和判断。 这看起来是一件很自然的事，但对视觉 AI 而言，要实现并不简单。 一张图片进入模型后，哪些区域需要重点关注、不同位置的特征怎样关联，模型已经能够根据眼前的画面作出调整。可在很多现有架构里，决定信息如何被学习、该更新多少、哪些旧信息应当保留的规则，仍主要由训练阶段确定。换一张图片，模型的计算结果会改变，背后的许多学习规则却不会跟着改变。 明略科技与中国科学院自动化研究所 的研究团队，正试图推动这一步。双方联合提出 VisionHOPE—— 首个以自修改学习系统为核心构建的通用视觉骨干网络 。 它让模型在一次前向计算中，一边读取和保存图像信息，一边根据已读到的内容更新自己的学习方式。前面看过的区域，能够参与决定后面的特征怎样建立关联、学习步长该有多大、已有记忆应保留多少。 这项研究并不只停留在机制设计上。在 ImageNet-1K 图像分类基准上，拥有 52.9M 参数的 VisionHOPE-S 取得 85.2% 的 Top-1 准确率，参数量不到 VMamba-B（89M）的六成，准确率高出 1.3 个百分点；VisionHOPE-B 的准确率达到 85.6%。同时，其自修改机制的核心计算量随 Token 数量线性增长。 论文发布后曾登上 Hugging Face 每日论文榜第 2 名，GitHub 开源仓库也在短时间内收获了近 1000 Stars。目前，研究团队已将全部代码、底层算子与预训练权重按 MIT 协议向社区开放。 论文标题：VisionHOPE: Visual Backbones as Self-Modifying Learning Systems Hugging Face 论文页：https://huggingface.co/papers/2609.33325 Hugging Face VisionHOPE 主页：https://huggingface.co/PSRben/VisionHOPE GitHub 代码：https://github.com/PSRben/VisionHOPE 视觉模型越来越会 “看”， 但学习规则还可以更灵活 要理解 VisionHOPE 的新意，可以先看视觉骨干这些年的变化。 早期的卷积神经网络（CNN）擅长从局部捕捉边缘、纹理等信息。它使用训练好的卷积核提取特征，图像中距离较远的区域，需要经过多层计算才能建立联系。后来出现的视觉 Transformer（ViT），借助自注意力机制，让不同位置能够根据当前图像直接交互。模型看到了更大范围的内容，但生成注意力的投影参数依然固定，而且全局注意力的计算量会随着 Token 数量平方增长，图像尺寸越大，计算压力越明显。 再往后，Mamba 等状态空间模型通过沿序列传递状态，将计算复杂度降至线性。状态转移可以随当前输入变化，但负责从输入生成状态转移的映射，仍由训练阶段确定。TTT（测试时训练）又向前走了一步：它在网络内部设置小型学习器，允许学习器处理图像时更新自身参数。不过，生成学习表征，以及控制更新步长和记忆保留的规则，仍主要在训练时设定。 沿着这条路线看，研究者一直在扩展模型对 “当前这张图” 的适应范围：从局部特征，到全局交互、动态状态，再到内部学习器的参数更新。 VisionHOPE 进一步把决定学习方式的参数也纳入了图像内部的更新过程 。 图片 1｜不同视觉架构对当前图像的适应方式：从局部特征、全局交互和状态转移，到内部学习器更新，再到自修改学习。箭头表示图像内适应范围逐步扩大。 这一设计建立在嵌套学习（Nested Learning，NL）及其 HOPE 架构的自指机制之上。简单说，模型处理图像时积累的内容，不只留待最后生成识别结果，还会反过来参与下一步学习规则的调整。 这件事之所以值得关注，也与视觉骨干本身的地位有关。无论是图像识别，还是需要结合图像与语言的多模态系统，视觉骨干都负责提供最基础的视觉表征。此前，MMVP 已揭示多模态模型在基础视觉辨别能力上的缺陷；Cambrian-1 的研究则表明，改善视觉表征能够进一步提升多模态能力。视觉底座怎样理解图像，关系到上层模型能够获得怎样的信息。 表 1 ｜不同视觉架构对当前图像的适应方式 把 “怎么学” 交给记忆： VisionHOPE 的三个关键设计 让模型修改自己的学习规则，可以拓展模型的表达能力，但也带来了理论和工程上的新问题。在以自指嵌套学习模块 SRNL 构建通用视觉骨干时，研究团队重点解决了三个问题：记忆如何组织与更新，自指反馈如何保持稳定，以及序列递推如何适配二维图像并高效计算。 五类记忆协同，让 “怎么学” 也随画面变化 VisionHOPE 的核心是一个名为 SRNL（自指嵌套学习） 的模块。可以把它理解为一套会随着读图过程不断调整的记忆系统。普通的记忆机制着重保存模型已经看到了什么，SRNL 除了保存内容，还会维护影响下一步学习的规则。为此，研究团队设计了 五类可更新的参数记忆 。 其中， 内容记忆 保存图像信息，供后续读取和输出； Key 记忆 负责生成写入索引，让新信息与已有记忆建立关联； Value 记忆 参与生成内部学习目标，决定当前学习要朝什么方向修正；学习率记忆控制每次更新的幅度； 保留率记忆 则决定旧信息在更新时保留多少。 表 2｜五类记忆的分工 五类记忆的分工不同，但参与的是同一条学习链路。每当一张新图像进入模型，它们会先从训练中学得的初始状态出发。随着新的图像特征逐个进入 SRNL，现有记忆先生成对应的 Key、Value、学习步长与保留率。随后，五类记忆分别依据自身状态构造学习目标，并将目标与当前响应比较，得到各自的学习信号，完成更新。更新后的状态接着参与下一个 Token 的计算。 回到手写信的例子：我们认出前几个字后，得到的不只是这几个字的内容，还包括对写信人笔迹的一点新认识。往后读时，哪些笔画需要格外留意、哪些相似写法可以快速归类，判断方式都可能发生变化。SRNL 希望在模型内部实现类似的连续调整，只不过它改变的是特征关联、学习步长与记忆保留等具体计算规则。 这样的更新还需要避免 “记得太多”。天空、草地或建筑物的重复纹理中，相邻区域往往包含高度相似的信息。如果每次都把新特征原样加入，重复内容就可能不断堆积。VisionHOPE 使用 Delta 梯度下降（DGD） ：写入前先检查当前记忆对 Key 的响应，再将需要修正的差值写进去，减少无效的重复累积。 关键在于，这些变化发生在同一张图片的处理过程中 。模型读到后面的区域时，利用的是前面区域已经参与更新过的记忆，而不必等处理完图片、再重新训练一次模型。 学习规则能变，但也必须保持稳定 让记忆参与调整自己的后续更新，会带来一个直接风险：反馈可能被反复放大。假如某一步更新使记忆数值增大，下一步据此产生的学习信号也可能更强，继而推动记忆进一步增大。这种循环最终可能让训练失去稳定