开源推荐 morning

GitHub 热门项目：Vim

2026-07-13 1 阅读 约5分钟阅读 GitHub Trending

# ### 新闻 * **` 五月。 2024 年 2 日`:** Vision Mamba (Vim) 被 ICML2024 接受。 🎉 会议页面可以在[此处](https://icml.cc/virtual/2024/paper_metadata_from_author/33768)找到。 * **`2024 年 2 月 10 日`:** 我们更新了 Vim-tiny/small 权重和训练脚本。通过将类标记放在中间，Vim 获得了改进的结果。更多详细信息可以在代码和我们更新的 [arXiv](https://arxiv.org/abs/2401.09417) 中找到。 * **` 2024 年 1 月 18 日`：** 我们在 Arxiv 上发布了我们的论文。代码/模型即将推出。请继续关注！ ☕️ ## 摘要 最近，具有高效硬件感知设计的状态空间模型（SSM），即 Mamba 深度学习模型，在长序列建模方面表现出了巨大的潜力。同时，纯粹基于 SSM 构建高效且通用的视觉主干是一个有吸引力的方向。然而，由于视觉数据的位置敏感性以及视觉理解的全局上下文的要求，表示视觉数据对于 SSM 来说是一个挑战。在本文中，我们证明视觉表示学习对自注意力的依赖是不必要的，并提出了一种具有双向 Mamba 块（Vim）的新通用视觉主干，它用位置嵌入来标记图像序列，并用双向状态空间模型压缩视觉表示。在 ImageNet 分类、​​COCO 对象检测和 ADE20k 语义分割任务上，与 DeiT 等成熟的视觉转换器相比，Vim 实现了更高的性能，同时还显着提高了计算和内存效率。例如，在执行批量推理以提取分辨率为 1248x1248 的图像特征时，Vim 比 DeiT 快 2.8 倍，并节省 86.8% 的 GPU 内存。结果表明，Vim 能够克服对高分辨率图像执行 Transformer 式理解时的计算和内存限制，并且具有成为视觉基础模型的下一代骨干的巨大潜力。

分享文章： 微博 QQ 微信 复制链接