开源推荐 morning

GitHub 热门项目：LWM

摘要

GitHub项目：LWM 仓库地址：https://github。

and LWM language long the

2026-05-22 1 阅读 GitHub Trending

当前的语言模型在理解世界上不易用语言描述的方面方面存在不足，并且难以处理复杂的长格式任务。视频序列提供了语言和静态图像中所缺少的有价值的时间信息，这使得它们对于与语言的联合建模很有吸引力。这些模型可以加深对人类文本知识和物理世界的理解，从而实现更广泛的人工智能能力来帮助人类。然而，由于内存限制、计算复杂性和有限的数据集，从数百万个视频和语言序列的标记中学习提出了挑战。为了应对这些挑战，我们整理了一个包含各种视频和书籍的大型数据集，利用 RingAttention 技术对长序列进行可扩展训练，并逐渐将上下文大小从 4K 增加到 1M 令牌。本文做出了以下贡献：（a）最大上下文大小神经网络：我们在长视频和语言序列上训练最大上下文大小变换器之一，为困难的检索任务和长视频理解设定了新的基准。 (b) 克服视觉语言训练挑战的解决方案，包括使用掩码序列打包来混合不同的序列长度、使用损失权重来平衡语言和视觉，以及用于长序列聊天的模型生成的 QA 数据集。 (c) 高度优化的实现，具有 RingAttention、屏蔽序列打包和其他关键功能，用于训练数百万长度的多模态序列。 (d) 完全开源一系列 7B 参数模型，能够处理超过 100 万代币的长文本文档（LWM-Text、LWM-Text-Chat）和视频（LWM、LWM-Chat）。 这项工作为长视频和语言的海量数据集的训练铺平了道路，以发展对人类知识和多模式世界的理解以及更广泛的能力。 ## LWM 功能

LWM 可以高精度地检索 1M 上下文中的事实。