GitHub 项目：large_concept_model
仓库地址：https://github.com/facebookresearch/large_concept_model
星级：2360 | 作者：facebookresearch
项目描述：大型概念模型：句子表示空间中的语言建模
===================================================
自述文件内容：
# 大型概念模型
## 句子表示空间中的语言建模
[[博客]](https://ai.meta.com/blog/meta-fair-updates-agents-robustness-safety-architecture/) [[论文]](https://ai.meta.com/research/publications/large-concept-models-language-modeling-in-a-sentence-representation-space/)
该存储库提供了[大型概念模型](https://ai.meta.com/research/publications/large-concept-models-language-modeling-in-a-sentence-representation-space/) (**LCM**) 的官方实现和实验。
LCM 在显式的高级语义表示上运行，
我们将其命名为“概念”。概念与语言和模态无关，代表更高层次的概念
水平的想法。在这项工作中，一个概念对应一个句子，我们使用[SONAR](https://github.com/facebookresearch/SONAR)
嵌入空间，支持多达 200 种文本语言和 57 种语音语言。请参阅支持的语言列表[此处](https://github.com/facebookresearch/SONAR?tab=readme-ov-file#supported-languages-and-download-links)。
## 方法
LCM 是概念空间中的序列到序列模型，经过训练以执行自回归句子预测。
我们探索多种方法：
- MSE 回归（此代码中的“base_lcm”）。
- 基于扩散的生成的变体（我们在此版本中包含“two_tower_diffusion_lcm”）。
- 在量化声纳空间中运行的模型（即将推出）。
这些探索是使用 1.6B 参数模型和训练数据按照 1.3T 令牌的顺序进行的。我们在此存储库中包含了重现 1.6B MSE LCM 和两塔扩散 LCM 的训练和微调的方法。请参阅[下面](#usage) 的说明。
## 安装
### 使用紫外线
LCM 存储库依赖 fairseq2。如果您的系统上安装了“uv”，则可以通过运行以下命令来安装包含所有必需软件包的虚拟环境：
````bash
uv 同步 --额外 cpu --额外 eval --额外数据
````
您还可以使用“uv run”在正确的环境中运行演示命令。
请注意，我们仅提供“cpu”依赖项的要求，如果您想使用 GPU 支持，则必须选择适合您系统的 torch 和 fairseq2 变体。
例如，对于带有 cuda 1.21 的 torch 2.5.1，您可以执行以下操作：
````
uv pip install torch==2.5.1 --extra-index-url https://download.pytorch.org/whl/cu121 --upgrade
uv pip install fairseq2==v0.3.0rc1 --pre --extra-index-url https://fair.pkg.atmeta.com/fairseq2/whl/rc/pt2.5.1/cu121 --upgrade
````
检查 [fairseq2 变体](https://github.com/facebookresearch/fairseq2?tab=readme-ov-file#variants) 是否有可能的变体。请注意，LCM 目前依赖 fairseq2 0.3.0 rc1 的候选版本。
### 使用点
要使用 pip 安装，命令非常相似，但您必须管理自己的环境并确保安装 fa