GitHub 热门项目：llm2vec

GitHub 项目：llm2vec 仓库地址：https://github.com/McGill-NLP/llm2vec 星级：1729 | 作者：麦吉尔自然语言处理 项目描述：“LLM2Vec：大型语言模型是秘密强大的文本编码器”的代码 =================================================== 自述文件内容： # *LLM2Vec：大型语言模型是秘密强大的文本编码器* [](https://arxiv.org/abs/2404.05961) [](https://pypi.org/project/llm2vec/) [](https://huggingface.co/collections/McGill-NLP/llm2vec-660e14f536b3c8d10b3f1c34) [](https://github.com/McGill-NLP/llm2vec/blob/main/LICENSE) [](https://pepy.tech/project/llm2vec) LLM2Vec 是将仅解码器的 LLM 转换为文本编码器的简单方法。它由 3 个简单的步骤组成：1）启用双向注意力，2）使用掩码下一个标记预测进行训练，以及 3）无监督对比学习。该模型可以进一步微调以实现最先进的性能。

************************** **更新** ************************** * 04/04/26：我们发布了 LLM2Vec-Gen🚀，这是一个训练可解释的生成嵌入的方法，它将 LLM 的潜在答案编码为查询而不是查询本身！请查看我们的 📄[论文](https://arxiv.org/abs/2603.10913)、💻[GitHub 存储库](https://github.com/McGill-NLP/llm2vec-gen) 和 🤗[HF 模型](https://huggingface.co/McGill-NLP/LLM2Vec-Gen-Qwen3-8B) 了解更多信息。 * 03/10：增加对最新Transformer版本的支持，支持Llama 3.1、3.2等最新型号。扩展支持评估任何 LLM2vec 模型，请检查 [mteb_eval_custom.py](https://github.com/McGill-NLP/llm2vec/blob/main/experiments/mteb_eval_custom.py) * 04/07：增加了对 Gemma 和 Qwen-2 模型的支持，非常感谢 [@bzantium](https://github.com/bzantium) 的贡献。 * 30/04：我们发布了 LLM2Vec 转换后的 Meta-Llama-3 检查点。请参阅我们的 [HuggingFace 集合](https://huggingface.co/collections/McGill-NLP/llm2vec-660e14f536b3c8d10b3f1c34) 了解[监督](https://huggingface.co/McGill-NLP/LLM2Vec-Meta-Llama-3-8B-Instruct-mntp-supervised) 和[无监督](https://huggingface.co/McGill-NLP/LLM2Vec-Meta-Llama-3-8B-Instruct-mntp-unsup-simcse) 变体。 ## 安装 要使用 LLM2Vec，首先从 PyPI 安装 llm2vec 包，然后安装 flash-attention： ````bash pip安装llm2vec pip install flash-attn --no-build-isolation ```` 您还可以通过克隆存储库直接安装最新版本的 llm2vec： ````bash pip install -e 。 pip install flash-attn --no-build-isolation ```` ## 开始使用 LLM2Vec 类是 HuggingFace 模型之上的包装器，支持在仅解码器的 LLM、序列编码和池化操作中启用双向性。以下步骤展示了如何使用该库的示例。 ### 准备mo