GitHub 热门项目：StageRAG

GitHub 项目：StageRAG 仓库地址：https://github.com/darrencxl0301/StageRAG 星级：1040 | 作者：darrencxl0301 项目描述：构建生产就绪的 RAG 系统的蓝图，最大限度地减少幻觉，具有可切换的 3 步（速度）和 4 步（精度）管道。 =================================================== 自述文件内容： # StageRAG：构建抗幻觉 RAG 应用程序的框架 [](https://www.python.org/downloads/) [](https://opensource.org/licenses/MIT) [](https://huggingface.co/datasets/darren0301/domain-mix-qa-1k) StageRAG 是一个轻量级、可用于生产的 RAG 框架，旨在让您精确控制速度与准确性的权衡。它允许您构建高事实性的应用程序，同时优雅地管理 LLM 响应中的不确定性。 ## 🌟 特点 - **双模式管道：** 根据您的需求在两种处理模式之间动态切换： - **速度模式**：3步管道（1B + 3B模型，〜3-5秒响应） - **精确模式**：4步管道（3B模型，〜6-12秒响应） - **简单的知识库集成：** 通过提供标准对话格式的 JSONL 文件，使用您自己的数据进行部署。系统自动构建向量索引并处理检索。 - **内置置信度评分：** 每个答案都包含多分量置信度评估（检索质量、答案结构、相关性、不确定性检测）。以编程方式处理低置信度响应以减少幻觉。 - **针对较小模型进行了优化：** 基于 Llama 3.2 1B 和 3B 模型构建，支持 4 位量化，在保持质量的同时仅需要 5-10GB GPU 内存。 ## 📋 先决条件 ### 1. 获取 Llama 模型访问权限 您**必须**请求访问两个 Llama 模型： 1.访问https://huggingface.co/meta-llama/Llama-3.2-1B-Instruct 2.访问https://huggingface.co/meta-llama/Llama-3.2-3B-Instruct 3. 单击“访问门控模型”并接受许可证 4.等待批准（通常是即时的） ### 2. 登录 HuggingFace ````bash pip 安装 Huggingface-hub Huggingface-cli 登录 # 出现提示时输入您的 HuggingFace 令牌 ```` 从以下位置获取令牌：https://huggingface.co/settings/tokens ### 3. 系统要求 -Python >= 3.8 - 支持 CUDA 的 GPU（推荐）或 CPU - 4 位模式需要 5GB+ RAM，全精度需要 10GB+ RAM - 用于初始模型下载的互联网连接 ## 🚀 安装 ### 克隆存储库 ````bash git 克隆 https://github.com/darrencxl0301/StageRAG.git cd阶段RAG ```` ### 安装依赖项 ````bash # 安装主要依赖项 pip install -r 要求.txt # 以开发模式安装 pip install -e 。 # 设置包 蟒蛇设置.py ```` ## 📊 下载示例数据集 ### 选项 1：自动下载（推荐） ````bash python 脚本/download_data.py ```` 这会将示例数据集从 [darren0301/domain-mix-qa-1k](https://huggingface.co/datasets/darren0301/domain-mix-qa-1k) 下载到 `data/data.jsonl`。 ### 选项 2：手动下载 ````蟒蛇 从数据集导入load_dataset 导入 json 数据集 = load_dataset("darren0301/domain-mix-qa-1k") 将 open("data/data.jsonl", "w") 作为 f： 为了