GitHub 热门项目：dsRAG

GitHub 项目：dsRAG 仓库地址：https://github.com/D-Star-AI/dsRAG 星级：1589 | 作者：D-Star-AI 项目描述：高性能非结构化数据检索引擎 =================================================== 自述文件内容： # dsRAG [](https://discord.gg/NTUVX9DmQ3) [](https://d-star-ai.github.io/dsRAG/) [](https://deepwiki.com/D-Star-AI/dsRAG) dsRAG 的两位创始人 Zach 和 Nick McCormick 经营着一家小型应用人工智能咨询公司。我们专注于构建基于 RAG 的高性能应用程序（自然）。作为前初创公司创始人和 YC 校友，我们为我们从事的项目带来了以业务和产品为中心的视角。我们进行咨询和实施工作。如果您想雇用我们，请填写此[表格](https://forms.gle/zbQwDJp7pBQKtqVT8)，我们将与您联系。 ## dsRAG 是什么？ dsRAG 是非结构化数据的检索引擎。它特别擅长处理密集文本的挑战性查询，例如财务报告、法律文件和学术论文。在复杂的开卷问答任务中，dsRAG 的准确率明显高于普通 RAG 基线。在一项特别具有挑战性的基准 [FinanceBench](https://arxiv.org/abs/2311.11944) 上，dsRAG 在 96.6% 的时间内获得准确答案，而普通 RAG 基准仅正确回答了 32% 的问题。 与普通 RAG 系统相比，可使用三种关键方法来提高性能： 1. 语义切片 2. 自动上下文 3.相关段提取（RSE） #### 语义切片 语义分段使用法学硕士将文档分成几个部分。它的工作原理是用行号注释文档，然后提示法学硕士识别每个“语义衔接部分”的起始行和结束行。这些部分的长度应从几段到几页不等。如果需要的话，这些部分会被分成更小的块。法学硕士还会被提示为每个部分生成描述性标题。这些部分标题在 AutoContext 创建的上下文块标题中使用，它为排名模型（嵌入和重新排名）提供了额外的上下文，从而实现更好的检索。 #### AutoContext（上下文块头） AutoContext 创建包含文档级和节级上下文的上下文块标头，并在嵌入块之前将这些块标头添加到块中。这使得嵌入能够更准确、更完整地表示文本的内容和含义。在我们的测试中，此功能显着提高了检索质量。除了提高检索正确信息的速度之外，AutoContext 还大大降低了搜索结果中出现不相关结果的速度。这降低了法学硕士在下游聊天和生成应用程序中误解一段文本的速度。 #### 相关片段提取 相关段提取 (RSE) 是一个查询时后处理步骤，它将集群提取出来