BatchDAG：LLM 规划的执行图，用于对企业数据进行可扩展的临时分析

arXiv:2607.18241v1 公告类型：新 摘要：大型语言模型 (LLM) 擅长分析单个文档，但由于上下文溢出、每个实体归因的丢失以及顺序工具调用的线性延迟，无法解决企业级数据集上的详尽的跨实体分析问题。我们提出了 BatchDAG，这是一个系统，其中 LLM 生成操作的类型化有向无环图 (DAG)——SQL 查询、语义搜索、内存中转换、并行扇出和单次分析——确定性引擎使用拓扑波并行性和结构化 JSON 数据流对其进行评估。关键的优化，实体感知批处理，在扇出之前按逻辑实体对行进行分组，从而将 LLM 调用减少多达 47 倍。 BatchDAG 主要并不是对手动优化管道的准确性改进；相反，它是一个通用编排层，用单个系统取代多个手工设计的工作流程，该系统从自然语言生成适当的执行策略。在 12 个大量转录本查询的对照实验中，BatchDAG (3.74/5) 实现了与专家设计的管道 (3.25/5) 相当的质量，并且显着优于 ReAct 代理 (3.09/5，p<0.01)，并且具有优越的来源（77% 的转录本证据率 vs. 基线的 46-60%）。受控消融显示，与散文摘要相比，结构化 JSON 中间体可将幻觉减少 27%（配对 t 检验，p=0.107，n=12）。规划器在 300 次规划调用中实现了 98.8% 的有效 DAG 率。在 Brevian.ai 的生产中，BatchDAG 在 60 秒内处理超过 50,000 个会议的查询，按照公布的 GPT-5.1 定价，每次查询的测量成本为 0.02-0.24 美元。