BI-Agent 和 BI-Bench：迈向自动化端到端商业智能

arXiv:2609.20886v1 发布类型：新增 摘要：商业智能（BI）是企业决策的基石，在Power BI、Tableau等软件中被企业用户广泛使用。在传统 BI 工作流程中，用户需要通过以下方式准备数据：(1) 识别相关表，(2) 执行数据转换，(3) 构建联接关系，然后才能 (4) 回答业务问题。这些步骤可能非常复杂且耗时，使得 BI 具有挑战性。鉴于大型语言模型 (LLM) 在处理数据方面的强大功能，我们研究了它们端到端回答 BI 问题的能力，而不需要用户手动执行繁琐的准备步骤。为此，我们从公共来源收集了大量真实世界的 BI 项目，并从真实用户仪表板中手动提取成对的（问题、真实答案）。由此产生的基准 BI-Bench 是第一个系统研究法学硕士端到端 BI 能力的基准。我们发现，即使是前沿的法学硕士在 BI-Bench 上的表现也很差，准确率低于 50%。为了解决它们的局限性，我们设计了一个工具增强的 BI-Agent，它将 BI 工作流程分解为结构化数据的子任务，例如搜索、联接和转换，并跨 BI 阶段编排专门的数据管理方法。此外，我们开发了一个后训练框架，该框架综合了来自真实 BI 项目的训练轨迹，使 BI-Agent 能够使用监督微调 (SFT) 和强化学习 (RL) 进行进一步的后训练。 BI-Agent 通过普通法学硕士实现了高达 40 个百分点的大幅准确率提升，而经过训练的 BI-Agent 则可实现高达 30 个百分点的提升。我们的结果强调了在复杂的 BI 工作流程中将工具增强推理与特定领域的后期训练相结合的重要性，并为未来的研究指明了有希望的方向。