SynthCorp：为数据代理创建基准的平台

arXiv:2611.14765v1 公告类型：新 摘要：目前 LLM 驱动的数据代理的基准很快就会饱和，无法针对特定功能。我们推出 SynthCorp，这是一个通过模拟业务事件如何随着时间的推移产生和修改公司数据来创建可定制的数据资产和基准的平台。每个数据资产都结合了关系数据库、文档存储和数据目录，并配有评估任务和可执行的黄金程序。首先，给定场景和目标复杂性维度，SynthCorp 综合可重用的事件类型，并通过预定义的模拟原语将每个事件类型编译成程序。其次，SynthCorp 在虚拟日历上安排事件实例，交错例行事件和中断事件，以便表格、文档和目录条目保持一致。第三，SynthCorp 执行日历来具体化数据资产，并将每个操作记录在模拟日志中。第四，SynthCorp 生成分析任务并从日志中导出经过验证的黄金程序。我们使用 SynthCorp 生成初始评估基准，其中包括七个数据资产（最多 1K 个操作表）和跨五个领域的 256 个任务。数据资产以接近零的错误率通过确定性管道检查（例如外键违规、未声明的写入、重复违规和数据库执行失败），引入跨资产复杂性，并涵盖所有请求的维度。通过四种数据上下文设置评估三个模型表明，基准测试将数据上下文和模型层分开。根据模拟日志中的因果来源审核候选查询，无需手动注释即可验证黄金程序，包括暴露最先进代理中推理失败的多事件复合任务。我们希望社区使用 SynthCorp 生成更具挑战性和有用的数据资产和基准，以促进企业数据代理的发展。