EEGAgentBench：LLM 代理的短期和长期脑电图分析基准

arXiv:2609.31632v1 公告类型：新 摘要：脑电图 (EEG) 分析正在从短片段分类发展到长视野解释，这需要迭代证据积累、多步骤推理以及专业信号处理工具的协调使用。尽管大语言模型（LLM）最近显示出作为脑电图分析自主代理的前景，但现有的脑电图代理评估仍然分散，覆盖了狭窄时间范围内的有限任务，协议不一致，并且没有提供对代理推理、工具使用和工作流程构建能力的全面评估。为了解决这一差距，我们提出了 \textbf{EEGAgentBench}，这是一个统一的基准，用于在短期和长期脑电图分析上系统地评估 LLM 代理。 EEGAgentBench 涵盖从知识问答到睡眠分期的六种代表性脑电图应用。它涵盖从 2 秒到近 23 小时的信号持续时间，预测目标范围从类标签到事件间隔和纪元级序列。该设计支持跨知识推理、短视野解释、长视野事件检测和顺序理解的统一评估。该基准测试还提供了 10 个确定性脑电图分析工具，仅公开与任务相关的信号测量结果。因此，代理必须自主选择工具，迭代积累证据，并构建多步骤工作流程。为了进行评估，我们对来自 15 个模型系列的 29 个前沿法学硕士进行了基准测试。结果表明，EEGAgentBench 有效区分了模型规模和推理成本之外的智能体能力，同时揭示了当前 LLM 智能体在长视野脑电图分析中的实质性局限性，特别是在持续证据积累和多步骤推理方面。