MAMath-Bench：多模态多智能体数学推理的过程感知和鲁棒评估

arXiv:2610.26943v1 发布类型：新 摘要：数学推理是大型语言模型（LLM）教育应用的一项基本能力，其中可靠的问题解决不仅需要正确的答案，还需要连贯且可验证的推理过程。通过利用多个 LLM 代理之间的协作和验证，多代理系统 (MAS) 在该领域显示出越来越大的潜力。然而，现有的评估主要关注纯文本环境中最终答案的正确性，对多模态推理能力、中间推理步骤的可靠性以及针对推理错误的鲁棒性的了解有限。为了解决这些限制，我们引入了 MAMath-Bench，这是一种流程感知基准，旨在评估 MAS 的多模态数学推理能力。 MAMath-Bench 包含 1,003 个问题，涵盖 11 个数学类别、多个难度级别和多种模式，包括文本、图像和音频。它具有细粒度的里程碑注释，可以跨三个维度评估系统：问题解决的正确性、推理过程的可靠性以及对抗性推理链扰动的鲁棒性。我们的评估得出了三个主要发现。首先，与强大的单一法学硕士相比，多代理协作并不能持续提高最终答案的准确性。其次，协作可以大大增强中间推理的覆盖范围，但这种收益可能是以增加推理冗余为代价的。第三，当前的系统仍然容易受到对抗性推理错误的影响，特别是那些涉及微妙结构扰动的系统。该数据集可从 https://github.com/mira-ai-lab/AgentMath 获取。