阿里斩获国际AI顶会最佳资源论文奖，提出Agent评测新范式

< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400"> 阿里斩获国际AI顶会最佳资源论文奖，提出Agent评测新范式 量子位的朋友们 2026-07-08 15:51:26 来源： 量子位 7月8日，国际AI顶级学术会议ACL 2026公布了最佳论文奖项，阿里研究团队在Deep Research Agent方向的研究成果从全球一万多篇投稿中脱颖而出，获评最佳资源论文奖（Best Resource Paper），是国内唯一获得该奖项的中国公司。据悉，该论文首次系统揭示了当前Agent在真实世界复杂规则推理中面临巨大缺陷，并提出了全新的专家Agent评测基准，为提升大模型在真实场景的可靠性指明了新方向。 ACL（国际计算语言学协会）成立于1962年，是自然语言处理和计算语言学领域中历史最悠久、最具权威性的国际学术组织。在学术评价体系中，ACL长期位居谷歌学术计算语言学子领域的h5-index影响力榜首，是大模型、Agent等前沿计技术的核心论文首发阵地。据介绍，ACL 2026共收到12148篇投稿，仅19%被主会录用，最终仅有4篇论文获评Best Resource Paper。 阿里此次获奖的论文以商品出口所需的10位海关编码（HS Code）为切入点，提出了针对真实场景和专家水平的智能体新基准 HSCodeComp，它要求 Agent像资深关务专家一样，将商品模糊的属性与严格的关税归类规则对齐，为商品精准映射到10位细分编码。研究团队对14个主流大模型和9个先进 Agent框架进行了全面评测。测试结果显示，表现最好的Agent系统准确率仅为45%左右，远低于人类专家95%的准确率。更值得注意的是，研究还发现单纯堆更多推理时间（inference-time scaling）并不能显著缩小这道鸿沟，这意味着这背后并非“算力问题”，而是Agent架构本身的结构性瓶颈。 该研究还进一步揭示了导致Agent系统缺陷的原因：首先过长的推理链导致Agent在中途偏离正确路径，其次是领域知识不足导致规则误用，最后由于推理幻觉造成Agent生成缺乏事实依据的分类判断。这些发现为Agent能力提升指明了方向。 在 HSCodeComp基准测试中，阿里设计的Agent准确率达到65.0% 目前，HSCodeComp基准的数据集与评测代码已在Hugging Face和GitHub全面开源。据介绍，阿里已基于该研究成果，在跨境贸易数字关务等场景中设计了以Qwen基座模型为核心的Agent框架，在HSCodeComp 基准（10 位编码准确率）上的测试结果显示，该Agent以65.0%的准确率稳居AI系统第一位。 ACL评审委员会表示：“该基准切中了Agent应用的高度重要挑战——考察Agent对严格层级化自然语言规则的遵循能力，研究动机极具说服力；严谨的人类专家评测流程提供了高度可靠的能力上界。” 阿里研究团队表示：“层级规则应用是现实世界中大量专业决策的核心能力，不仅存在于国际贸易，也广泛存在于法律合规、医疗诊断、税务审计等重要高价值垂类领域。HSCodeComp揭示了当前Agent的能力边界，也为构建真正可靠的专业AI系统提供了科学的评测标杆。” 本文由阿里云提供，量子位获授权转载，观点归原作者所有。 版权所有，未经授权不得以任何形式转载及使用，违者必究。 阿里云 量子位的朋友们 横跨淘天与ATH事业群，硬核少年技术节下周京杭同步开幕，四项AIGX硬核成果齐发 2026-07-08 “人机共生，产需共融”——2026世界机器人大会新闻发布会在京召开 2026-07-08 智能伙伴 共创未来！WAIC 2026即将举行并首发主题片 2026-07-08 高德发布Phys AI Data：首个面向物理AI训练与应用的一站式空间数据基座 2026-07-08 扫码分享至朋友圈 相关阅读 燃爆！奥运8分钟AI影片火了，巴赫主席：感谢中国黑科技 本届奥运会上AI技术已遍地开花 鱼羊 2024-07-29 奥运会 阿里云 贾扬清团队攻克大数据计算性能瓶颈，阿里云EMR连续两年打破世界纪录 十三 2020-04-26 数据计算 贾扬清 阿里云 平头哥造芯模式，正式跑通！ 一个时代有一个时代的造芯模式 鱼羊 2022-11-03 倚天710 平头哥 阿里云 阿里千问，加持首个奥运官方大模型 史上“最智能”的一届奥运会 鱼羊 2026-02-05 奥运会 阿里云 马年4大顶流模型会师阿里云Coding Plan开工！Token量大管饱，自由切换真香 新用户低至首月7.9元 鹭羽 2026-02-25 Qwen 开源 阿里云 七夕节，阿里云AI发女朋友了 据说是借助哥伦比亚大学多年研究相亲找对象的心血，通过几个简单的特征来做评估。 量子位 2020-08-25 七夕 机器学习 阿里云 热门文章 钉钉A1录音卡入选Gartner AI可穿戴设备报告 2026-07-02 让Agent越用越强：AReaL 2.0开源，打造面向自演进智能体的RL基础设施 2026-07-02 论坛预告｜夯！AI企业家论坛首发阵容公开，更有千亿级实业巨头突袭 2026-07-02 全球首个英伟达含量为0的万亿模型，成了海外开发者的抢手货 2026-07-02 基石筑底｜WAIC 2026算力：超节点与光互连，能否绕过单芯片的物理天花板？ 2026-07-03