首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 归档 标签 关于
智能AI morning

NeurIPS 2026 | 从“照做”到“懂你”:AI 能改好你的 Word 文档吗?

2026-11-19 1 阅读 约10分钟阅读 微软研究院AI
分享:
字号:
(本文阅读时间:16 分钟) 编辑 Word 文档是日常办公中最常见的任务之一。从调整字体、段落,到修改表格、图片和图表, 很多操作都需要细致 、准确的格式设置。 如今, AI agent 已经开始直接操作办公软件,于是有了一个新的问题 :它们能在多大程度上理解用户的编辑要求,并可靠地完成修改 ? 根据自然语言指令编辑 Word 文档, 其实包含两类不同的问题。第一类是用户把要求说得很明确,比如调整段落间距、应用列表格式、设置形状效果或更新图表。这时, agent 要做的是理解要求,并把它准确地转化为对应的编辑操作。第二类是用户只说一句 “ 照前面的格式来 ” 或 “ 和文档其他部分保持一致 ” 。这时, agent 还得先读懂文档上下文 ,判断应该参考哪个对象、修改哪些属性。 前者主要考察怎样执行修改,后者还要考察怎样确定修改要求 。 围绕这两类问题,微软亚洲研究院、韩国科学技术院( KAIST ) 和西安交通大学的研究员们提出了两个 Word 文档编辑评测基准: WordEval 和 WordInferBench 。 WordEval 从明确的编辑要求出发,检查单项操作是否正确完成, 以及多项操作合并到一条指令后能否依然可靠 。 WordInferBench 则逐步减少指令中给出的信息,通过描述式、参照式和推断式三种任务, 考察 agent 能否利用文档上下文,补全用户没有明说的要求。两者遵循相同的评测原则:直接读取 Word 中的文档属性,在各自的评测范围内检查目标属性是否全部正确,同时确认应当保留的内容和格式没有被改动。其中, WordEval 的论文已被 NeurIPS 2026 收录 。 相关信息已整理至文末,欢迎点击了解更多技术详情。 图 1. WordEval 与 WordInferBench 概览。 两者都从一项要求已完整说明的编辑操作出发。 图中 WordEval 示例来自真实任务, WordInferBench 示例用于说明任务设计。 WordEval : 看起来对,不等于真的对 WordEval 先关注明确指令下的编辑能力:目标对象和所需修改都已给出时, agent 能否真正把操作做完? 只看文档外观,很难回答这个问题。比如,用户要求把三个段落改成项目符号列表, agent 可能只是在文字前输入了项目符号字符。页面看起来像列表,但在 Word 内部,它们仍然是普通段落。类似的情况还有很多,比如把图片永久裁剪后再替换回去,可以得到和 Word 裁剪功能相同的视觉效果,但原图从此无法再调整;在页眉里直接输入标题,看上去也和插入一个关联文档 Title 属性的内容控件差不多,可实际却完全不同。 因此, WordEval 检查的不只是外观。它还要确认三件事:操作是否作用于正确的对象,属性值是否准确,以及保留性检查覆盖的属性是否保持不变。 图 2. WordEval 如何得出判定。图中回放了评测中的六个真实案例。评测器在 Word 中打开 agent 保存的文档和参考文档,读取请求涉及的属性并逐项比较。在第一个案例中,两份文档都显示了项目符号,但 Word 在 agent 的输出中读不到列表结构。 让 Word 亲自当“考官”: 642 个任务, 15 类功能 WordEval 共包含 642 个任务,覆盖文本、段落、列表、表格、图片、图表、 SmartArt 和页面结构等 15 类 Word 功能。评测器在 Microsoft Word 中打开每份结果文档,通过 Word 自动化接口直接读取相关元素及其属性。必要时,它还会检查保存后的文件,确认修改确实被保留了下来。 为了让指令、参考答案和评测标准保持一致,研究员们让每个任务都从同一份规范生成。输入构建器先创建起始文档,参考执行器再通过 Word 自动化接口执行规定操作,得到预期的文档状态。指令和验证项也来自这份规范,包括要检查哪些元素和属性、属性应取什么值,以及哪些已有属性必须保持不变。 Agent 可以自由选择工具和操作步骤,但最终结果都要接受同一组检查。 图 3 . WordEval 的任务构建流程。同一份编辑规范定义输入文档、指令和检查项。参考执行器在 Word 中对输入文档执行规定操作,生成参考文档(绿色步骤)。 组合任务中的每项编辑都关联到使用相同命令的原子任务 。 单独能做对,组合就出错 WordEval 不仅考察单项编辑是否准确,还考察多项编辑放进同一份文档后会遇到哪些额外挑战。它包含两类任务: 546 个原子任务( atomic task )和 96 个组合任务( compositional task )。每个原子任务只考察一项操作,比如修改段落间距、裁剪图片或给形状添加效果。组合任务则把多项编辑放进同一条指令,这些编辑有的存在明确的先后依赖,有的会通过目标对象或页面布局相互影响。两类任务使用相同的操作集合和同一套 Word 原生评测标准,组合任务中的每项操作都对应一个使用相同命令的原子任务。通过这种对照,研究员们可以观察到,单独执行能成功的操作,放进同一份文档后是否还能完成。 研究员们评测了八个 agent 系统,总体通过率在 44.5% 到 87.1% 之间。所有系统在组合任务上的通过率都低于原子任务,差距为 3.2 到 19.1 个百分点。更值得注意的是,原子任务表现相近的系统,组合能力可能相差很大。 Gemini 3.8 Flash 和 GLM-5.2 的原子任务通过率分别为 57.9% 和 58.2% ,几乎持平,组合任务通过率却分别只有 49.0% 和 39.6% 。在涉及定位、对齐等布局交互的八个请求中, GLM-5.2 通过了所有对应的原子任务,却只完成了其中两个组合任务。可见,单独能完成的操作,放进同一份文档后不一定都能做对。 图 4. 八个 agent 系统与人类基线在原子任务和组合任务上的通过率(按任务统计)。所有 agent 系统和人类基线在组合任务上的通过率都更低。 文件打不开、属性改错:失败都出在哪儿? WordEval 把失败分成了两类。一类是没能生成可评测的文档,另一类是在有效的 Word 文档中出现编辑错误。有的 agent 没有输出文件,或者生成了无效 、损坏的文档 ;有的文件能正常打开 ,却存在属性值错误、元素缺失、 改错对象,或本应保留的属性被意外改动等问题。研究员们进一步分析了 Claude Code ( Opus 5 )的 59 份错误输出,发现即使 agent 选中了正确的形状,也可能应用错误的阴影或映像类型。 这说明,完成编辑不等于生成一个看起来相似的页面。每项操作都必须准确作用于 Word 的实际文档结构,多项修改之间还必须相互兼容。 图 5. 失败分析。( A )各系统未通过任务的输出状态,占全部 642 个任务的比例。 Missing output 表示未提交文档; Invalid output 表示 Word 无法打开文档,或文档未通过 OOXML 验证; Incorrect output 表示文档有效,但未通过某项编辑要求或保留性检查。( B ) Claude Code ( Opus 5 )的 59 份错误输出( A 中加粗部分 )的不匹配类型,每
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱