突破长文本推理瓶颈 九章云极Alaya-DFlash2助GLM-5.3解码提速3.41倍

长文本的等待，发生在输出阶段。 32k 的文档读进去了，模型开始回答。第一个字很快，后面每个字都要等——主模型一次只往前一步，每生成一个 token，都要把整段上下文重新算一遍。上下文越长，这一步越贵。 推测解码换了个做法：让一个更小的草稿模型先往后猜几步，主模型一次性验证。猜中的部分直接接收，一轮就能推进好几个 token。猜得准不准，用一个指标衡量——接受长度，即每次验证平均能通过多少个候选。 Alaya-DFlash2 是九章云极为 GLM-5.3 打造的一套推测解码加速方案：一个能并行起草的草稿模型，加一套路径选择机制，让它在长上下文里依然猜得准。评测显示，它在长上下文下保持了较高的草稿接受长度，并在从单并发到 64 并发的全部已测档位中，同时取得高于原生自回归解码的单用户解码速度与总输出吞吐。 一句话：交互场景可以追求更流畅的生成，多请求场景能用同样的卡承接更多输出。 从单人交互到并发服务，速度与吞吐双提升 TP=8, 8 × H200, 单并发时，Alaya-DFlash2 的解码速度约为 288.2 tokens/s，原生自回归约为 84.5 tokens/s，前者达到后者的 3.41 倍。对应的总输出吞吐从78.95 tokens/s 提升至 236.47 tokens/s，约为原来的 3 倍。对于需要持续输出较长内容的应用，这意味着生成阶段可以更快地向用户交付文本。 并发增加后，优势仍然存在。4 并发时，Alaya-DFlash2 的总输出吞吐达到 506.56 tokens/s，为原生自回归的 2.24 倍；64 并发时，总输出吞吐达到 608.71 tokens/s，较原生自回归的 420.13 tokens/s 提升 44.9%。在本轮负载范围内，Alaya-DFlash2 为低并发交互和较高并发服务都提供了可量化的性能增益。 上下文拉长至 32k，接受长度保持领先 长上下文中的表现，是这组结果尤其值得关注的部分。草稿模型需要预测主模型接下来会生成什么；每轮能够被接受的内容越多，就越有机会减少主模型反复解码的轮次。“接受长度”正是衡量这项能力的指标。 在覆盖 1k、2k、8k、16k 和 32k 的低熵上下文测试中，九章云极Alaya-DFlash2 的接受长度分别为 4.74、4.97、5.28、5.50 和 5.39，全部高于本轮参评的 IncoAI-DFlash2 与 RedHat-DSpark。进入 8k 至 32k 区间后，其接受长度持续保持在 5.28 以上，展现出较强的长上下文适应能力。 其中，16k 上下文下，九章云极Alaya-DFlash2 的接受长度较 IncoAI-DFlash2 高 24.7%，较 RedHat-DSpark 高 40.3%；32k 上下文下，优势分别为 18.5% 和 34.1%。随着业务输入中积累更多文档、检索材料与对话历史，这种在长上下文测试中保持较高接受长度的能力，为进一步优化生成效率提供了依据。 11 类任务中 9 类领先，覆盖多元应用需求 任务覆盖面同样体现了九章云极Alaya-DFlash2 的优势。在问答、数学、多语、检索增强生成（RAG）、推理、摘要等 9 类任务中，Alaya-DFlash2 的接受长度均为三款参评模型中的最高值；代码与角色扮演两类任务则与 IncoAI-DFlash2 接近。相较 RedHat-DSpark，Alaya-DFlash2 在全部 11 类任务中取得更高的接受长度。 几项与应用紧密相关的结果尤其突出：问答任务接受长度达到 3.40，较IncoAI官方的IncoAI-DFlash2 高 20.1%；多语任务达到 4.76，较 RedHat-DSpark 高 29.0%；摘要与 RAG 任务分别达到 4.82 和 4.50。这些结果展示了 Alaya-DFlash2 在不同内容类型上的适配能力，也为知识问答、资料整理和多语内容处理等应用提供了性能评估参考。 草稿后半段更准，让每轮生成推进更远 进一步观察逐位置接受率，可以看到 Alaya-DFlash2 的另一个特点：草稿延伸到后半段时，仍有更多内容能够被主模型接受。 在 32k 低熵上下文测试中，Alaya-DFlash2 在第 5 个草稿位置（P4）的接受率为 49.43%，IncoAI-DFlash2 与 RedHat-DSpark 分别为 31.84% 和 23.86%。到第 8 个位置（P7），Alaya-DFlash2 仍保持 29.51%，分别为两款对比模型的约 1.73 倍和 3.32 倍。 对推测解码而言，后段接受率具有直接意义：草稿前缀被接受后，后续候选还能继续通过验证，一轮解码就有机会推进更长的文本。Alaya-DFlash2 在 8k 与 32k 下的后段接受率表现，与其较高的整体接受长度相呼应，也让长上下文加速的优势有了更细致的解释。 P0 至 P7 对应第 1 至第 8 个草稿位置，Alaya-DFlash2 在长上下文的草稿后段保持了更高的接受率。 并行起草与路径选择，将技术优势转化为推理效率 以上的效率提升，是 DFlash2 的并行草稿生成与路径选择机制。其架构在已有上下文后放置多个待预测位置，由骨干网络并行生成候选，再通过并行路径选择器，将不同位置的候选组织为一条草稿序列，交由主模型验证。 这一机制同时关注草稿生成效率和候选之间的衔接。我们基于AlayaNeW智算引擎，围绕 GLM-5.3 训练配套草稿模型，使这条技术路线在本轮评测中体现为更长的接受长度、更强的草稿后段接受能力，以及实际测得的速度与吞吐提升。 长上下文承载着更多信息，也值得更少的等待。Alaya-DFlash2 将 DFlash2 的并行草稿能力带到 GLM-5.3，让更多候选在一轮验证中被接受，把加速落实到长文本生成和并发服务中。让模型的能力更快抵达用户，是我们训练这款草稿模型的初衷。 开源地址： AlayaNeW/GLM-5.3-DFlash2 "。欢迎围绕自己的业务场景开展评测，也欢迎交流部署经验与优化思路。 如需引用：