熵可以流动，也可以引导。是熵。 LEDFlow：将熵引导的生成顺序引入均匀离散流

摘要

arXiv:2609.25131v1 Announce Type: new Abstract: Uniform discrete flow permits repeated updates at every generation position. While continued revision supports correction of wrong tokens, it also expos...

the flow that absorption generation predictions entropy discrete correct intermediate

2026-09-23 1 阅读约1分钟阅读 Tung Sum Thomas Kwok, Yidong Ouyang, Yingjia Wan, Ying Nian Wu, Zhijiang Guo, Oscar Leong

arXiv:2609.25131v1 公告类型：新摘要：统一离散流允许在每个生成位置重复更新。虽然持续修订支持纠正错误标记，但它也将正确的中间预测暴露给以后的错误。数独谜题的实验表明，9.4% 的生成单元在中间步骤中是正确的，但在最终输出中是错误的。我们通过选择性吸收将生成顺序引入均匀离散流中，这固定了所选的预测，同时保留了活动位置的均匀流速度。为了防止吸收错误的预测，我们提出了低熵离散流（LEDFlow），这是一种无需训练的采样器，可以通过局部熵自适应地对吸收进行排序。通过将吸收误差分解为联合依赖性和条件预测项，我们表明在固定吸收预算下选择最低熵位置可以最小化条件项的上限。我们通过证明全局前瞻的决策误差界限在不完美的降噪器下随着前瞻窗口的增长而进一步支持局部熵的选择。在推理基准测试中，LEDFlow 的 Nikoli Sudoku 求解精度达到了 0.845，在强约束任务上收益最大。在文本到图像生成方面，它获得了最佳总体得分，在多模态理解方面，它在所有六个基准上都优于本机采样器，推理成本与标准流采样相当。

订阅66必读