如何引导你的语言流动

摘要

arXiv:2609.19356v1 Announce Type: new Abstract: We introduce a new method to guide flow matching models. Our approach, which we call probe guidance, uses the frozen internal states of an existing diff...

the model and guidance diffusion new models probe autoguidance weak

2026-09-18 1 阅读约1分钟阅读 Rohit Dilip, Tianrong Chen, Yuyang Wang, David Van Valen, Joshua Susskind, Miguel Angel Bautista

arXiv:2609.19356v1 公告类型：新摘要：我们引入了一种新的方法来指导流量匹配模型。我们的方法称为探针引导，使用现有扩散模型的冻结内部状态来构建引导信号。其工作原理与自动引导类似，但无需在推理时进行额外的前向传递，并提供可靠的路径来确保弱模型和强模型共享相似的动态。我们在连续扩散语言模型上应用这种方法并对其进行基准测试，其中探针引导在无条件生成上设置了新的最先进的性能。当应用于 1.7B 扩散语言模型时，探针指导在多项选择题回答基准上持续改进。使用我们的探针，我们研究了传统的自动引导设置，其中强模型是弱检查点，并发现弱模型必须来自训练的低熵区域。这些发现既提供了改进扩散语言模型的实用方法，又揭示了目前人们知之甚少的自动引导背后的实际机制。

订阅66必读