NeurIPS'26｜无需训练+梯度：引导离散扩散模型设计DNA/蛋白质

新智元报道 近两年，离散扩散模型（Discrete Diffusion）正在成为生物序列生成的重要工具。与自回归模型逐个token从左到右生成不同，掩码离散扩散（Masked Discrete Diffusion）从一条全部被遮盖的序列出发，逐步「揭开」每个位置上的碱基或氨基酸。 它天然适合DNA、蛋白质这类有限字母表的数据，也已经在调控元件设计、蛋白质逆折叠等任务上展现出不错的生成质量。 但在真实的科研场景中，仅仅「从预训练分布中采样」并不够。做增强子设计的同学希望序列在目标细胞中活性更高；做蛋白质设计的同学希望序列更稳定、并能折叠回指定结构。 换句话说，我们真正需要的是： 让一个已经训练好的生成模型，朝着某个任务奖励（reward）去生成。 这件事听起来很自然，做起来却并不容易。微调模型可以提升奖励，但需要额外训练、往往还需要奖励可微；而现有的免训练方法要么同样依赖梯度，要么依赖代价随轨迹长度或搜索宽度增长的粒子/搜索过程。很多生物学奖励，例如Enformer预测器或结构预测打分，本质上是「黑盒」，只能查询分数，难以反传梯度。 能否在不改动模型参数、不需要奖励梯度的前提下，只修改推理阶段的采样规则，就把一个冻结的离散扩散模型适配到任意黑盒奖励上？ 在NeurIPS 2026发表的一篇工作中，研究人员给出了一个答案：把「奖励适配」看作一个 分布搬运问题 ，并利用随机过程中的经典工具 Doob h-变换 ，推导出它在掩码离散扩散上的形式。 在此基础上，研究人员设计了一个只需奖励值、无需训练的高效采样器D-DOIT（Discrete Doob-Oriented Inference-time Transformation）。 在HepG2增强子设计上，高预算的D-DOIT-Q预测活性达到6.19，超过需要微调的DRAKES（5.61）；在蛋白质逆折叠上，D-DOIT的结构–稳定性联合成功率为68.1%，高于无需微调的SMC（63.6%）和TDS（62.9%）。 论文链接： https://arxiv.org/abs/2610.04938 代码链接： github.com/Wei minWu2000/D-DOIT 项目主页： https://weiminwu2000.github.io/blog/ddoit.html 如何让冻结的离散扩散模型「听奖励的话」？ 先回顾掩码离散扩散的生成过程。给定长度为 N 的序列，前向过程以一定概率把每个token替换成掩码符号m，并且一旦被遮盖就不会恢复；反向过程则从全掩码状态出发，在每一步利用模型的预测头（prediction head）给出每个被遮盖位置的「干净token」分布，并按照转移规则揭开其中一部分位置。 图1：标准掩码离散扩散的生成过程。从全掩码序列出发，每一步按转移规则独立揭开若干位置，已揭开的位置不再改动，直到得到完整序列。 从上到下是同一条序列在不同时刻的样子：中间那一步只在掩码位置上采样，已经揭开的位置原样带到下一行。 记token字母表为𝒱、掩码符号为m。下式中的 α 是一个干净token到第 t 步仍未被遮盖的概率，它随 t 增大而下降，在起点处接近0，此时序列几乎全是掩码。前向过程对每个位置独立地做： 反向过程从全掩码状态出发。预测头 μ 给出每个被遮盖位置的干净token后验，把它代入解析的反向后验，就得到从第 t 步到第 t −1步的单步转移（逐坐标 j 独立）： 三行分别对应：这一步仍然保持掩码、被揭开成某个具体token、以及已经揭开的位置原样保留。整条反向链在各坐标上因子化： 上面的式子里已经写着这个过程的两个特点：一是 每个位置独立揭开 （最后一式的连乘），局部、快速，但对奖励毫无感知；二是 揭开不可逆 （单步转移的第三行），一旦某个位置被填上某个碱基，后续步骤就无法修改。 训练式方法：效果好，但代价高 一类方法通过强化学习或奖励微调直接更新骨干模型（如DRAKES）。它们可以获得很强的奖励提升，但需要额外的训练开销、超参数调节，通常还要求奖励可微。每换一个任务或奖励，就得重新训练一次。后面表格里的CFG（Classifier-Free Guidance，无分类器引导）也属于这一类。 免训练方法：要么要梯度，要么开销随轨迹增长 另一类方法保持模型冻结，在推理阶段做引导。分类器引导（Classifier Guidance，CG）需要奖励梯度；序贯蒙特卡罗（Sequential Monte Carlo，SMC）和扭曲扩散采样器（Twisted Diffusion Sampler，TDS）等粒子方法通过轨迹似然比重加权，代价与轨迹历史相关；软价值解码（Soft Value-Based Decoding，SVDD）等方法基于软价值估计在候选状态中做选择。 它们各有优势，但缺少一个统一、精确的目标分布视角来回答： 引导之后，到底想从什么分布里采样？每一步的转移概率应该被修正成什么样？ 奖励倾斜分布 离散 Doob h-变换 想要的分布目标 冻结的模型本身已经定义了一个分布，记作 p ，它描述了什么样的序列看起来是自然的。想要的不是它，但也不是「奖励最高的那一条」：后者往往钻了预测器的空子，根本不像真实序列。 真正想要的在两者之间，既保持模型眼里的自然，又偏向高奖励。把这个愿望写成公式，就是 奖励倾斜分布（reward-tilted distribution） ： 这里 β 是温度参数，分母是归一化常数。这个目标把预训练模型当作序列先验，同时偏好高奖励的输出： β 越小，越激进地追求奖励； β 越大，越贴近原模型，从而保留序列的「自然性」。 这对生物序列尤其重要：不希望为了刷高预测分数，就生成一堆不像真实增强子的序列。 先看连续情形：Doob h-变换是一个加性漂移 Doob h-变换是随机过程里的经典工具：把一个马尔可夫过程「条件化」到某个关于未来的事件上，得到的仍然是一个马尔可夫过程，只是多了一项由 h 决定的修正。这里的 h 就是那个未来事件在当前状态下的条件期望，即终点奖励权重的条件期望。 在连续扩散里，反向采样是一条随机微分方程（Stochastic Differential Equation，简称 SDE），Doob h-变换给出的修正加在漂移项上： 等价地说，采样用的score从∇log p 变成∇log p + ∇log h 。 离散Doob h-变换：乘法重加权，而非加性漂移 回到掩码离散扩散。同样是 Doob h-变换 ，在这里的形式却完全不同。研究人员先定义离散Doob h-函数：给定当前部分去噪的状态，未来最终奖励权重的条件期望： 它可以理解为当前这个「中间状态」的 未来价值（reward-to-go） ：从这里继续用原模型去噪，最终能拿到多高的奖励。研究人员证明（Theorem 2.1），只要把每一步的反向转移核按「下一状态与当前状态的 h 值之比」进行重加权， 那么变换后的反向链在终点的边缘分布 恰好 就是奖励倾斜分布，而模型参数完全不需要改动。 回头对照上一节：连续情形下的Doob修正是加在score上的一个漂移项；而掩码离散扩散的状态空间是类别型的，生成通过不可逆的「揭开」转移完成，根本不存在欧氏意义