智能AI
morning
NeurIPS 2026 | 如何让LLM在推理中不断进化
摘要
随着人工智能(AI)系统的大规模部署,AI 服务正成为能源消耗增长的关键驱动因素,尤其是在大型语言模型(LLM)推理服务方面。LLM 服务过程中,基于真实用户交互生成的大规模 LLM 推理促使我们重新思考 如何利用推理过程本身来改进服务系统 ,特别是实现高效的特定任务 LLM 自适应。 主流的 LLM 自适应方法基于调优技术(例如,参数高效微调(PEFT)、提示调优等)和知识增强技术(例如,检索增...
LLM
SVD
自适应
LASER
PEFT
https
结果表明
Grad
GPT
评估报告准确率
2026-11-20
1 阅读
约9分钟阅读
机器之心
字号:
随着人工智能(AI)系统的大规模部署,AI 服务正成为能源消耗增长的关键驱动因素,尤其是在大型语言模型(LLM)推理服务方面。LLM 服务过程中,基于真实用户交互生成的大规模 LLM 推理促使我们重新思考 如何利用推理过程本身来改进服务系统 ,特别是实现高效的特定任务 LLM 自适应。 主流的 LLM 自适应方法基于调优技术(例如,参数高效微调(PEFT)、提示调优等)和知识增强技术(例如,检索增强生成(RAG)、提示工程等)。知识增强技术主要通过注入知识来实现,并且与 LLM 推理过程中修改内部权重无关。调优技术通常依赖于反向传播,与推理本身相比会产生额外的资源开销。相反, 新兴的仅前向学习方法[1],仅依赖于前向传播,正成为 LLM 推理中一种很有前景的自适应方法。 一句话概括:LLM 在推理的过程中不断进化, 在仅前向(无后向传播)中实现对下游任务的自适应。 论文标题:Efficient LLM Adaptation with Forward-Only Passes 研究团队:隆德大学(瑞典), Google DeepMind (纽约) 论文链接:https://arxiv.org/abs/2611.10610 NeurIPS 官方页面:https://neurips.cc/virtual/2026/loc/atlanta/poster/148809 核心贡献: 利用 LLM 前向传播中激活值的角度集中度来衡量参数 SVD 中不同 rank 对激活值的贡献并对相应的 ranks 进行裁剪 本文旨在实现 LLM 推理服务过程中仅通过前向传播即可高效自适应 LLM 。我们提出仅前向搜索来加速所选权重矩阵的识别,其方法是利用奇异值分解(SVD)分量引起的激活与隐藏状态之间的角度集中度差异。每个 SVD 分量引起的激活的角度集中度用于衡量其对隐藏状态角度集中度的贡献——分散或集中。我们的前向搜索包含以下步骤: 第一,具有多个 SVD 分量的 SVD 分解 第二,所有 SVD 分量的激活值之和可恢复标准的前向传播 第三,角度集中度计算 前向传播测量角度集中度,以确定哪个权重矩阵具有最高的离散度,该权重矩阵随后用于降秩运算。 结果 结果表明,与基于梯度的方法(LASER-Grad)相比,我们的前向方法具有更低的峰值内存和更高的加速比;与穷举搜索方法(LASER)相比,我们也具有更高的加速比和相当的精度。 我们证明,与基于梯度的方法相比,我们的前向搜索方法在各种数据集(包括知识推理、知识干预、多跳推理、事实验证、公平性和偏见评估、幻觉检测和信息检索)上实现了更低的峰值内存占用和更高的加速比;与穷举搜索方法相比,该方法也具有更高的加速比和相当的准确率。 GPT-J 评估报告准确率(Acc,%)、加速比和峰值内存(Mem) Roberta 评估报告准确率(Acc,%)、加速比和峰值内存(Mem) 扩展实验进一步证明了我们前向搜索方法的有效性和鲁棒性,以及其增强微调过程的能力。 GPT-J Roberta on Bios Gender 此外,我们还对各种参数量高达 570 亿的 LLM 进行了广泛的实验,包括 LLaMA2 DeepSeekV1、Mistral、Qwen2 及其专家混合模型(MoE)版本,以及多模态 Gemma 4。结果表明,我们的前向搜索方法具有很强的泛化能力。 我们在消融实验中展示了我们提出的高效分层搜索算法能够有效且鲁棒地加速计算,同时保持下游精度。此外,与 LASER-Grad 相比,我们的仅前向方法在不同的序列长度下,峰值内存显著降低,加速比更高。 我们将 Key、Query、Value 等权重矩阵添加到默认的 FFN 输入/输出中。相应结果表明,我们的仅前向搜索可以得到与仅考虑默认 FFN 输入/输出时相同的 top-j 权重矩阵。换句话说,注意力模块中的权重矩阵可以忽略不计,从而加快计算速度。 相关工作: LLM 压缩、LLM 自适应、仅前向学习 LLM 压缩: 模型压缩技术通常旨在减少模型存储而不影响下游精度。迄今为止,包括量化、蒸馏、张量分解、剪枝和键值缓存压缩在内的 LLM 压缩方法,也旨在保持下游精度,但在一定程度上需要额外的步骤,例如微调和对齐,或者在压缩后通过推理来提高下游精度。值得注意的是,在奇异值分解(SVD)中选择性地去除权重矩阵的高阶分量可以提高下游精度。 LLM 自适应: 将 LLM 适配到下游任务通常涉及调优技术和知识增强技术。调优技术包括监督式微调 (SFT) 、PEFT(例如低秩自适应 (LoRA)、适配器调优等)、提示调优、前缀调优、偏置高效微调 (BEFT) 、指令调优以及以下对齐技术,以及测试时训练。然而,这些调优技术通常依赖于反向传播。即使是无需训练的 LLM 对齐方法,与推理本身相比,仍然会产生额外的资源开销。此外,知识增强技术,包括 ICL、提示指令、检索增强生成、提示工程、激活控制以及基于工具的方法,主要通过增强提示或注入信息来运行,并且与在 LLM 推理过程中修改内部权重是正交的。 仅前向学习: 新兴的仅前向学习算法展现了模型自适应的一个有前景的趋势,即从依赖反向传播转向更直接地依赖前向传播,这在当前 LLM 规模空前庞大的时代尤为重要。然而,仅前向学习扩展到更深层模型(例如 LLM)的可扩展性仍然是一个具有挑战性的问题。在仅前向传播技术中,前向梯度法可以通过对多个扰动进行平均或利用局部损失进行更好的梯度估计来扩展到更深的模型,而零阶优化可以扩展到更深的模型和 LLM。此外,扩展到 LLM 的进化策略要么需要调整输入提示/嵌入,要么需要多次迭代(调整)前向传播。 结语 新兴的仅前向学习方法,仅依赖于前向传播,无需任何后向传播,正逐步被应用到大模型领域,发挥更实际的作用。 总而言之,由于本文提出的方法 完全摒弃了反向传播梯度计算 ,并且具备低内存占用和高加速比,它未来完全可以在真实的 LLM 推理服务过程中实现在线实时适应。系统可以利用来自用户交互的偏好数据或自标记验证数据,在服务期间动态地、低成本地调整模型,使其更贴合特定任务或用户群体,具有极高的商业价值。 参考链接: [1] Baichuan Huang, Alexander Ororbia, Amir Aminifar. Backpropagation-Free Learning: On the Emergence of Forward-Only Algorithms. TechRxiv. 2026. DOI: https://doi.org/10.36227/techrxiv.176739859.93468234/v1 © THE END 转载请联系本公众号获得授权 投稿或寻求报道:liyazhou@jiqizhixin.com 文章原文
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱