首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 归档 标签 关于
智能AI morning

姚顺雨和混元团队上Reddit答网友,Hy小模型已进路线图

摘要

姚顺雨和混元团队上Reddit答网友,Hy小模型已进路线图 衡宇 2026-11-21 14:30:55 来源: 量子位 听雨 发自 凹非寺 量子位 | 公众号 QbitAI Hy小模型已经在路线图上,面向24GB显存的模型也有计划。 今天凌晨, 姚顺雨和腾讯混元团队 来到Reddit社区,围绕刚发布的Hy4和Hy4 flash做了一场AMA。 AMA是「Ask Me Anything」的缩写,意...

混元团队 Hy4 量子位 flash 过度思考 姚顺雨和混元团队上Reddit答网友 Hy小模型已进路线图 2026 凹非寺 公众号
2026-11-22 1 阅读 约9分钟阅读 衡宇
分享:
字号:
< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400"> 姚顺雨和混元团队上Reddit答网友,Hy小模型已进路线图 衡宇 2026-11-21 14:30:55 来源: 量子位 听雨 发自 凹非寺 量子位 | 公众号 QbitAI Hy小模型已经在路线图上,面向24GB显存的模型也有计划。 今天凌晨, 姚顺雨和腾讯混元团队 来到Reddit社区,围绕刚发布的Hy4和Hy4 flash做了一场AMA。 AMA是「Ask Me Anything」的缩写,意思是「有什么想问的,尽管问」。网友在评论区提问,混元团队成员直接回帖。 参与名单上只列了Reddit账号,至于哪个马甲是姚顺雨,我们还没对上号…… 这场AMA的主角,是混元本月接连发布的两款模型。 11月4日发布的 Hy4 是旗舰,能理解文本、图像和视频,适合长程软件工程这类需要多步推理、反复调用工具的复杂任务。 11月16日发布的 Hy4 flash ,主打日常办公的速度和成本。它支持图文输入和最长100万Token的上下文,每个Token激活约120亿参数。 Hy4和Hy4 flash都已接入腾讯WorkBuddy。混元团队还把WorkBuddy里的修表、改文档、做PPT等典型任务纳入了内部评测WorkIndex,按这套评测测算,Hy4 flash的平均单任务成本约为旗舰Hy4的1/20。 两款模型的权重都已公开。到了AMA,有网友直接报出自己的电脑配置: 96GB显存、128GB内存,能跑Flash吗? 团队说能跑,主要权重留在GPU上,部分专家层和Engram查表模块可以挪到系统内存。 也有人问llama.cpp,团队说适配正在做。 聊到研发,团队还透露了不少训练背后的秘诀。 Flash的激活参数还能不能减?他们拿做过的MoE稀疏度实验解释取舍。 让Agent自己解题,训练时遇到过什么麻烦?有时它会直接上网找现成答案,跳过解题过程。 还有网友问,后训练里最难改善的行为是什么,团队只回了一个词, Overthinking,过度思考。 旗舰Hy4的推理链有时偏长。到了Flash,团队先从旗舰蒸馏,再用强化学习把推理链压短。 从模型怎么训,到开发者能不能把它跑起来,这场AMA聊了不少平时在模型卡上只有一行、到了真用时却绕不开的问题。 以下是AMA问答节选,按主题编排,中文译文有删节。 Enjoy~ Hy4为什么「想太久」,Flash又是怎么训练的? 网友: 和Hy4 preview一样,Hy4正式版有时也会推理太久。这和强化学习的奖励设计有关,还是和训练数据的分布有关?模型能学会什么时候停下来吗? 混元团队: Hy4的目标是尽量提高智能水平,推理链偏长是我们知道的问题。我们可以把Hy4蒸馏成成本效率更高的Hy4 flash,并在Flash上用强化学习缩短推理链。 网友: 后训练阶段,最难改善的是哪种模型行为? 混元团队: 过度思考。 网友: Hy4现在的参数规模还有多少提升空间?以后想做出更强的模型,必须继续加参数吗? 混元团队: 我们认为Hy4还有相当大的提升空间,尤其是在后训练上。我们在投入大规模强化学习,也在继续改善用户体验和模型安全性。同时,我们计划训练更大规模的模型。 网友: 训练Hy4和Hy4 flash做长程Agent任务时,多轮强化学习里最难处理的情况是什么? 混元团队: 最棘手的是训练环境设计有漏洞,模型会钻空子拿奖励。比如,我们得防止Agent直接上网搜现成答案,让它自己把任务做完。 网友: 做命令行任务时,模型编错一个参数就可能让命令出错。你们怎么提高工具调用的准确性,又怎么让模型在长任务里记住前文? 混元团队: 我们在强化学习数据里加入了模型容易犯错的难例,奖励也做得更细,关键细节出错会扣得更重。对于长任务,我们在持续拉长强化学习训练所用的上下文,也在提升模型压缩上下文、保留关键信息的能力。 网友: 姚顺雨经常提到,选训练数据需要有判断力。你们怎么判断一批数据好不好? 混元团队: 数据质量有很多维度,不同领域、不同任务的要求也不一样。无论用人类专家还是智能体,设计和清洗数据都要花很多功夫。最后还是要做实验,看这批数据能不能带来提升。 网友: HyRA 2.0实验里,Hy4带来的提升主要来自哪里?它有发现新的架构或数据配比方面的改进吗? 混元团队: 这次提升主要来自底层吞吐优化。要让模型进一步参与研发,还得提高它判断训练方案的能力。用AI做AI研发,本身也是一件周期长、难点多的事。 网友: 你们已经用Hy4和HyRA 2.0改进了训练基础设施,也训练出了更好的小模型。接下来会做什么实验,看看这一轮训练出的模型能否在下一轮更擅长做研发? 混元团队: 我们正在做HyRA 3.0,敬请期待。 网友: 如果让Hy4自己运行,它现在能通过递归自我改进做出下一代模型吗?你们怎么评估这种能力? 混元团队: 我们的递归自我改进能力还处于早期,已经做了几项内部基准,用来评估其中的关键能力。 Flash的参数花在哪儿了? 网友: 不算Engram,Hy4 flash主干约有1560亿参数,每个Token激活约120亿。如果总参数不变,把激活参数降到80亿或50亿,效果会掉多少? 混元团队: 我们做过不同MoE稀疏度的规模实验。固定激活参数量时,提高稀疏度能改善计算效率。但如果固定总参数,再把激活量降到80亿或50亿,我预计模型质量会明显下降。激活参数量决定了每个Token能用多少计算,提高稀疏度能弥补一部分。 网友: Hy4 flash为什么给Engram分配约635亿参数?这个比例是怎么定的? 混元团队: 我们的实验看到了一条U形曲线。把Engram也计入总参数量,Engram占比在三分之一左右时,接近实验里的最优点。占比再往下调,计算效率会降低。 网友: Flash为什么选择滑动窗口注意力 (SWA) ? 混元团队: 滑动窗口注意力能把KV缓存压到原来的约四分之一,显著降低部署成本。 小模型、本地部署和下一步 网友: 会有Hy4 mini吗?还有人想要比Flash更轻的版本,跑文档解析、分类和简单自动化。 混元团队: Hy小模型已经在路线图上。 网友: 下一代Hy模型会做到1.5万亿至2万亿参数吗? 混元团队: 下一代Hy模型的规模肯定会进一步显著扩大。 网友: 会考虑推出更轻量的Flash-Lite吗?比如用来做文档解析、分类和简单自动化。 混元团队: 有的,敬请期待Flash-Lite。 网友: 有面向24GB显存的模型计划吗? 混元团队: 有,未来会发布。 网友: 我有96GB显存、128GB系统内存,能跑Hy4 flash吗? 混元团队: 可以。主要权重和注意力计算放在GPU上,部分专家层可以卸载到系统内存,Engram表也可以放在内存里。 网友: 同一个工作任务,托管版Hy4 flash在我的测试里全对,本地NVFP4版本却出现了约8%的错误。这个模型更难量化吗? 混元团队: 量化质量很看方法和校准方式。团队建议试试用GPTQ量化的NVFP4版本。在我
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱