首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 汽车 游戏 社会热点 开源推荐 医疗健康 归档 标签 关于

不蒸馏不走捷径!字节拟押注5万亿参数大模型 规模超Kimi K3

2026-08-07 1 阅读 约2分钟阅读 秋白
分享:
字号:
快科技8月7日消息, 据《晚点 LatePost》报道,字节跳动正在讨论训练一个参数规模超5万亿的模型,它超过阿里的 Qwen 3.8-Max(2.4 万亿参数)和月之暗面的K3(2.8 万亿参数),也是目前国内已知参数规模最大的模型。 该计划仍处于早期阶段,模型最终不一定会发布。 报道称,新模型将由Seed Foundation负责人项亮主导,与大语言模型预训练数据负责人沈科合作。为此,Seed正在重新梳理组织,划分职责,分配资源。 针对字节讨论训练超5万亿参数模型的原因,报道援引接近Seed人士消息称,Seed团队认为,与其在现有尺寸上继续追赶其他大模型,不如把参数规模一次推到同行的数倍,争取领先位置。 值得一提的是,在字节跳动近日举行的内部会议中,创始人张一鸣罕见表态,做模型要坚持长期主义、延迟满足感,而不是用别人的输出,换一时的榜单排名。 他明确指出,字节跳动“应该愿意为长期目标牺牲一部分短期收益”。 据了解,目前字节跳动内部对开源模型严禁蒸馏,甚至通过API检测等方式在内部加强相关限制,张一鸣认为,蒸馏会干扰真正意义上的长期技术突破。 另一边,字节跳动于8月6日召开2026年年中全员大会。 大会期间,公司CEO梁汝波表示,在大语言模型上,接下来字节跳动还是会坚持自研,做好基本功,接受短期落后,坚持优化长期。 针对“优化长期”,梁汝波指出,是要以用户为中心,以增量社会价值为中心,不因短时间的波动而动摇。具体到AI业务上,就是要相信AGI,坚持自研。 在梁汝波看来,最重要的是动作不要变形,从心态上要接受大语言模型一段时间的落后,坚持自研和优化长期。 “昨天看到有外部报道说,我们是因为外部压力才坚持自研的,这是瞎猜的。真实原因是,我们希望团队延迟满足感,打好技术基础,这对长期实现AGI很关键。”梁汝波总结称。 此次字节高层接连发声绝非单纯的技术规划,更是一次完整的战略宣告。对内统一研发思路,也向全行业释放信号:字节无意跟随旁人的技术路线内卷,打算走出属于自身的成长曲线!
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱