首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 归档 标签 关于

曾妍的新论文,就是字节“10万亿”路线图

摘要

文 | 字母AI 95后的曾妍,正在快速晋升。 曾妍于1997年出生,2021年以校招的方式进入字节,后来成为了Seedance的预训练负责人。字母AI在文章 《字节的“罗福莉”,撑起了Seedance的半边天》 中曾对她进行过详细报道。 如今有传言称,曾妍的头衔已经上升为Seedance核心负责人。早在今年3月时,曾妍的职级还是3-2,而到了11月,她的职级达到了4-2,实现一年连跳两级。并且曾...

字母AI 95后的曾妍 正在快速晋升 曾妍于1997年出生 2021年以校招的方式进入字节 后来成为了Seedance的预训练负责人 字母AI在文章 字节的 罗福莉 撑起了Seedance的半边天
2026-11-19 1 阅读 约10分钟阅读 字母AI
分享:
字号:
文 | 字母AI 95后的曾妍,正在快速晋升。 曾妍于1997年出生,2021年以校招的方式进入字节,后来成为了Seedance的预训练负责人。字母AI在文章 《字节的“罗福莉”,撑起了Seedance的半边天》 中曾对她进行过详细报道。 如今有传言称,曾妍的头衔已经上升为Seedance核心负责人。早在今年3月时,曾妍的职级还是3-2,而到了11月,她的职级达到了4-2,实现一年连跳两级。并且曾妍从原Seed核心负责人周畅手中,接过了越来越多的工作。 在人才密度极高的字节Seed团队,这样的速度并不多见。 究其原因,或许是因为曾妍的路线更贴合张一鸣的想法。曾妍作为项目负责人,带队发表的论文就是最好的例证。 这篇论文名为《Cola2:把视频生成领域的扩散模型与连续隐空间方法用于语言建模》,其权重于11月上半旬开放在Hugging Face上。 论文提出了一种方法,让模型通过生成视频的方法来处理文字。根据论文披露,这种方法不仅更节省算力,而且还让生成的效果更好。 这篇论文同时也是一份路线图。 曾妍从扩散模型出发,相信规模效应的路线,与外媒爆料中,张一鸣亲自带队的超大参数模型理念一致,也契合张一鸣在字节内部会上提出的长期主义。 在算力饥渴的当下,字节很难支撑多线并行的策略。于是字节将部门合并,多线赛马转向了集中押注。先在一个模态上打赢,再让赢的人带着方法走向其他模态。 曾妍的路线,就是这场押注。 Cola2讲了什么 在解释Cola2这篇论文之前,得先科普一个事。 当下主流的大语言模型,比如DeepSeek、Qwen、豆包,它们用的都是同一种办法,叫“自回归”。如同成语接龙一样,根据前面已经写出来的内容,猜下一个 token是什么,猜完一个再猜下一个,从左到右,一个一个往外蹦。 这套办法很成功,但它有个天生的毛病,就是没法像我们写文章一样,提前写个提纲出来。 人写文章的时候,往往是先想好这段要讲什么,再去组织语言。自回归模型是边写边想,写到哪算哪,而且必须排队,只要前一个字没写,那这辈子也别想写后一个字。 Cola2的思路,是把写字这件事拆成两层。 第一层,先在一个叫“连续隐空间”的地方,把“要说什么”想清楚;第二层,再把想好的意思,落成一个个具体的字。 相当于第一层是列提纲,第二层是照着提纲把正文写出来。 虽然“隐空间”这个词带点科幻色彩,不过其实用AI生成视频的人天天都在用。 一段视频的原始数据是很大的,如果直接拿来训练,那会导致算力不够。所以视频生成模型的通行做法,是先把画面压成一个体积小得多的“压缩包”,模型在压缩包里干活,最后再解压成一帧一帧的画面。 在压缩包里干的活叫做“扩散”。这跟过去冲洗照片一样,一开始是一张全是雪花点的底片,模型一步步把噪点擦掉,画面就慢慢浮现出来。 Cola2的逻辑,就是把“生成文字”当成“生成视频”来处理。 这个逻辑早在第一代的Cola DLM上就已经有了,但Cola DLM有短板。Cola2的论文表示,Cola DLM在生成类任务上偏弱,问题出在负责“写正文”的那个解码器上。于是Cola2的主要作用,就是来弥补这个短板,它比上一代多做了三件事。 第一件,是学会按意思切。 想要像压缩视频一样压缩文字,就先要决定好到底去怎么切块。 老办法是死板地按长度切,比如每两个token一块,结果“北京烤鸭”就有可能被切成“北京”和“烤鸭”,也可能被切成“京烤”这种不知所云的东西。 Cola2改成按意思动态切,平均每两个token压成一个“提纲点”,具体哪几个放在一起,由内容来决定。 压缩多少,靠的是一个类似空调恒温器的负反馈机制。压得太狠,比如“北”、“京”、“烤”、“鸭”就自动松一点。压得太松,比如“北京烤鸭好吃”,就自动紧一点,始终稳在目标附近。 实验里,按意思切比按固定长度切,准确率高8.2%。更有意思的是,在合适的设置下,压缩之后的成绩(29.4%)比完全不压缩(28.7%)还略好一点。说明压掉的主要是“水分”。 第二件,是让写正文的人既能照着念,也能自己编。 如果解码器只会照着提纲念,那提纲一出错,整篇文章自然就全错了。所以Cola2训练解码器时,故意给它三种提纲:一种清清楚楚,一种被加了噪点、看不太清,还有一种干脆不给提纲。 就像训练一个演员,提词器有时候清楚,有时候花屏,有时候直接黑了,他都得能往下演。 最后选定的比例是,只有两成情况给清楚的提纲,剩下八成都是模糊的或者没有的。即便这样,解码器照着清楚提纲还原原文的准确率,仍然保持在99.5%以上。 到了真正写东西的时候,再用 CFG 这个旋钮,调节“听提纲的”和“自己发挥的”各占多少。 第三件,是让提纲和正文一起训练。 这也是副标题里Co-Adaptive(协同适应)所指的事情。 以前的做法往往是先把“压缩器”训练好、冻住,再去练写正文的。 如果提纲模板定死了,那在写文章的时候,即便发现提纲有问题,提纲那边也是全然不管。Cola2干脆让两边一起练,写正文的觉得哪里不够用,信号就会传回去,逼着提纲那边调整。 实验结果里,如果把压缩器完全定死不允许修改,成绩是47.6%。两边一起练,涨到53.5%。再加上一个允许压缩器学会“预判后文”的训练目标,成绩就会提升到58.2%。 这里还有个反直觉的设计。负责列提纲的 DiT,只准学,不准反过来改压缩器。 Cola2在训练上用了约3460亿个token,模型还没收敛,8项任务平均60.10分,在HellaSwag和StoryCloze两项上超过了Llama-3-8B。而Llama-3公开的预训练量在15万亿 token 以上,是它的43倍多。 而在算力方面,按照论文的说法,因为平均两个token压成一个提纲点,DiT要处理的序列短了一半,理论上,它主要的计算量会降到原来的一半,注意力部分降到四分之一。 论文最后一部分写到:模型“远未收敛”,尤其是 DiT。训练规模“受限于可用资源”。要摸到这条路的上限,需要更大的模型、更长的训练、更多的数据和算力。 此外,论文还表示,连续隐空间可能成为文字和图像、视频之间的共享接口,通向“理解与生成的统一”。 “理解与生成的统一”,正是周畅在字节讲了一年多,但没讲通的故事。 曾妍的路线更符合张一鸣 11月12日,澎湃新闻报道,张一鸣最近在一次面向AI团队的全员会上说,字节有能力和OpenAI、Anthropic竞争,但真正追平前沿,“最早也要到2029年或2030年”。 张一鸣表示,和海外顶尖公司比,Seed模型的预训练数据规模“仍然少了”,这是眼下最需要关注的问题。同一时间,外媒报道称,Seed正在预训练一款参数最高可达10万亿的模型。 数据不够、模型要往大做、要坚持长期主义。这显然更偏向于曾妍的路线。周畅的路线,则和这个方向不太一样。 2025年7月,原本负责视觉生成的杨建朝离开,图像生成、视频生成这条线划给了周畅。从那以后,他在字节内部开始推一套新的说法,叫“多模态理解与生成统一”。 周畅的想法,是从理解这一头出发,把生成也收进来,让一个模型既能看又能画。 但这个故事没讲成。 周畅接手后,最能体现这套统一思路的成果,是今年2月和Seedance 2.0同期发布的图像模型Seedream 5.0 Lite。 字节内部对5.0 L
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱