刚刚，百度开源全新预训练基模，还是主打效率的Flash

编辑 | 泽南 Agent 开始连续执行任务，对于模型的需求有了新变化。 随着任务链条的拉长，模型每一步的计算开销、长文本能力，都会影响最终的使用体验与成本，这让 Flash 档模型的重要性越来越强：它们更注重在能力、速度与成本之间找到平衡，承接那些高频和持续运行的工作。 11 月 5 日，百度文心系列正式发布新一代基座模型文心 5.5 Flash Base（ERNIE 5.5 Flash Base），并开放了权重。 这次发布的是一个稀疏 MoE 语言模型，总参数量 280B，每 token 激活 14B，其在 33.5T tokens 上从零完成预训练，最长的训练上下文为 128K， 微调与推理阶段外扩到 1M tokens 的长上下文。 该模型已开放权重，并已联合 vLLM、SGLang 等社区提供开源生态支持。 HF FP8: https://huggingface.co/baidu/ERNIE-5.5-Flash-Base HF BF16: https://huggingface.co/baidu/ERNIE-5.5-Flash-Base-BF16 SGLang 的 cookbook：https://docs.sglang.io/cookbook/autoregressive/Baidu/ERNIE-5.5-Flash vllm 的 cookbook ：https://recipes.vllm.ai/baidu/ERNIE-5.5-Flash 此次文心发布的是一个「Base」模型，该模型已经具备了完整的通用能力，可作为后续所有训练的起点，人们可以在此基础之上进行领域适配、指令微调、强化学习，乃至面向 Agent 的行为塑造。这意味着开发者们可以自行决定模型下一阶段的方向。 更让人关注的是模型的性能与架构。这一次，百度在有限的激活参数与缓存预算下做出更强的基础能力。 同级别 SOTA 表现 当前，AI 应用即将进入「Super Agent」时代，在 token 消耗大幅膨胀、Agent 需要高频次、长时间自主运转的背景下，Flash 级模型会成为真正被大量使用的档位。对于模型本身而言，Agent 需要频繁读取海量环境事件，最大的瓶颈在于长上下文 Pre-fill（前缀预填充）和 KV Cache 内存占用，这方面的优化也是贯穿文心 5.5 Flash Base 设计的主线。 百度的目标是让所有激活参数、每字节 KV cache 都发挥出更大作用。基于这种思路，其团队在注意力、MoE、未来预测等具体组件上进行了大量技术创新。 该模型共有 43 层 Transformer，Hidden Size 4096，64 个注意力头。除第一层外，各层前馈网络都被替换为 MoE 块。其预训练采用 Muon 优化器与 FP8 混合精度，上下文在训练中逐步扩展至 128K，推理与微调阶段再外扩到 1M。 在官方给出的同级别模型对比中，文心 5.5 Flash Base 在知识、推理、数学、代码、多语言和长上下文等基准上整体领先，对手包括 DeepSeek-V4-Flash Base、Hy3-preview-Base 和 MiMo-V2.5-Base。 从与 DeepSeek-V4-Flash-Base（284B 参数、13B 激活）的逐项对比来看，文心新模型在学科与推理方面优势明显，代码能力是领先最大的板块：HumanEval + 为 82.3 对 69.5，LiveCodeBench 为 40.1 对 31.9，FullStackBench 为 54.6 对 43.3。不过，文心 5.5 Flash Base 在 ChineseSimpleQA 等少量评测上略有差距。 长上下文评测的成绩还验证了架构效率，文心 5.5 Flash Base 在六项长上下文基准整体稳健，「少数全量层加多数压缩层」的设计并未牺牲模型的长文本能力。 在这份成绩单背后，是文心团队对于模型架构的大量改进与创新。 混合稀疏注意力，1/7 全上下文访问 架构效率上，文心 5.5 Flash Base 使用混合稀疏注意力降低了推理成本。 Transformer 在处理长文本时每一层都要为全部历史 token 保存 KV cache，开销会随着上下文长度线性增长，这是推理成本的主要来源。百度对此的洞察是：并不是每一层都需要同样清晰地看清历史细节。 文心 5.5 Flash Base 采用 MLA 与 HCA 混合方案 ：每七层中只有一层保留对全上下文的 token 级访问，采用多头潜在注意力（MLA），其余六层采用重度压缩注意力（HCA），每 128 个 token 压缩为一条缓存条目，注意力只在压缩条目加上最近一小段未压缩窗口上计算。该模型 43 层中有 37 层是 HCA，仅 6 层是 MLA。 在长上下文推理时，MLA 层负责逐页精读，保留对每个原始 token 的访问，HCA 层则只关注章节摘要，对全部历史保持粗粒度视野，需要细节时再经由少数几层回溯。由于 HCA 层只需全上下文层 KV cache 的一小部分，整条模型的缓存开销被大幅压低。 六层 MLA 是逐 token 访问远距离历史的唯一通路，若在这些层做稠密注意力，长文本下它们会吞掉大部分计算。百度于是在 MLA 层引入稀疏注意力（DSA），通过轻量 indexer 为每个 query 对历史位置打分，让核心注意力只在得分最高的 top-k 位置计算，单 query 开销不再随上下文增长，而预训练 loss 与稠密注意力持平。 KV cache 预算有限时，已有的 CSA + HCA 做法是大量使用压缩稀疏注意力（CSA），先将历史压缩 4 倍再稀疏选取，百度在文心 5.5 Flash Base 上则是把预算集中给少数保留全部 token 的 MLA 层。预算相当的预训练对比显示，HCA 搭配 MLA 优于搭配 CSA，足以支撑细粒度检索。 在注意力层内，文心 5.5 Flash Base 也有两项改进。低秩门控注意力改用层内本就生成的低秩 query latent 计算输出门，因 latent 维度只有隐状态的四分之一，门投影参数量减少 75%，消融效果反而提升。另外，虚拟头注意力（VHA）以带恒等跳连的轻量跨头低秩混合增强信息融合，推理时可融合进算子，开销极小。 VHA 的相关论文《Virtual Head Attention》已被 NeurIPS 2026 接收。 多路由器 MoE, 同样成本选的更准 注意力决定了每个 token 以什么方式读取历史，而读取之后交给谁处理则是 MoE 层的职责。 MoE（混合专家模型）架构的目标是追求智能的密度，文心 5.5 Flash Base 对于 MoE 层进行深度设计，解决了做选择「武断」的问题。 传统 MoE 的工作流程是每个 token 进入 MoE 层，只用一个路由器打分，再通过一次硬 top-k 选专家。这个机制的问题在于打分与专家实际效用仅弱相关，在中深层尤其明显，另外因为落选专家拿不到该 token 的梯度，一旦选错很难纠正，错误会自我强化。 Multi-Router 让多个独立初始化的 sigmoid 路由