刚刚，百度开源全新预训练基模，还是主打效率的Flash

Agent 连续执行任务对模型提出新需求，任务链条拉长后，每步计算开销和长文本能力直接影响使用体验与成本，Flash 档模型重要性增强。11 月 5 日，百度发布新一代基座模型文心 5.5 Flash Base（ERNIE 5.5 Flash Base）并开放权重。该模型为稀疏 MoE 语言模型，总参数 280B，每 token 激活 14B，在 33.5T tokens 上从零预训练，最长训练上下文 128K，微调与推理阶段外扩至 1M tokens。模型已开放权重，并联合 vLLM、SGLang 等社区提供开源生态支持。

作为 Base 模型，其具备完整通用能力，可作为后续领域适配、指令微调、强化学习及 Agent 行为塑造的起点。官方对比显示，文心 5.5 Flash Base 在同级别模型中于知识、推理、数学、代码、多语言和长上下文等基准整体领先，对手包括 DeepSeek-V4-Flash Base、Hy3-preview-Base 和 MiMo-V2.5-Base。与 DeepSeek-V4-Flash-Base（284B 参数、13B 激活）相比，代码能力领先最大：HumanEval+ 82.3 对 69.5，LiveCodeBench 40.1 对 31.9，FullStackBench 54.6 对 43.3；但在 ChineseSimpleQA 等少量评测上略有差距。六项长上下文基准整体稳健。

架构上，模型共 43 层 Transformer，Hidden Size 4096，64 个注意力头，除第一层外各层前馈网络替换为 MoE 块，预训练采用 Muon 优化器与 FP8 混合精度。注意力采用 MLA 与 HCA 混合方案：每七层中仅一层保留全上下文 token 级访问的 MLA，其余六层为 HCA，每 128 个 token 压缩为一条缓存条目；43 层中 37 层为 HCA，仅 6 层为 MLA。MLA 层引入稀疏注意力（DSA），通过轻量 indexer 对历史位置打分，核心注意力仅在 top-k 位置计算，单 query 开销不随上下文增长，预训练 loss 与稠密注意力持平。预算相当条件下，HCA 搭配 MLA 优于搭配 CSA。注意力层还有低秩门控注意力（门投影参数量减少 75%）和虚拟头注意力（VHA，论文已被 NeurIPS 2026 接收）。

MoE 层采用 Multi-Router，多个独立初始化的 sigmoid 路由器同时打分，替代单路由器硬 top-k，激活专家数、FLOPs 与通信量不变，推理无额外成本，路由打分与专家效用相关性明显提升。每个 MoE 块含 512 个路由专家、每次选 10 个，外加 1 个共享专家，负载均衡用无辅助损失的 bias 修正；token 从 4096 维投影到 2048 维隐空间计算后再映射回，通信量与专家 FLOPs 约减半。Stable LatentMoE 设计让专家输出在 43 层中保持稳定尺度。

第三项创新 ECHO 让主干最后一层同时承担未来 token 预测，不额外增加 MTP Transformer 层，多步损失直接作用于生成当前 token 的参数，迫使主干提前规划。模型以单步 ECHO 完成预训练，在数学、推理与代码任务上取得明显收益；该层还可直接充当投机解码的内置 draft 模型，几乎不增加额外参数。