架構設計：稀疏 MoE 與混合注意力機制

ERNIE 5.5 Flash Base 擁有 43 層 Transformer，隱藏層大小為 4096，並配備 64 個注意力頭。為了平衡能力與效率，模型採用了 Latent-Gated Sparse Attention（潛在門控稀疏注意力）。大多數層僅需對遠程歷史進行粗略檢視，因此只有七分之一的層使用多頭潛在注意力（MLA）來保留完整的 token 級上下文訪問權限。其餘層則使用高度壓縮注意力（HCA），將每 128 個 tokens 壓縮為單一緩存條目，並僅關注這些條目加上近期未壓縮的短視窗。

在 MLA 層中，模型進一步應用了稀疏注意力（DSA）。透過輕量級索引器對過去位置進行評分，核心注意力僅計算得分最高的前 k 個位置，使得每查詢的核心注意力成本隨上下文增長保持恆定。此外，所有注意力層均採用低秩門控注意力（Low-Rank Gated Attention），從壓縮的查詢潛在空間計算門控信號，從而減少 75% 的權重參數並提升訓練穩定性。

在專家路由方面，模型引入了 Multi-Router Latent MoE。傳統 MoE 使用單一路由器進行硬 top-k 選擇，容易導致錯誤選擇的自我強化。ERNIE 5.5 Flash 改用多個獨立初始化的 sigmoid 路由器共同評分專家，使路由分數與專家的實際有用性相關性顯著提高，特別是在中間和深層層級。除了第一層外，所有層均使用包含 512 個路由專家（top-10）加 1 個共享專家的 MoE 前饋塊，並在潛在空間中運行專家以減少通信流量和計算量。

訓練數據與基礎設施優化

模型從頭開始在 33.5T tokens 上進行預訓練，使用 Muon 優化器和 FP8 混合精度。訓練上下文長度逐步擴展至 128K，而微調和推理支援高達 1M token 的上下文。預訓練語料庫涵蓋廣泛的領域和語言，特別強調難以在後續階段添加的能力，如倉庫級程式碼和長上下文理解。

數據集包括經過嚴格過濾和多維度質量評分的大規模多語言網頁數據、來自倉庫和網路的程式碼數據（包含 commits、issues、pull requests 等軟體演化軌跡），以及通過自然長文檔、拼接序列和合成數據構建的長上下文數據。這些數據旨在支持倉庫級推理和代理式軟體工程任務。

為了在數千個 GPU 上高效訓練，百度開發了分布式 Muon 優化器。該優化器將密集參數的同步移動到與 MoE 參數相同的通信路徑上，合併為單一集合操作，從而提高帶寬利用率並顯著降低節點間延遲和抖動。此外，還引入了 FlashMask-4 注意力內核，針對大頭維度進行優化，在 SM100 GPU 上前向傳播速度比 FlashAttention-4 MaskMod 快多達 175%。

效能評估：對比同級開源基礎模型

百度將 ERNIE 5.5 Flash Base 與 DeepSeek-V4-Flash-Base (284B-A13B)、Hy3-preview-Base (295B-A21A) 和 MiMo-V2.5-Base (310B-A15B) 進行比較。所有模型均使用相同的評估框架、提示詞和少樣本範例進行測試。

在考試類基準測試中，ERNIE 5.5 Flash Base 在 MMLU (93.3)、MMLU-Redux (94.1) 和 MMLU-Pro (78.4) 上均取得最高分。在程式碼生成方面，其在 HumanEval+ (82.3) 和 MBPP+ (81.5) 上的 Pass@1 得分也領先其他對比模型。

儘管 43 層中有 37 層僅關注壓縮 128 倍的序列，但六個 MLA-DSA 層足以在長上下文基準測試中保持強勁表現。例如，在 RepoQA (91.7) 和 LongBench-v2 (48.7) 上，ERNIE 5.5 Flash Base 的得分高於 DeepSeek-V4-Flash-Base 和 Hy3-preview-Base。然而，在某些知識問答任務如 ChineseSimpleQA 上，DeepSeek-V4-Flash-Base 表現略優（75.3 vs 73.0）。

授權限制與社群反應

ERNIE-5.5-Flash-Base 的權重已在 Hugging Face 上發布，提供 FP8 和 BF16 safetensors 格式。模型採用 ERNIE 5.5 Flash Base Model License Agreement v1.0 授權協議。社群評論指出該授權協議可能限制特定地區的使用（如歐盟、英國、南韓），但原文未詳細列出受限國家名單或具體條款細節。

社群評論指出，雖然基礎模型的發布為開發者提供了靈活的起點，有利於進行自定義的對齊和領域適應，但嚴格的授權條款可能限制了其在特定市場（如歐洲）的應用潛力。部分用戶認為 ERNIE 系列模型在風格上較為直接，與當前流行的其他大型語言模型有所不同。

百度表示，此基礎模型僅為起點，後續將發布經過後期訓練的 ERNIE 5.5 Flash 版本。開發者可利用該基礎權重進行領域適應、推理任務優化或代理式應用開發，並透過 ECHO 機制（重用骨幹網路最後一層預測未來 token）來提升推理和程式碼生成的能力。