循環解碼器與雙流架構如何擴展模型深度

SenseNova-Loop-9B-Preview的核心技術特徵在於其循環解碼器設計。該架構將連續的解碼層區塊執行兩次，並共享權重，使得24個解碼層在序列中被應用兩次，總共產生56次解碼層執行的效果，但僅來自32個獨立的層級結構。

為了管理循環部分中的資訊流動，模型採用了雙流流形約束超連接（two-stream manifold-constrained hyper-connections, mHC）。透過學習到的映射機制，系統能夠在兩個殘差流之間路由並組合資訊。這種設計允許模型在不重複複製參數的情況下，提供更深層的執行路徑。

混合注意力機制與長上下文訓練配置

在注意力機制方面，該解碼器採用混合策略，在線性注意力與完整注意力之間交錯排列，形成重複的四層模式。

根據官方文件記載，模型的訓練配方結合了長序列、多模態輸入以及監督任務軌跡。訓練數據涵蓋文字、圖片、程式碼以及工具使用軌跡，最大訓練序列長度設定為262,144個字元（tokens）。

應用場景與部署建議

SenseNova-Loop-9B-Preview被定位為適用於長上下文和代理工作流程的多模態語言模型。其主要功能包括接受文字和圖片輸入並生成文字，目標應用場景涵蓋文件理解、程式碼撰寫以及與外部工具的互動。

開發團隊建議使用者採用其文件中記錄的部署環境與配置參數，以獲得最佳的模型效能表現。目前該模型以預覽版（Preview）形式發布於Hugging Face平台。