將記憶整合進計算層的架構設計

傳統代理（Agent）通常透過檢索過去執行的原始文字日誌來存取記憶，這會導致上下文視窗迅速膨脹。memt-1.0 採取不同的技術路線，它不依賴僅追加提示詞的堆疊方式或外部檢索增強生成（RAG）流程。

該模型將記憶直接烘焙進模型的計算層中，核心機制採用 Gated DeltaNet-2。這是一種在每一輪對話中都具備穩定 token 級記憶更新機制的架構，旨在解決長程任務中的狀態管理問題。

Mixture-of-Storage 與參數化記憶的擴展

為了擴展記憶容量，memt-1.0 結合了 Mixture-of-Storage (MoS) 層。這種設計允許模型在多輪代理任務中，持續將檢索到的程序性經驗內化到模型的權重與狀態裡。

相較於標準代理僅儲存原始文字日誌的做法，這種參數化記憶方法旨在減少對龐大上下文視窗的依賴，從而降低記憶體瓶頸。

128k 上下文下的效能與儲存數據

根據分享者提供的技術測試數據，在歷史長度達到 128k tokens 的情況下，memt-1.0-nano 版本展現出顯著的效率優勢。與傳統的全上下文 KV Cache 設置相比，其端到端推理速度提升了約 1.86 倍。

更關鍵的是，該架構將持久化儲存空間的需求降低了 66 倍。這顯示透過架構層級的更新層（如 Gated DeltaNet 與 MoS）來內化狀態，可能在處理長程代理任務時，比傳統 KV Cache 更具資源效率。

維持通用能力的兩階段訓練策略

通常情況下，訓練參數化記憶層會導致基礎大型語言模型（LLM）的通用能力下降。然而，memt-1.0 採用了一種兩階段的訓練流程來緩解這個問題。

該流程包含持續預訓練與後訓練階段，總共涵蓋 34b tokens 的數據量。分享者指出，這種方法使得模型在保持通用推理能力具競爭力的同時，表現優於現有的參數化記憶基準模型。