將記憶整合進模型計算的核心架構

MemT-1.0基於Metis架構開發，其核心特徵是採用Gated DeltaNet-2技術，並在每個對話輪次中執行穩定的詞元級別（token-level）記憶更新機制。這種設計旨在讓基礎模型將記憶視為內在能力，而非外部附加功能。

為了擴展原生記憶容量，團隊引入了Mixture-of-Storage機制。這使得模型能夠在計算過程中直接內化並處理記憶資訊，從而實現持續的資訊累積與利用。

訓練數據規模與發布的模型版本

該系列模型的開發經過精心準備的主幹網路（backbone）階段，隨後執行包含繼續預訓練與後訓練的兩階段訓練管線。整個過程使用了34B tokens的訓練數據，並依賴高效的訓練與推理基礎設施支持。

團隊目前釋出了MemT-1.0-Nano與MemT-1.0-Flash兩個版本的模型家族。這些模型已發布於GitHub與HuggingFace平台，供研究人員與開發者進行評估與應用。

長上下文處理的效率與儲存優勢

在針對128K token長度的對話歷史進行測試時，MemT-1.0-Nano展現出顯著的效率提升。數據顯示其端到端推理速度約為傳統方法的1.86倍，同時持久化儲存需求相較於完整上下文KV快取減少了66倍。

這些性能數據是相對於全上下文KV快取基準而言的比較結果。這表明在處理長序列資訊時，內建記憶架構能有效降低計算與存儲負擔，而不僅依賴外部檢索機制。

與現有方法的比較及代理任務表現

綜合評估結果指出，MemT-1.0在平均表現上超越了參數化記憶基準方法，並與檢索增強生成（RAG）方法保持競爭力。同時，該架構在引入記憶功能時，大致保留了模型的通用能力。

透過將檢索到的程序性經驗內化到模型中，MemT-1.0提高了代理任務（agentic tasks）的成功率。這被視為邁向記憶原生演化的一個實用步驟，顯示出內建記憶機制在複雜任務執行上的潛力。