TokenGate 推出可學習權重剪枝技術，提升長上下文預填充速度與記憶體效率

研究團隊發表 TokenGate，透過引入小型即插即用元件，讓大型語言模型在處理長文本輸入時能自動篩選重要詞元。該技術宣稱在不降低準確率的前提下，將首字生成時間加速 1.4 至 11.3 倍，並降低峰值記憶體使用量達 1.5 至 3.4 倍。

AI 新聞雷達編輯團隊·本站收錄：2026/10/22 04:23（台灣時間）·閱讀約 2 分鐘

本站收錄時間為新聞雷達完成整理的時間，不代表事件發生時間。原文日期僅在取得明確來源證據時顯示；未標示者請參閱下方原始來源。

30 秒掌握

TokenGate 透過模仿混合專家架構的詞元門控注意力機制，解決傳統詞元剪枝不可微分的訓練難題。

相比現有最佳詞元剪枝方法，該技術在預填充階段可提供最高 6.4 倍的處理速度與 2 倍的記憶體節省。

此元件可直接擴充標準 Transformer 及混合注意力模型（如 Qwen3、Qwen3.5），調整成本類似參數高效微調。

解決長上下文處理的計算瓶頸

人類專家閱讀大型輸入（如程式碼庫或長文件）時，會透過略讀僅仔細閱讀關鍵部分，但語言模型傳統上需將所有輸入詞元通過每一層模型，導致長上下文輸入產生顯著的處理成本。

TokenGate 是一個小型即插即用元件，旨在擴充現有已訓練模型，使其能在長上下文輸入中進行端到端可學習的詞元剪枝，從而實現快速且記憶體高效的預填充（Prefill）。

為了克服傳統詞元剪枝中 Top-K 運算子不可微分導致無法進行端到端學習的問題，研究團隊引入了「詞元門控注意力」機制。

該機制靈感來自混合專家（Mixture-of-Experts）架構，透過使用詞元重要性分數來重新加權注意力邏輯值（Attention Logits），從而讓模型能夠學習哪些詞元應被保留或剪除。

在多樣化任務的測試中，TokenGate 實現了首字生成時間（TTFT）加速 1.4 至 11.3 倍，同時峰值記憶體使用量降低 1.5 至 3.4 倍，且未觀察到準確率下降。

與先前表現最佳的詞元剪枝方法相比，TokenGate 在預填充階段提供了高達 6.4 倍的速度提升以及 2 倍的峰值記憶體降低。

TokenGate 原生支援擴充標準 Transformer 架構（例如 Qwen3）以及混合注意力模型（例如 Qwen3.5）。

其整合過程涉及簡單輕量的調整，複雜度相當於標準的參數高效微調（Parameter-Efficient Fine-Tuning, PEFT），無需對基礎模型進行大規模重訓練。