Specter 系統結合量化與投機解碼，提升單 GPU MoE 推論效率

研究團隊推出 Specter 推論系統，透過量化技術結合投機解碼與專家卸載，解決混合專家模型（MoE）在單一加速器記憶體不足時的傳輸瓶頸。該系統在單一請求推論場景下，相較於現有最先進系統，平均提升 1.50 倍、最高達 1.88 倍的每輸出詞元時間（TPOT）速度。

AI 新聞雷達編輯團隊·本站收錄：2026/10/22 04:23（台灣時間）·閱讀約 2 分鐘

本站收錄時間為新聞雷達完成整理的時間，不代表事件發生時間。原文日期僅在取得明確來源證據時顯示；未標示者請參閱下方原始來源。

30 秒掌握

Specter 利用輕量級量化草稿模型預測未來專家使用情況，讓執行期能提前規劃專家移動與執行順序。

此方法旨在緩解因資料依賴路由導致的 PCIe I/O 瓶頸，使記憶體受限的單 GPU MoE 推論在通用硬體上更具可行性。

測試數據顯示在單一請求推論中，TPOT 平均加速 1.50 倍，極值可達 1.88 倍。

解決 MoE 模型記憶體與傳輸瓶頸

混合專家（MoE）模型的參數量常超過單一加速器的記憶體容量，傳統做法是將部分專家卸載至主機記憶體。然而，由於路由機制依賴輸入資料決定使用哪些專家，這種動態特性使得數據傳輸始終位於關鍵路徑上，造成嚴重的 PCIe I/O 瓶頸。

Specter 系統採用量化技術來整合投機解碼與專家卸載機制。其核心在於運行一個輕量級的量化草稿模型，該模型能在裝置端高效執行，同時保留高保真度的專家啟用模式。

透過這種方式，系統能夠對未來的專家使用情況進行準確的多步預覽（multi-step lookahead）。這使得執行期環境可以在驗證步驟之前，提前組織專家的移動與執行順序，從而改善通訊與執行的整體效率。

在單一請求推論（single-request inference）的測試條件下，Specter 相較於現有的最先進系統，每輸出詞元時間（TPOT）平均獲得 1.50 倍的加速，最高情況可達 1.88 倍。

該研究指出，Specter 使得在記憶體受限的單一 GPU 環境下執行 MoE 推論變得更加實用，特別是在通用硬體（commodity hardware）上。相關程式碼已發布於 GitHub，論文則刊登於 arXiv。