研究提出 Soft-MTP 方法，透過一行程式碼修正多詞元預測的梯度雜訊

一項新研究指出，標準的多詞元預測（MTP）訓練過程中隱藏了對推測解碼有利的 KL 自蒸餾信號，但同時混入了損害下一個詞元預測的殘差雜訊。研究團隊提出 Soft-MTP 方法，僅需修改一行程式碼即可分離並提取該 KL 梯度，據稱能在不增加額外成本的情況下提升模型在多項任務上的表現。

AI 新聞雷達編輯團隊·本站收錄：2026/11/01 03:25（台灣時間）·閱讀約 2 分鐘

本站收錄時間為新聞雷達完成整理的時間，不代表事件發生時間。原文日期僅在取得明確來源證據時顯示；未標示者請參閱下方原始來源。

30 秒掌握

標準 MTP 訓練中的梯度包含兩部分：對推測解碼有益的 KL 自蒸餾信號，以及對下一個詞元預測有害的殘差雜訊。

Soft-MTP 透過一行程式碼修改（h_ntp += h_mtp.detach() - h_mtp）來分離並提取 KL 梯度，消除殘差干擾。

研究宣稱此方法為「免費午餐」，意指在不顯著增加計算成本的前提下改善 MTP 效果，相關程式碼與論文已公開。

標準多詞元預測的梯度問題

多詞元預測（Multi-Token Prediction, MTP）目前已成為前沿模型預訓練的標準做法之一。然而，最新研究發現這種標準方法在執行時存在一個關鍵缺陷：其計算出的梯度中混合了兩種不同性質的信號。

其中一部分是 KL 自蒸餾信號，這對於提升推測解碼（speculative decoding）的效率是有利的；但另一部分則是殘差雜訊，這會干擾並損害模型進行下一個詞元預測（next-token prediction）的準確性。

為了解決上述問題，研究團隊提出了名為 Soft-MTP 的方法。其核心技術在於一個被稱為「KL 梯度恢復技巧」的操作，旨在從混合的梯度中精確提取出所需的 KL 信號，同時剔除有害的殘差雜訊。

該方法的實現方式極為簡潔，僅需在程式碼中加入一行修改：h_ntp += h_mtp.detach() - h_mtp。這行代碼的作用在於調整梯度計算過程，使得模型在訓練時能更乾淨地學習到對推測解碼有幫助的知識，而不受雜訊干擾。

研究者將 Soft-MTP 形容為一種「免費午餐」，暗示該方法能在不顯著增加計算資源或訓練時間成本的情況下，廣泛提升 MTP 在多項任務上的表現。

目前該研究的相關資源已對外開放，包括 GitHub 上的程式碼庫、arXiv 上的論文（編號 2610.38331）以及 Hugging Face 上的模型集合，供開發者與研究人員測試與驗證。