開發者推出整合 LoRA 與 ZeRO-3 的自蒸餾工具包，解決大模型訓練記憶體瓶頸

針對大型語言模型進行自蒸餾時，同時載入教師與學生模型會導致 GPU 記憶體不足與通訊延遲。新開源的 sdft_zero3 工具包透過共享凍結的主幹網路並僅維護輕量級 LoRA 適配器，讓此流程能在 ZeRO-3 分散式訓練架構下穩定執行。

AI 新聞雷達編輯團隊·本站收錄：2026/10/29 03:47（台灣時間）·閱讀約 2 分鐘

本站收錄時間為新聞雷達完成整理的時間，不代表事件發生時間。原文日期僅在取得明確來源證據時顯示；未標示者請參閱下方原始來源。

30 秒掌握

傳統自蒸餾需同時在 GPU 上保留完整的教師與學生模型，在大規模訓練時會顯著增加延遲與通訊負擔。

該方案利用 LoRA 技術共享凍結的主幹網路，僅對學生與教師的輕量級適配器進行更新與同步，大幅降低記憶體需求。

工具包已解決在 TRL 框架與 ZeRO-3 環境下整合 LoRA 時的記憶體峰值問題，並支援檢查點儲存與恢復功能。

傳統自蒸餾在大規模訓練中的資源限制

自蒸餾方法通常依賴指數移動平均（EMA）作為教師模型，以獲得穩定且同步的評估標準。然而，當處理大型模型時，這種做法難以擴展，因為同時在 GPU 上保留完整的教師模型與正在訓練的學生模型會增加推理延遲，並加重 ZeRO-3 架構下的通訊負擔。

為緩解上述問題，開發者提出結合 LoRA 微調的方案。在此架構中，模型的主幹網路（backbone）是共享且凍結的，系統只需維護兩個輕量級的適配器：一個用於正在訓練的學生模型，另一個則作為教師模型，其參數由學生適配器的指數移動平均計算而來。

這種方法避免了載入兩份完整模型權重，從而顯著降低了對 GPU 記憶體的需求與通訊開銷。

要在 TRL（Transformer Reinforcement Learning）框架與 ZeRO-3 分散式訓練架構下順利執行此流程，需要處理適配器切換與記憶體管理等技術挑戰。開發者將這些修正打包為一個即插即用的開源工具包 sdft_zero3。

該工具包支援在 ZeRO-3 環境下穩健執行的自蒸餾實作，並整合了 LoRA 以處理教師與學生前向傳播時的適配器切換。此外，它也提供了儲存與恢復 EMA 教師檢查點的功能，以及經過調整的 DeepSpeed 設定檔，用以解決 GPU 記憶體緊張時可能出現的記憶體峰值問題。

開發者表示已在 Qwen3.5 模型與 ToolAlpaca 資料集上進行測試。目前該專案已發布於 GitHub，並歡迎社群提供回饋、更多範例或報告問題。