透過預載權重解決儲存讀取瓶頸

OpenBMB 的工程團隊指出，本地執行大型 MoE 模型的主要瓶頸在於從快閃儲存將專家權重傳輸至計算單元的速度不足。傳統做法常透過縮小模型或跳過部分專家來規避此問題，但 MiniCPM-V 4.7 採用名為「前瞻專家排程」（Lookahead Expert Scheduling, LES）的技術，在不改變實際路由邏輯且不丟棄專家的前提下解決此限制。

LES 的核心機制是預測下一層可能需要的專家，並在當前計算進行時預先從儲存載入這些專家的權重。系統會優先執行已準備就緒的專家，從而隱藏記憶體讀取的延遲。這種方法確保模型執行的專家集合與原始設計一致，而非透過犧牲部分專家來換取速度。

iPhone 上的速度提升與資源消耗數據

在 iPhone 18 Pro Max 硬體上，結合 LES、優化的權重佈局、混合精度量化以及 DSpark 推測解碼技術，MiniCPM-V 4.7 達到每秒 20.51 token 的生成速度。這比未使用這些優化技術的基準速度 3.38 tok/s 快了 6.07 倍。

在低記憶體配置下，該模型的峰值記憶體使用量約為 3 GB。透過混合精度量化技術，專家權重的大小減少了 26.7%，但在五項基準測試中的平均性能僅下降 0.16 分。這些數據顯示優化重點在於平衡速度、記憶體佔用與模型精度。

開源實作與潛在擴展性

包含專家排程邏輯與 DSpark 整合的完整實作已開源，並發布於 llama.cpp-omni 專案中。這使得開發者可以檢視並應用此系統層級的優化技術。

OpenBMB 指出，LES 的關鍵優勢在於它隱藏了記憶體瓶頸，同時沒有改變模型實際執行的專家選擇邏輯。這種架構特性意味著該方法潛在上也適用於其他 MoE 模型，而不僅限於 MiniCPM-V 系列。