SSD 串流技術突破記憶體限制

在僅有 24GB RAM 的 M5 MacBook Air 上運行 Qwen3.8-Flash-Next (ISTA GSQ-RCO Q2_0) 模型時，傳統方法會因記憶體不足而無法載入所有參數。

開發者使用 Splash 1.4.0 的一個小型分支版本，將總共 24,576 個專家槽位中的約 6,800 個（佔比約 28%）常駐於約 8.8GB 的記憶體中。

其餘未載入記憶體的參數則在需要時從 SSD 即時讀取，這種技術使得模型能夠支援高達 256K 的上下文長度。

軟體優化顯著提升解碼效率

標準版 Splash 1.4.0 在此硬體配置下的平均解碼速度為每秒 28.8 token，其中程式碼生成場景為 31.6 t/s。

開發者引入了「快取感知路由」技術，該技術保護路由器選出的前四個專家不被替換，並引導後續選擇傾向於已載入記憶體的專家。

此優化將 SSD 讀取次數減半，使平均解碼速度提升至 43.1 t/s，但會輕微改變輸出內容。

進一步引入「桌面優先重疊」技術後，GPU 開始處理常駐專家的同時，系統繼續從 SSD 讀取缺失的參數。

最終配置下的平均解碼速度達到每秒 48.8 token，其中工具調用場景表現最佳，達到 57.3 t/s。

實際應用效能與品質權衡

在實際代理任務測試中，系統平均速度約為每秒 45 token，且未出現提示快取遺失的情況。

草稿模型的接受率顯示，程式碼生成場景約為 0.70，工具調用場景約為 0.80。

冷啟動預填充測試中，處理 32,620 token 的提示需耗時 62.4 秒（每秒 522 token），處理 63,201 token 則需 130.4 秒（每秒 485 token）。

Splash 將提示快取保存在磁碟上，因此在代理使用場景中，僅讀取每輪對話的新增部分。

修改版對輸出品質的影響評估

開發者指出，該分支版本僅包含約 800 行程式碼的修改，且全部透過環境變數開關控制。

在 LiveCodeBench 的 20 個問題測試中，標準版得分為 17 分，而修改版得分為 16 分；由於僅進行一次測試，±1 分的差異可能屬於噪音範圍。

代理任務以及 32K 和 62K 長文檔測試的結果與標準版相同。

「桌面優先重疊」技術保證輸出內容逐 token 完全一致，在固定閘門集測試中達到 11/11 的一致性。

視覺模型載入策略的實驗

開發者正在測試「延遲視覺」功能，該功能僅在處理圖像請求時才載入 864MB 的視覺塔參數。

這種做法允許文字處理任務保留全部 6,800 個專家槽位，並確保輸出內容完全一致。

若按常規方式載入視覺模型，會佔用 656 個槽位並導致解碼速度下降 5.5%。