從 GLM 高效設計移植至 Qwen3.8-Flash-Next

目前多數 Qwen3.8-Flash-Next 的運行設置（如 Strata）會將所有 24k 專家參數固定在系統 RAM 中，約需佔用 48–64 GB 記憶體，並在 CPU 上計算快取未命中。這種方式雖然在高規格工作站上表現良好，但無法在記憶體有限的普通電腦或筆記型電腦上運作。

開發者 MaxDevv 注意到 sybil-solutions 的 glm-flash-lite 專案能以極低的記憶體佔用率運行 GLM-5.3，推測其設計具有高度效率。他將此概念移植到較輕量的 Qwen3.8 Flash Next 模型上，並取得了顯著成效。

RTX 4090 與筆記型電腦的實測數據

在僅分配 8 GB 系統 RAM 和 16GB VRAM 的 RTX 4090 環境下，使用 3.05bpw_h5_ng5 量化格式與 Q4 KV cache，短上下文 (8k) 的散文生成速度為 28–33 tok/s，程式碼生成為 19–22 tok/s，預填充速度約為 1,080 tok/s。

當上下文長度增加至 100k 時，解碼速度降至 20.8 tok/s，預填充速度提升至約 1,536 tok/s；在 262k 完整窗口下，解碼速度維持在 20.0 tok/s，預填充速度則達約 1,627 tok/s。

另一項測試使用 RTX 3080 Laptop (16 GB VRAM, 32 GB RAM)，在 100k 上下文下的解碼速度約為 18–21 tok/s，預填充速度約為 650–700 tok/s，峰值 VRAM 佔用為 15.5 GB。

專案資源與致谢

設置說明、模型下載器及打包腳本已發布於 GitHub 上的 MaxDevv/lean-qwenflash 專案頁面。

開發者感謝 turboderp 提供的 ExLlamaV3、sybil-solutions 的原始 GLM 卸載實作，以及 Alibaba 提供的 Flash-Next 模型基礎。