降低 Qwen3.8-Flash-Next 記憶體需求至 64 GB RAM
capy-flash v0.7 版本的主要改進在於讓使用者能從現有硬體開始，後續再擴充第二張顯卡，無需更換引擎或模型檔案。
對於 Qwen3.8-Flash-Next (125B MoE)，新版採用 ISTA-DASLab 提供的 GSQ-RCO i-quants（約 3-bit）權重，這些權重直接複製使用而非重新量化。
此方法將路由專家的記憶體佔用從 NVFP4 格式的 65 GiB 降低至 RAM 中的 48 GiB，整體峰值 RAM 需求降至約 57 GB，使得在 64 GB RAM 系統上運行成為可能。
熱點專家（hot experts）會駐留在 VRAM 中，其餘部分則由 CPU 進行計算。
Qwen3.8-27B 單張 16 GB 顯卡即可運行
Qwen3.8-27B 模型現在可以使用 ISTA-DASLab 的 3-bit GSQ 權重，在單張 16 GB VRAM 的消費級 RTX 50 系列顯卡上執行。
該配置佔用 13.9 GB VRAM，並支援 64k 上下文長度、視覺功能以及多詞元預測（MTP）。
開發者指出，若使用者僅擁有一張 16 GB 顯卡，目前 Strata 可能是運行 Flash-Next 的較佳選擇；capy-flash 在雙卡配置下透過張量並行與共享 VRAM 專家快取才能發揮最佳效能。
硬體相容性改進與速度測試數據
新版修復了 Windows/WSL2 環境中因頁面鎖定記憶體限制導致伺服器無法啟動的問題，並新增對 AVX2 CPU（如 Zen 2/3、Intel client）的支援。
此外，預設啟用了防止空回應的保護機制，避免模型在推理過程中提前停止。
速度測試基於 LocalMaxxing reasoning-v1 單次請求、啟用 MTP 並經過驗證的執行結果，硬體環境為 RTX 5070 Ti 16 GB 搭配 Ryzen 9 9900X。
在單張 16 GB GPU 配置下，Qwen3.8-Flash-Next (3-bit experts) 速度為 121 tok/s，Qwen3.8-27B (3-bit) 為 174 tok/s。
在兩張 16 GB GPU 配置下，Qwen3.8-Flash-Next 速度提升至 234 tok/s，Qwen3.8-27B 則達到 288 tok/s。
量化權重對模型品質的影響
開發者說明，3-bit 量化在 Qwen3.8-27B 上會造成品質損失：GSM8K 基準測試結果與 NVFP4 模型相當，但 MMLU-Pro 分數從 0.78 下降至約 0.72。
若擁有兩張顯卡，NVFP4 版本的 27B 模型仍是較佳選擇。
然而，Qwen3.8-Flash-Next 的 3-bit 專家權重在兩項基準測試上均與 NVFP4 版本表現相當。
