量化技術與參數壓縮原理

此模型並非一般誤傳的 1-bit 量化版本，而是由 ISTA DASLab 開發的 3.5 Bits Per Weight (BPW) Coder 變體，採用 GSQ RCO 量化方法。

雖然實際儲存的權重為 3.5 BPW，但由於模型移除了約一半的專家層（Experts），若以原始參數總量計算，其有效壓縮率相當於 1.89 bits per parameter。

這種 1.89 BPW 的數字是將剪枝效果攤銷到原始參數數量後的綜合效應，並非單一權重實際儲存為 1.89 bits；保留下來的權重仍維持 3.5 BPW 精度。

記憶體卸載策略與硬體需求

為了在低 VRAM 環境運行，該方法利用 Qwen-Flash-Next 架構中 n-gram 與 MoE 打包的特性，將大部分 MoE 參數卸載至系統 RAM。

僅有最小化的 MoE 模組保留在 VRAM 中以提升速度，而 n-gram 資料則存放於磁碟，建議使用最快的 SSD 以確保效能。

基本硬體需求為 8GB VRAM 搭配 24GB RAM；若總記憶體約為 32GB，也可運行但需降低上下文長度（Context Size）。

推論速度與測試限制

透過選擇性 MoE 卸載（使用 regex 規則），在測試環境中可達到每秒 70 tokens 的預填充（PP）速度，以及約 8 tokens/s 的生成（TG）速度。

生成速度受限於 PCIe 頻寬，測試者使用的是 PCIe 3.0 介面，實際表現可能因硬體配置不同而有差異（YMMV）。

若使用 --n-cpu-moe 參數達到相同卸載效果，速度會較慢；此外，由於記憶體映射（MMAP）機制，首次運行速度會較慢，建議進行第二次運行以獲得準確的速度數據。

執行問題與調整建議

有使用者反映 CUDA 後端在 8GB VRAM 下可能無法順利運行此模型，若遇此情況建議改用 Vulkan 後端。

為確保穩定運行，應降低上下文長度，並關閉背景應用程式以釋放 VRAM，例如停用瀏覽器的硬體加速功能。

啟動參數需根據個人硬體進行自訂，並建議使用 qwen sharp chat template 以減少模型的過度思考（overthinking）。