模型架構與量化規格細節

DeepSeek-V4.1-Flash-1017 是一個稀疏混合專家（sparse mixture-of-experts）模型，擁有 763.2B 參數和 1M token 的上下文視窗。其架構包含每層 384 個路由專家，每個 token 僅激活其中 6 個，原始發布形式為 FP8 密集權重搭配 FP4 路由專家。

ISTA 實驗室釋出的量化版本採用 GSQ（Gumbel-Softmax Quantization）與 RCO（Riemannian Constrained Optimization）技術。GSQ 是一種訓練後標量量化方法，能同時學習網格分配與群組縮放因子，在低位元寬度下縮小標量量化與向量量化之間的差距，並保持標準 GGUF 格式的部署能力。RCO 則透過梯度下降強制執行精確的預算限制，為每個主幹張量分配量化類型，密集路徑使用 Q5_K 至 Q8_0 範圍，路由專家則使用 IQ1_S 至 IQ3_S 範圍。

檔案組成與記憶體需求

發布內容包含三個量化 GGUF 檔案：IQ1_M（每權重平均 1.75 位元，主幹大小 120.7 GB）、IQ2_XXS（每權重平均 2.00 位元，主幹大小 138.2 GB）以及 IQ2_XS（每權重平均 2.25 位元，主幹大小 155.2 GB）。這些位元寬度是針對 551.9B 主幹參數計算的平均值。

所有版本共用一個大小為 110.6 GB 的 Engram 檔案，其中包含模型的兩個 Engram 查找表（共 196.6B 參數），以 IQ4_NL 格式儲存。由於這些表格每個 token 僅讀取一行資料，因此可以透過記憶體映射（memory-mapped）方式保留在磁碟上，無需全部載入記憶體。

每個量化版本均可在單張具備 12 GB VRAM 的 GPU 上執行，這得益於將大型查找表留在磁碟並僅將必要部分載入顯存的架構設計。

效能測試結果與限制

所有效能數據均在推理強度（reasoning effort）設為 50 的條件下測量。IQ2_XXS 版本（2.00 bpw）在 AIME25、GPQA-Diamond 和 LiveCodeBench v6 等基準測試中，成績與原始模型完全相同，任務平均分數為 93.54，達到原始模型的 100%。

IQ1_M 版本（1.75 bpw）在 AIME25 獲得滿分 100.00，但在 GPQA-Diamond 得分 88.38（原始模型為 90.91），LiveCodeBench v6 得分 88.57（原始模型為 89.71）。其任務平均分數為 92.32，保留了原始模型效能的 98.7%。

IQ2_XS 版本（2.25 bpw）的測試結果尚未公布。此外，內建聊天模板精確重現了 DeepSeek 的提示編碼器，包括支援推理強度從 1 到 100 或低/高/最大等設定。

執行環境與相容性現況

目前主流推論引擎 llama.cpp 尚未支援 DeepSeek-V4.1，因此這些 GGUF 檔案無法直接在 llama.cpp 中運行。使用者需透過 Strata 執行環境來載入模型，該環境提供一鍵安裝器並在本機啟動 OpenAI 相容的 API 端點。

ISTA 實驗室在 Hugging Face 上發布了完整的量化模型檔案，並提供了 GSQ 與 RCO 技術的論文連結及程式碼倉庫。每個版本的倉庫均包含完整的逐張量 RCO 分配資訊（每個版本共 1008 個張量）。