硬體配置與模型載入策略

開發者使用 RTX 5090 (400W) 搭配 RTX 5060 Ti 16GB (180W) 及 128GB DDR5 記憶體，執行 DeepSeek V4.1 Flash 1017 的 Unsloth UD-IQ1_S 量化版本。

模型權重、視覺模組與草稿生成器（Drafter）合併為單一 243 GB 檔案，Engram 表格存放於 SSD，所有專家參數（共 107 GiB）則載入系統 RAM。

RTX 5090 被用作專家快取以儲存最活躍的專家參數，後續實驗中更嘗試讓 RTX 5060 Ti 參與部分專家的計算以提升效能。

推理效能數據與瓶頸分析

以 llama.cpp PR #30817 搭配 --fit 參數作為基準，在相同硬體與量化條件下，解碼速度約為每秒 20 個 token。

使用自研引擎 Basalt 後，僅用 RTX 5090 時解碼速度提升至 53.6 tok/s；若讓 RTX 5060 Ti 同時計算部分專家，速度進一步增至 63.5 tok/s。

預填充（Prefill）測試使用 6.2k token 提示詞，熱啟動與冷啟動速度分別為 610/595 tok/s（單卡）與 610/610 tok/s（雙卡協作）。

專家查找分佈顯示：66% 由 RTX 5090 處理，16% 由 RTX 5060 Ti 處理，5% 透過 PCIe 傳輸，剩餘 12% 仍滯留於 CPU。

功能支援與模型品質評估

該配置支援工具調用（Tool calls）、圖像輸入以及最高 1M context 的長文本處理，但處理 1M token 提示詞需耗時約 26 分鐘。

開發者尚未進行困惑度（PPL）或 KL 散度（KLD）測試，但在貪婪解碼模式下，輸出結果與 llama.cpp 完全一致。

即使在 IQ1_S 高壓縮量化下，模型仍能通過多數常規基準測試，且回憶能力明顯優於 Qwen 3.8 FN，這符合大型模型經重度量化後的預期表現。

實驗限制與未來優化方向

CPU 端承擔的 12% 查找任務因受限於 DDR5 雙通道頻寬，成為主要效能瓶頸；推測執行技術僅帶來 1.1-1.2 倍的加速效果。

開發者認為此個人實驗已達硬體極限，繼續優化至解碼 80 tok/s 或預填充 1000 tok/s 的效益不高，因其現有 Qwen 3.8 FN 配置已能達到每秒 300 個 token。

若要發揮 DeepSeek V4.1 Flash 的完整潛力，建議使用具備 96GB VRAM 以上的顯卡（如 RTX 6000 PRO）或採用四通道/八通道 DDR5 記憶體架構。