混合硬體架構如何釋放主模型記憶體

這套系統的核心策略是將非核心計算任務從 DGX Spark 轉移至一台配備 AMD EPYC CPU 與兩張 RTX 3090 GPU 的舊款伺服器。該輔助伺服器透過 RDMA 網路協議，將模型所需的 Engram 表格存放在系統記憶體中並提供給 Sparks 使用，同時利用 NVLink 連接的兩張 3090 執行 DSpark 推測解碼草稿生成器（speculative drafter）。

這種卸載方式讓 DGX Spark 釋放了原本用於儲存輔助資料的記憶體空間，進而將 KV cache 池容量擴展至約 193 萬 token。此外，系統在 Sparks 的 NVMe 儲存裝置上建立了前綴快取（prefix cache），使得 150K token 的長提示詞在伺服器重啟後仍能保留，首字延遲從冷啟動的 58.6 秒大幅降至 2.58 秒。

長上下文預處理與生成速度測試結果

在採用 sparkDash 協議進行標準化測試後，該系統在 DeepSeek-V4.1-Flash-1017（2.75 bpw EXL3 量化版本）上的預處理表現如下：4K token 提示詞速度為每秒 2,827 token，隨著長度增加至 256K token 時仍維持在每秒 2,618 token。這意味著處理一個 256K token 的完整上下文，首字回應時間約為 100 秒。

與公開的其他雙 Spark 配置相比，此架構在長上下文預處理階段具有優勢。MiaAI 公布的數據顯示其預處理速度為每秒 2,065 至 2,155 token，而另一測試者 bertholomus 的數據為每秒 2,439 至 2,568 token（範圍為 8K 至 128K）。在程式碼生成方面，該系統在 4 個並發流下的速度為每秒 192 token，高於 MiaAI 公布的每秒 166 token。

與競品配置的效能落差與瓶頸

儘管在長上下文處理上有優勢，該系統在某些場景下表現不如其他配置。在單一流下的純文字生成速度為每秒 66 token，低於 MiaAI 的每秒 80.7 token。此外，在處理完 128K token 提示詞後的解碼階段，速度為每秒 62 token，明顯低於 bertholomus 測得的每秒 99 token。

排隊機制是該系統目前的主要痛點之一。當一個短請求排在一個冷啟動的 93K token 長提示詞之後時，需要等待 34 秒才能開始處理。雖然這略優於 bertholomus 在同一測試下的 38.6 秒，但遠遜於 MiaAI 報告的 3.8 秒（註：MiaAI 數據基於不同版本測試）。作者指出這是他最想改進的部分。

推測解碼對不同任務類型的加速差異

系統利用 NVLink 連接的 RTX 3090 執行 DSpark 推測解碼草稿生成器，其效果高度依賴輸出內容的結構性。對於程式碼與 JSON 等結構化輸出，草稿生成器每輪可被主模型接受 4 至 5 個 token，從而顯著提升吞吐量；測試顯示結構化輸出的總吞吐量在 4 個並發流下可達每秒 322 token。

相反地，對於非結構化的散文生成，草稿生成器的接受率較低，每輪僅約 2 個 token，導致加速效益有限。在開啟思考模式（thinking on）且溫度為 0.7 的設定下，散文生成的吞吐量為每秒 105 token；關閉思考模式時則為每秒 130 token。

模型量化精度與工具調用準確度

該系統使用的權重是基於 HeNryous 的 2.75 bpw 構建版本，經過法律領域加權分配後形成的 DeepSeek-V4.1-Flash-1017。在 sudoingX 的 KLD（Kullback-Leibler Divergence）面板測試中，真實的工具調用回合與原始模型頂層 token 的一致率達到 95.9%（KLD 值為 0.018）。

作為比較基準，bertholomus 在其自有的工具調用測試集中公布的準確率為 79.4%，而 MiaAI 未公布相關數據。值得注意的是，sudoingX 較新的 2.8 bpw 量化包在同一面板上的表現略優於作者使用的版本（KLD 0.0175 對比 0.0184），顯示更高位元寬度在精度上仍有微小優勢。

公開資源與後續測試計畫

作者已將所有程式碼、啟動腳本、基準測試工具以及每個測試項目的原始 JSON 數據發布於 GitHub 倉庫 ProprietaryLegal/DeepSeek-V4.1-Flash-2xDGX-Spark-x86-offload。唯一的例外是前綴快取相關程式碼，預計將在後續的推送中公開。

未來的測試計畫包括完整的 100 萬 token 上下文測試、llama-benchy 深度表格、BFCL 工具調用基準，以及與其他量化包在同一 KLD 測試下的直接對比。此外，作者計劃於下週安裝 100 Gb 網路線材，以進一步提升 DGX Spark 與輔助伺服器之間的連結速度。