llama.cpp v0.8.0 解決相容性問題並提供量化模型

DFlash2 草稿模型先前雖已發布，但缺乏 llama.cpp 的支援。隨著 llama.cpp v0.8.0 推出，該版本成為首個支援 Qwen3.8-Flash-Next 搭配 DFlash2 的版本。

測試者自行量化了 GGUF 格式的草稿模型進行驗證。這意味著使用者現在可以在本地環境中利用新版本的推論引擎來執行此組合。

不同任務場景下的速度與接受率比較

測試在 Apple Silicon (M5 Max) 硬體上進行，並針對 MTP 和 DFlash2 進行了參數掃描以尋找最佳設定。MTP 的最佳參數為 n-max = 3, p-min = 0.75；DFlash2 則為 n-max = 5, p-min = 0.75。

在程式碼生成任務中，DFlash2 的速度從 80.5 tps 提升至 95.1 tps，增幅達 18%，但接受率從 94% 降至 84%。清單生成任務表現最為顯著，速度從 91.4 tps 躍升至 127 tps，增幅 39%，且兩者接受率均維持在 98%。

在散文生成場景下，DFlash2 的速度為 51.9 tps，略低於 MTP 的 53.8 tps，降幅約 3%，且接受率從 78% 降至 64%。整體幾何平均速度從 75.1 tps 提升至 87.9 tps，平均增幅為 17%。

在較長的上下文環境中，表現出現差異。在 6k 上下文測試中，DFlash2 仍維持 19% 的速度優勢。然而當上下文長度達到 25K 時，DFlash2 的速度與 MTP 大致持平，顯示其效能隨上下文增長而遞減，而 MTP 的表現則相對穩定。

模型檔案大小與 VRAM 使用情況

測試比較了 Q4_0 與 Q8_0 精度的草稿頭，結果顯示兩者在速度與接受率上沒有可測量的差異。因此建議選擇 Q4_0 精度以節省記憶體佔用。

DFlash2 的 Q4_0 草稿模型檔案大小僅約 350MB，遠小於測試者先前使用的 MTP Q4_0 ggml 草稿頭（2.2GB）。

儘管草稿模型檔案大幅縮小，但這些節省並未轉化為實際 VRAM 的減少。這是因為 DFlash2 所需的計算緩衝區大小幾乎抵消了模型檔案帶來的記憶體節省。

新增對視覺輸入的支援

與先前針對 Qwen3.8-27B 版本的 DFlash2 不同，此次測試的配置支援圖像處理功能。

啟用視覺功能的草稿模型在處理包含圖片的提示詞時，能夠產生連貫的回應，並維持良好的接受率。這擴展了該組合在多模態任務中的適用範圍。