長上下文代理任務測試結果
Unsloth 團隊針對 DeepSeek-V4.1 Flash 的 Dynamic 3.1 GGUF 版本進行了多項基準測試，包括 DeepSWE、Terminal Bench、Automation Bench、HLE 與 SciCode。這些測試均在 512K 的上下文長度下執行，其餘 14 項一般任務則在 128K 上下文下進行。
根據該團隊公布的數據，其 GGUF 版本在上述代理型基準測試中的表現比 GSQ-RCO 高出 10% 至 20%。為了應對先前社群指出的「32K 上下文過短」問題，此次測試特意採用了更長的上下文設定以模擬實際的代理應用場景。
量化壓縮效能保留率的統計驗證
團隊重新檢視了先前由 ISTA 提出的 GSQ-RCO 數據，並透過增加 27 倍的測試資料量（從 1.3B tokens 增至 35.1B tokens）來提高結果的可信度。針對 GSQ-RCO IQ1_M 格式宣稱的 98.7% 效能保留率，Unsloth 測量結果為 97.24%，統計顯著性檢定顯示該宣稱與實際測量存在顯著差異（p-value = 0.0013）。
對於 GSQ-RCO IQ2_XXS 格式宣稱的 99.80% 保留率，Unsloth 測量結果為 98.38%，統計分析顯示該宣稱幾乎不可能成立（p-value = 0.0001）。然而，GSQ-RCO IQ2_XS 格式宣稱的 100% 保留率在統計上仍有可能性（p-value = 0.21），Unsloth 測量結果為 98.38%，落在其置信區間內。
在與官方基礎模型進行配對差異比較時，GSQ-RCO IQ1_M 在 AIME25、GPQA-D 和 LCB v6 等測試中均呈現負向差異，且多數結果具有統計顯著性。IQ2_XXS 在 GPQA-D 和 LCB v6 上也顯示出顯著的效能下降，而 IQ2_XS 的差異則未達統計顯著水準。
測試方法與評分器調整
為了解決先前關於「基準測試噪音大」與「評分器錯誤」的質疑，Unsloth 採用了更嚴格的測試協議。他們使用了 Math Verify、改進後的評分器，並在 HLE 測試中使用 gpt-6-luna xhigh 作為輔助，同時在 Terminal Bench (Harbor) 和 DeepSWE 等測試中採用官方指定的評分標準。
在代理任務的執行設定上，DeepSWE v1.1 使用 mini-swe-agent 並設定最大步驟為 500（實際觀察到的最大步驟為 334），Terminal Bench 2.1 同樣使用 mini-swe-agent 但設定最大步驟為 150。由於基礎設施限制，有 7 個 Terminal Bench 任務被排除在測試之外。
團隊強調所有測試設定與方法均已公開於其部落格文章與文件中，並表示若能獲得 GSQ-RCO 更詳細的執行細節，願意進行更多比較測試。新的 Unsloth Dynamic 3.1 GGUF 模型已發布於 Hugging Face。
