極小比例權重編輯顯著提升數學推理準確率

MIT CSAIL 的研究團隊針對 Qwen3.5-0.8B 模型存在的推理迴圈問題進行處理，該問題表現為模型在思考過程中反覆輸出「Wait」而無法得出結論。

團隊使用 GPT-6 Astra 作為輔助工具，僅對模型總權重的 0.016% 進行了編輯修改。

經過此項微調後，Qwen3.5-0.8B 在 MATH-500 數學基準測試中的準確率從原本的 7.9% 大幅躍升至 48.1%，顯示極小範圍的參數調整即可對模型邏輯產生重大影響。

研究團隊已公開發布了權重差異檔案（diff），這意味著該編輯過程可以被精確重建，並允許開發者在本地環境中重新應用此修正。

內部狀態解讀揭示模型從懷疑轉向確認的機制變化

Reddit 用戶 DeliciousGorilla 進一步利用 Anthropic 提供的 Jacobian lens 技術，深入分析 Qwen3.5-0.8B 在推理過程中的內部狀態。

在未經過修正的原版模型中，當模型決定輸出「Wait」這個詞彙時，Jacobian lens 從約 60% 的深度層級開始解讀出「Wrong」、「Nope」和「Hmm」等代表懷疑與否定的語義向量，儘管此時答案其實已經生成。

相對地，在模型正常停止思考並準備輸出最終答案的節點，Jacobian lens 則會解讀出「</think>」、「Answer」和「Output」等標記，顯示模型處於正常的結束狀態。

當應用了 MIT CSAIL 的權重編輯後，在同一個原本會觸發「Wait」的決策點上，Jacobian lens 的解讀結果轉變為「Verification」、「Completion」和「Result」。

這表明權重編輯的作用機制在於將模型內部的自我懷疑狀態轉換為對結果的驗證與完成確認，從而中斷了無意義的重複迴圈。

修正後模型維持本地端運行能力與量化相容性

經過權重編輯後的模型檔案可以順利轉換為 GGUF 格式，這對於希望在個人電腦上運行大型語言模型的用戶來說至關重要。

技術細節顯示，基礎模型與修正後模型的 bf16 檔案僅在兩個被編輯的張量（tensors）上有差異，其餘部分完全一致。

該修正後的模型在 Q4_K_M 量化格式下依然保持穩定運作，測試結果顯示每 40 次執行中僅出現 1 次推理迴圈問題。

相關評估是在 Ryzen AI 9 HX 370 迷你電腦上，使用 llama.cpp 的 Vulkan 後端進行執行的。

雖然測試樣本數量較小，但研究者已公開了完整的程式碼與數據集，供社群驗證與進一步研究。