修改範圍與技術實現方式

AtomicChat 團隊基於 ISTA-DASLab 提供的 GSQ-RCO 量化版本進行修改,目標是移除模型的拒答行為。

修改僅針對每個檔案中的 82 個密集張量,具體包括注意力輸出層、共享專家下投影層以及 Engram 值投影層。

模型中佔比最大的 384 個路由專家(routed experts)權重完全保持原樣,未做任何變動,因此保留了 ISTA 原有的 GSQ 量化精度。

檔案標頭與大小均與原版一致,使用者只需替換分片檔案(shards),即可繼續使用 ISTA 提供的 Engram 檔案。

拒答率測試結果與版本比較

團隊使用 JailbreakBench 進行測試,比較標準版與修改版在相同 Strata 設定下的表現。

IQ1_M 版本(總大小 121 GB)的拒絕率從 88.9% 降至 0%,思考模式中的拒絕次數從 30 題中的 27 次降至 1 次,MMLU-500 分數為 80.6%。

IQ2_XXS 版本(總大小 138 GB)的拒絕率從 85.2% 降至 0%,思考模式中的拒絕次數從 27 次降至 0 次,MMLU-500 分數為 82.8%。

IQ2_XS 版本(總大小 155 GB)的拒絕率從 86.4% 降至 0%,但思考模式下仍有 2/30 題出現拒絕,MMLU-500 分數為 81.6%。

基於測試結果,團隊建議優先選擇 IQ2_XXS 版本,因其在思考模式下的拒答行為最少。

模型智力與基準測試驗證

為確認移除拒答是否影響模型智力,團隊在 IQ2_XXS 版本上執行了 GPQA-Diamond 與 AIME25 測試。

GPQA-Diamond 的得分與標準版相同,均為 83.3%。

AIME25 的得分從標準版的 76.7% 提升至修改版的 80.0%,但由於僅測試 30 題,團隊認為兩者差異在統計上可視為相同。

與標準版相比,修改版的 KL 散度(KL divergence)極低,IQ1_M 為 0.021,IQ2_XXS 為 0.023,顯示輸出分佈未發生顯著偏移。

硬體限制與使用注意事項

所有測試均在租用 GPU 上以 8K 上下文長度進行,團隊尚未在實際的 12 GB VRAM 消費級顯卡上驗證長上下文處理能力或生成速度。

目前修改版模型僅支援 Strata Engine 執行環境,該引擎利用 64 GB RAM 與 SSD 來輔助運行大型量化模型。

對於使用 llama.cpp 的使用者,團隊提供了舊版發布以相容於該框架,但功能可能受限。

團隊呼籲使用者在實際硬體上測試後分享每秒 token 數(tok/s)與記憶體使用情況,以補充官方未涵蓋的數據。