新轉向技術 ARA 取代傳統去審查方法

Heretic 2.0 的核心變更在於預設轉向方法從 Directional Abliteration（方向性消融）改為 Arbitrary-Rank Ablation (ARA)。舊方法假設拒絕行為或其他需抑制的特徵僅由殘差空間中的單一方向（rank-1 subspace）表示，而研究界長期質疑此假設的完整性。

ARA 放棄了將變換限制在固定秩子空間的概念，改為基於目標函數修改矩陣。該目標函數要求有害提示在殘差空間中的表示應類似無害提示，同時盡量減少對無害提示表示的干擾。

系統使用 L-BFGS 優化器逐一修改矩陣，這是一種不受秩限制的微訓練過程。開發者指出，ARA 經過社群廣泛測試與改進，包括 kabachuha 使其相容於 LoRA 系統，以及 varunbln 發現顯著的性能提升。

插件架構允許自定義模型優化目標

Heretic 2.0 完全重構為基於插件的架構，分為定義優化目標的 Scorer plugins 與執行轉向方法的 Modifier plugins。使用者可直接從 Python 檔案載入插件，並透過明確的 API 進行開發。

除了預設的關鍵詞計數（用於測量去審查強度）和 KL 散度（用於測量品質保留）外，新版內建了基準測試評分器和 BERT 分類器。BERT 分類器由貢獻者 Vinay Umrethe 開發，可使用任意 ModernBERT 類型模型對 LLM 回應進行分類並評分。

Vinay 訓練了一個拒絕分類模型，實驗顯示其在識別模型拒絕行為上比預設的關鍵字匹配方法更準確。雖然使用 BERT 分類器比關鍵字匹配慢，但更高的準確度能引導 Heretic 產生品質更好的修改後模型。此外，倉庫中也提供了情感分類器的替代配置。

模型支援擴展與版本不相容注意事項

Heretic 2.0 擴大了模型支援範圍，新增對具有 hyper-connections 架構模型的支援，並大幅改善對 thinking models（思考模型）的處理能力。專案目前擁有 37k GitHub stars，Hugging Face 上有超過 8,500 個模型，總下載量達 8,800 萬次。

開發者強調，Heretic 2.0 與 Heretic 1.x 的配置檔案不相容。使用者若需沿用舊設定，必須參考官方提供的遷移指南進行修改。

儘管架構大幅變動，移除模型審查的基本操作仍保持簡單，例如執行 heretic Qwen/Qwen3.5-4B 即可進行預設的去審查處理。非互動模式（non-interactively）的支援使得端到端測試成為可能，從而實現更嚴格的品質控制。