Gear 框架的設計理念與架構

開發者在閱讀多篇關於 Recursive Self-Improvement (RSI) 的論文後,發現該領域反覆出現與強化學習及演化搜尋類似的問題:如何有效率地找到有潛力的改變、如何確認新變體確實改進代理表現,以及如何避免過早收斂。

為了解決這些問題,開發者建立了 Gear,這是一個受元學習啟發的開源框架。其核心機制是讓任務代理產生執行軌跡,再由元代理利用這些軌跡與評估回饋來改進提示詞、工具、工作流和上下文管理。

Gear 的設計重點在於將搜尋決策從執行與評估過程中分離出來。開發者的目標是打造一個類似 scikit-learn 的工具庫,讓 GEPA、RRSI 和 Harness² 等現有方法更容易被實作和進行公平比較。

GEPA 變體的初步測試結果

目前 Gear 已包含一個可運作的 GEPA 變體,具備共享失敗診斷與分階段評估的功能。開發者使用 GPT-5.6 Luna 模型,並將其推理強度設定為中等,進行了一系列基準測試。

在 AutomationBench Marketing 任務中,基礎版本的通過率為 27.0%,而經過 Gear 優化的版本達到 40.0%。在 AutomationBench Support 任務中,通過率從 17.0% 提升至 25.0%。

在 Terminal-Bench 2.1 測試中,基礎版本的通過率為 52.8%,優化後則提升至 62.9%。這些數據顯示 Gear 的優化流程在特定任務上能帶來性能增益。

高強度推理下的成本與完成度比較

開發者進一步將 GPT-5.6 Luna 設定為最高推理強度,並使用優化後的工作流進行測試。在 Marketing 任務中,Luna 達成了 88.88% 的目標完成度,相比之下,Astra + Codex 組合的完成度為 84.08%。

然而,若以嚴格的任務通過率計算,Luna 為 53%,而 Astra + Codex 為 57%。這表明 Luna 的優勢主要在於部分任務的完成度較高,而非完全通過測試的比例。

在成本方面,當兩個模型都使用相同的優化工作流並設定為最高推理強度時,Luna 每個任務的平均 API 成本估計為 0.0568 美元,而 Astra 則高達 1.1858 美元。這意味著 Luna 的成本低了約 95.21%,但此數據未包含優化過程與基礎設施的成本。