RLVR訓練中的結構性取捨與免費午餐定理

研究指出在強化學習驗證獎勵（RLVR）領域常見一種模式：經過 RL 訓練的模型在 pass@1 上表現優於基礎模型，但在較大的 k 值下，基礎模型往往能追平甚至超越。作者探討這是否為結構性限制而非訓練不足的問題，並透過理論分析給出肯定答案。

該研究將 RLVR 建模為基礎策略在跨提示共享解題策略上的指數傾斜（exponential tilt）。這種建模方式對於鏡像下降法（mirror descent）是精確的，且在模擬中 GRPO 算法在匹配熵的情況下與此模型的總變差距離保持在 3e-4 以內。

理論結果顯示，在排他性策略專化（exclusive specialization）條件下，不存在「免費午餐」。任何提升 pass@1 的更新都會嚴格降低某些提示詞的成功率。其精確條件對應於 Stiemke 對偶定理，即存在一個關於提示詞的嚴格正價格，使得策略適應度達到平衡。

值得注意的是，即使在每個提示詞上都是最佳策略，也無法保證沒有取捨。研究提供了一個 3x3 的反例，證明在這種情況下仍可能存在「免費午餐」，這推翻了直覺上認為局部最優即可避免整體損失的假設。

pass@k性能交叉點的數量邊界與緊湊性

當模型表現的损失集中在最難的提示詞時，RL 模型與基礎模型的 pass@k 曲線必然會發生交叉。研究利用 Karlin 全正性理論推導出，交叉點的數量最多等於每個提示詞成功率變化的符號變化次數。

這個邊界在 1 到 6 個交叉點的情況下被證明是緊湊的（tight）。在順序保持（order-preserving）的特殊情況下，只會出現恰好一個交叉點，這與先前已知的單交叉結果相符。

研究進一步指出，如果設定每個提示詞的性能下限，受限的更新過程將描繪出 pass@1 與 pass@k 之間的最權衡前沿。若禁止任何單個提示詞的性能損失，不僅會消除交叉現象，連帶整個 pass@1 的提升也會消失。

此外，相同的指數傾斜模型還導出了熵-性能定律，並確定了可識別的指數參數。這表明 RLVR 訓練過程中的熵變化與性能表現之間存在理論上的定量關係。

實務應用與對現有評估數據的驗證

研究提出了一種實用的診斷方法：僅需使用基礎模型與 RL 模型的逐提示成功率（這些數據通常已包含在標準評估日誌中），即可讀取交叉點數量、邊界以及「價格」（即最壞情況下的 pass@k 損失）。

作者將此方法應用於 Omni-MATH 的公開 GRPO 數據上。該數據轉錄自論文 2607.20543，僅供參考。分析結果顯示，在 k=64 與 k=256 之間存在一個交叉點。

為了方便社群驗證，作者提供了包含所有數值檢查腳本的程式碼包以及一個 Hugging Face 瀏覽器診斷工具。

理論假設的限制與對未來研究的呼籲

作者預見了可能的質疑點，並明確指出該理論基於「共享策略」的群體極限抽象（population-limit abstraction）。強制交叉點的出現需要依賴覆蓋假設（coverage assumption），論文中也給出了該假設失效的情境。

研究者特別呼籲社群提供觀察到兩次以上交叉點的逐提示日誌數據。因為出現兩個或更多交叉點是 RL 訓練導致提示詞難度順序發生重排的特徵信號，這將是對理論預測的重要驗證或反證。

由於這是純理論研究，沒有進行新的訓練實驗，因此所有結論均基於數學推導與對現有公開數據的重新分析。讀者需注意該模型是對實際訓練過程的理想化近似，而非對所有 RLVR 算法的精確描述。