權重空間程式化的初步發現
研究團隊發現,前沿大型語言模型在讀寫神經網路權重方面表現出令人意外的能力,其表現遠超人類或傳統演算法的預期水準。
這種被稱為「權重空間程式化」的能力並非經過專門優化訓練而來,而是模型現有的原生功能,這對於最佳化與可解釋性領域可能具有重要意義。
從原始權重推斷網路訓練目標
以GPT-6 Astra為例,該模型僅需檢視神經網路的原始權重數據,即可判斷該網路是用於執行何種任務。
原文指出,僅透過檢視原始權重數據,GPT-6 Astra 即可判斷該網路是用於執行何種任務。
無環境回饋下的策略網路生成效能
在沒有環境回饋的情況下,該LLM能夠從零開始撰寫小型的遊戲對戰神經網路。
測試結果顯示,這些由模型生成的網路在遊戲表現上,優於經過一億步PPO(Proximal Policy Optimization)演算法訓練而成的傳統網路。




