「做夢」機制如何修正記憶錯誤與建立知識索引

Anthropic 將代理記憶定義為 Claude 從互動中獲得並跨會話保留的知識,這有別於模型權重更新或單次對話中的上下文學習。為了模擬人類睡眠時的記憶鞏固過程,研究團隊引入了「做夢」(Dreaming)機制,讓模型在閒置時間回顧日誌與記錄,以修正錯誤、生成新筆記或優化未來會話的預載內容。

在《寶可夢》遊戲測試中,這一機制展現了關鍵作用。當 Claude 錯誤地將「月見山」入口標記為東側時,導致其在後續導航中反覆觸發陷阱並陷入循環。透過「做夢」程序,Claude 比對原始對話記錄發現錯誤並修正記憶檔案,隨後成功進入洞穴並抵達下一座城市。若無此修正機制,該次遊戲運行最終未能通過該關卡。

此外,「做夢」還能幫助 Claude 建立名為 Wiki 的知識表示形式。這是一種由 Claude 撰寫並維護的頁面集合,透過連結不同筆記形成知識地圖。在針對一家軟體公司約 35 萬份文件(約 4.2 億 Token)的測試中,Claude 經過 128 次會話的「做夢」迭代,逐步建構並優化這些 Wiki,使其能更有效地檢索分散在多份文件中的資訊。

結合搜尋與 Wiki 結構顯著提升複雜任務準確率

研究顯示,單獨使用 Wiki 或單獨使用搜尋工具的效果均有限,但兩者結合時表現最佳。在上述文件測試中,僅使用搜尋工具的基準分數為 53%,僅使用 Wiki 的最高分為 48%;而同時使用搜尋與 Wiki 時,總體分數提升至 61%,且每個問題平均節省約 20,000 Token。

在另一項針對企業併購法律簡報的測試(Harvey LAB benchmark)中,Wiki 結構對於需要跨文件綜合判斷或計算的問題特別有幫助。當任務要求從多份文件中提取資訊時,使用 Wiki 輔助的 Claude 得分為 87%,高於僅使用搜尋工具的 73%。

然而,並非所有情境都適合建立詳細的 Wiki。在某些法律簡報任務中,若答案可直接從單一文件中檢索,Wiki 並未帶來明顯優勢。甚至出現 Wiki 檔案大小超過原始文件總和的情況,這種過度細節化的索引反而失去了抽象與提煉知識的意義,類似博爾赫斯小說中「地圖與帝國一樣大」的荒謬情境。

記憶判斷力的演進:從記錄一切到策略性篩選

Claude 在判斷哪些資訊值得長期保存(Salience)的能力上有了顯著進步。早期模型如 Claude Sonnet 3.7 在《寶可夢》遊戲中傾向於記錄所有細節,包括每場戰鬥、每個物品和每個 NPC,導致記憶檔案高達 413 個。由於遊戲狀態不斷變化,這些詳細記錄迅速過時,迫使模型花費大量資源清理記憶而非進行遊戲,最終僅獲得一枚徽章。

相比之下,較新的模型如 Claude Fable 5 僅建立極少量的檔案(9 個檔案與一個全域索引),專注於記錄策略、計劃和經過驗證的規則,而將可從螢幕直接讀取的即時狀態排除在外。這種策略使其在遊戲中獲得四枚徽章,進度遠超舊版模型。Claude Opus 5.5 也採用了類似方法,透過維護小型且動態更新的記憶檔案成功通關。

在 CL-Bench 1.0 資料庫查詢任務中,不同版本的 Claude 展現了不同的學習迴路能力。Claude Sonnet 4.6 僅能生成未經測試的錯誤理論;而 Claude Opus 5 及後續版本則能將筆記整合為單一參考文檔,標記已驗證事實與未確認事項,並記錄陷阱警告,從而形成閉環的學習機制。

引導策略:給予自由判斷優於強制規則

測試發現,對較先進的模型(如 Opus 4.7 和 Opus 5),僅告知存在記憶目錄而不指定具體記錄規則,效果最佳。當強制要求「僅記錄失敗案例」時,這些模型從記憶中獲得的性能增益反而大幅下降。這表明讓模型自行判斷資訊重要性比預設固定規則更有效。

然而,對於較舊的模型如 Claude Sonnet 4.6,明確的引導則至關重要。該模型經常忽略讀取記憶檔案或測試理論。當研究人員明確提示其在回答前讀取記憶並驗證理論時,其基準分數幾乎翻倍。Claude Sonnet 5 則已能自主執行這些步驟,在 10 次中有 9 次主動讀取記憶後再作答。

目前 Anthropic 對前沿 Claude 模型的預設策略是提供簡單指引:當用戶要求或明顯值得記住時建立筆記,並將具體判斷權交給模型。這種方法旨在平衡即時記錄的干擾與背景處理的效率,同時避免過度干預導致性能下降。

記憶層級管理與上下文注入的限制

「做夢」機制還能將重要筆記提升至記憶層級的頂端,以便在每次新會話開始時預載入 Claude 的上下文(Context Injection)。然而,這種注入必須謹慎控制,因為它會佔用寶貴的 Token 預算,且錯誤的筆記可能被帶入所有後續會話。

Claude Code 的自動記憶功能採用了一種限制策略:僅載入 MEMORY.md 檔案的前 200 行或 25 KB 作為索引,其餘內容則在需要時搜尋。這確保了頂層記憶保持精簡,並透過「做夢」過程將細節移至下層結構,僅保留連結。

研究也指出,若指令引導不當,多代理協作可能導致資訊遺失。在法律簡報測試中,多個代理同時寫入共享表格導致關鍵合約條款被覆蓋或摘要錯誤,最終僅有 72% 的事實被正確記錄。透過調整指令,讓每個代理獨立撰寫並逐字引用合約條款,事實保留率提升至 100%。