從局部模仿到巨觀強化學習的數學等價性

自然界中最佳決策通常透過兩種看似不同的範式產生：個體試錯（強化學習）與集體模仿（群體智慧或演化博弈論）。生物學家長期將昆蟲群落描述為「超有機體」或具有類似脊椎動物大腦的「蜂巢思維」。

研究團隊旨在驗證這種隱喻在強化學習視角下是否在數學上成立，即由無學習能力的模仿者組成的蜂群，是否真的在巨觀層級執行單一代理的強化學習更新。

該論文的核心理論發展確立了大型種群中的去中心化社會模仿與多臂老虎機設定下的單代理強化學習之間的數學等價性。透過將承諾於每個選項的個體比例視為單一巨觀代理的行動機率策略，研究利用演化複製動力學來橋接局部個體互動與全域策略更新。

Maynard-Cross Learning 演算法與蜜蜂舞蹈模型的對應

首先，研究顯示遵循經典「模仿成功」協議（個體複製鄰居的策略，機率與鄰居的收益成正比）的種群，其演化過程與 Cross Learning 老虎機演算法的預期更新完全相同。

接著，研究將此方法擴展至蜜蜂搖擺舞的「加權選民」模型。在該模型中，偵察蜂根據地點品質宣傳築巢地點的時間長度，而同伴則盲目複製他們遇到的第一個廣告而不比較收益。

基於這種對偶性，研究者推導出一種新的巨觀強化學習演算法，命名為 Maynard-Cross Learning (MCL)。在此框架下，每個無學習能力的個體扮演單一並行環境樣本的角色，其對群體的fractional influence（分數影響）反映了一個等於蜂群大小倒數的強化學習學習率。

研究意義與應用領域

透過證明局部社會模仿與單代理強化學習之間的數學等價性，这项工作提供了形式化機制來解釋「蜂巢思維」智慧與試錯學習如何從簡單、無學習能力的個體中在群體層級湧現。

除了證實生物學中集體認知的演化理論外，該框架還為分析社會和經濟系統中的模仿動態提供了新工具。

此外，這也為設計可擴展的去中心化群體機器人演算法提供了理論基礎，展示了盲目的局部模仿如何在集體層級聚合為連貫且並行化的強化學習器。