ToyBlocks 的設計理念與運作機制

機器人學習常面臨示範數據狹窄且難以解釋失敗原因的問題。Ai2 認為，如同科學家使用培養皿或生態箱來控制變因以研究複雜系統，機器人研究也需要一個能改變訓練數據、重複測試並追蹤失敗原因的受控環境。ToyBlocks 即是為了滿足此需求而設計的「基礎世界」（FoundationWorlds）之一。

ToyBlocks 是一個圍繞機械臂與桌上方塊建構的開放模擬框架。雖然場景刻意簡化，但機器人仍需處理推擠、翻轉和堆疊等涉及物理互動與排列邏輯的任務。該框架設計遵循四個要求：逼真的物理與外觀、大規模自動生成任務與示範、結合推理與靈巧度的挑戰，以及對領域內可能任務的廣泛覆蓋。

為了避免真實世界遙操作（teleoperation）的耗時問題，ToyBlocks 利用強化學習（RL）和運動規劃來自動生成短程任務的技能。這些技能訓練在 Nvidia 的開源框架 Isaac Lab 中進行，透過試錯法學習如推擠或翻轉方塊等非抓取式動作。系統可利用模擬器提供的特權資訊（如方塊的精確位置與方向），而非僅依賴相機影像估計，從而自動生成真實世界中需要遙操作才能獲得的技能。

任務與運動規劃器（TAMP）會自動選擇並排序解決任務所需的技能，並規劃機器人之間的移動。透過在單一 GPU 上平行執行數百個計畫，ToyBlocks 能達到高達 24 倍即時速度的數據生成效率。此外，框架還引入了域隨機化技術，改變方塊大小、桌子高度等物理屬性，以測試模型幾何變化的泛化能力。

低層動作模型的空間泛化挑戰

視覺語言動作模型（VLA）旨在將語言指令與視覺觀察映射為機器人動作，但關於其泛化能力的證據存在衝突。部分研究指出這些模型對輸入變化（如物體佈局或光照）非常脆弱，而其他研究則顯示其具有良好的泛化能力。Ai2 認為這是由於現有研究多依賴靈活性有限的真實世界數據集所致。

ToyBlocks 提供了一個簡單且可重複的環境來測試動作模型的泛化能力。研究者設計了變換技能序列、方塊上的字母或顏色以及場景中方塊數量的測試。例如，在堆疊任務中，訓練時排除四層堆疊，然後測試模型是否能結合熟悉的動作來構建它們；在工作區研究中，則區分訓練區域內新位置的表現與超出邊界需外推的表現。

基於 ManiFlow、π0.5 和 MolmoAct 2 等流行動作模型的初步結果顯示，儘管經過大規模預訓練，這些模型在初始測試中的泛化表現仍然不佳。Ai2 指出，動作模型的泛化問題遠未解決，ToyBlocks 提供了一個寶貴的測試平台，讓研究者能系統性地探索如低秩適應（LoRA）等微調技術對泛化的貢獻。

高層推理與代理系統的實驗結果

為了評估長程任務的規劃能力，Ai2 採用了分層架構：使用視覺語言模型 Molmo 2 作為高層規劃器，決定要執行的技能和目標方塊；使用 ManiFlow 作為低層策略，執行具體動作。實驗場景分為三種難度，從字母直立且面向相機，到字母不可見需先探索再堆疊。結果顯示，Molmo 2 與 ManiFlow 的組合在模擬環境中能處理這些複雜任務。

在代理系統實驗中，Ai2 測試了前沿模型 Claude Opus 5.5 透過工具調用進行規劃與行動的能力。在「搜尋與拼寫」設定中，代理透過 Model Context Protocol (MCP) 連接 ToyBlocks 的技能，並透過指向像素來呼叫動作。結果顯示，對於經典規劃任務，該系統能解決所有 30 個類似幾年前前沿模型難以處理的堆疊任務。

然而，在需要從最多八個方塊中找出特定字母並堆疊成單詞的任務中，由於 50% 的場景缺乏所需字母（任務不可行），代理僅能正確解決或宣告不可行的任務比例為 63%。錯誤主要來自將相似字母混淆（13%）或選擇了錯誤的字母方向（15%）。有趣的是，當方塊具有語義規律（如 A 面包含 apple, ant 等圖片）時，代理能利用這些模式推斷被遮擋的面，從而更快地宣告任務不可行。

另一項實驗讓代理像科學家一樣透過自我實驗來學習技能行為。當技能表現異常時，代理會形成假設、設計測試並修正理解。結果顯示，由代理自行撰寫的技能描述將成功率從預設描述的 24% 提升至 63%，甚至超越了人類專家撰寫描述的 36%。

世界模型作為模擬器的評估

動作條件世界模型旨在預測場景如何隨機器人動作變化，並被視為基於模型的模擬器替代品。Ai2 利用 ToyBlocks 提供的真實狀態（ground truth），測試了 Wan 2.2、Astra 和 LeWM 三種類型的世界模型在低層物體操作中的表現。

實驗中，研究者為每種技能生成了 900 條軌跡，其中 50% 成功，50% 因空間配置微小變化而失敗。結果顯示，Wan 2.2（一個 50 億參數的視頻預測模型）在預測方塊運動和任務結果方面最為準確。Astra 能良好追蹤夾爪但難以模擬接觸，LeWM 則在短互動片段中較快且準確，但在完整軌跡上會漂移。

進一步實驗表明，在位姿和成功預測上得分較高的模型也能產生更好的訓練數據。將最佳視頻生成模型生成的 100 條軌跡加入訓練數據後，策略在未見區域的成功率從 19% 提升至 78%。這顯示高品質的世界模型預測能有效輔助機器人策略的訓練。

模擬到實體的轉移與資源釋出

Ai2 測試了僅在 ToyBlocks 模擬數據上訓練的模型能否零樣本（zero-shot）部署到實體機器人。實驗使用 Franka FR3 機械臂搭配 Robotiq 夾爪，在 30 種場景配置中進行評估。ManiFlow 的原子技能成功率在模擬與真實世界中相近（分別為 80.0% 和 81.1%）。

分層系統 Molmo 2 + ManiFlow 在模擬環境中的成功率为 55.5%，而在真實世界實驗中為 50.0%。為了實現這種轉移，Ai2 採取了三階段方法：首先在數據生成前進行系統識別以調整模擬參數；其次在數據生成時隨機化物理與視覺屬性；最後在推論時使用 ZED 相機並透過 FastFoundationStereo 從 RGB 影像生成乾淨的深度圖，而非依賴雜訊較大的深度感測器。

Ai2 已釋出 ToyBlocks 的模擬資產、程序化任務與示範生成器、自動生成的示範數據、兩個預訓練模型（基於 Molmo 2 和 ManiFlow）、訓練程式碼以及評估程式碼與驗證集。初始資料集包含 85,336 個長程任務示範，涵蓋約 1,600 小時的機器人執行數據和 1.44 億幀影像。