四款模型針對不同模擬需求分工

Cosmos3-Nano-Transfer-Auto 是一款雙向模型，用於離線生成合成駕駛數據。它能同步生成最多 11 個視角的視頻（包含魚眼鏡頭），並支援 RGB 與 LiDAR 的聯合生成。開發者可透過文字提示引導外觀，並使用每個相機的世界場景地圖（WSM）控制來指定場景結構與交通動態，以擴展訓練與評估覆蓋範圍。

Cosmos3-Nano-Sim-Auto 是 Transfer-Auto 的因果蒸餾串流變體，專為快速互動模擬設計。它僅需少量去噪步驟即可生成同步的相機視頻和 LiDAR 數據塊，利用生成的歷史記錄與更新的駕駛控制來支援長時間的互動滾動。此模型適用於需要即時反饋的閉環互動場景，但需搭配模擬運行時環境以更新控制參數。

Cosmos3-Nano-Sim-Transfer 將物理模擬器的空間控制與文字提示轉換為逼真的 RGB 視頻。它接收深度、分割、邊緣和模糊等控制信號，生成策略可消費的顏色觀察結果。在此流程中，物理狀態與真實世界狀態仍由模擬器計算，模型僅負責渲染視覺外觀。

Cosmos3-Nano-Sim-Bimanual 預測雙臂機器人動作對環境的影響。它支援 YAM 和 AgiBot 等實體的互動式雙臂模擬，可由策略或人類操作搖桿控制。該模型能從初始圖像開始，根據機器人或相機的移動生成後續觀察結果，並允許單一控制序列在視角變化與物體操縱之間切換。

串流生成技術與訓練流程解析

Cosmos 3 採用混合 Transformer（Mixture-of-Transformers）架構，透過注意力機制連接獨立的文本處理網絡與視覺生成網絡。生成器根據提示、可用控制信號及已生成的歷史記錄預測每個短片段。去噪過程將雜訊壓縮視頻表示精煉為片段，時間因果注意力機制允許讀取歷史與控制，同時阻擋未來的目標觀察。

模型運作於稱為 Latents 的壓縮視頻表示上。初始圖像後，每個 Latent 時間步代表四個 RGB 幀。Transfer 模型每塊預測一步，而報告中優化的 Bimanual 設置預測兩步。較小的數據塊允許新控制更頻繁地影響生成結果，並透過 Key/Value 快取保留注意力資訊以進行下一次預測。

訓練過程分為四個階段：Stage 0 為雙向適應，從完整記錄片段學習領域與控制到視頻的關係；Stage 1 為教師強制，從早期觀察預測數據塊；Stage 2 為一致性蒸餾，使用凍結的教師模型訓練能在四步去噪內生成的學生模型；Stage 3 為自強制，讓模型在自身生成的歷史記錄上進行訓練。

最後階段的自強制訓練至關重要，因為輕微預測錯誤會成為後續幀的上下文導致誤差累積。透過讓模型接觸自身生成的歷史記錄，並結合蒸餾與快取技術，旨在降低產生每個觀察結果的成本並提高穩定性。

開發者適應指南與硬體需求

這些檢查點作為開放基礎，允許研究人員和開發者透過後訓練配方進行調整。Transfer-Auto 可針對特定感測器配置與駕駛領域進行後訓練；Sim-Auto 則需先適應 Transfer-Auto 再進行因果訓練與蒸餾以實現快速串流模擬。Sim-Transfer 與 Sim-Bimanual 也提供對應的本地數據準備與階段配置指南，以便適配特定環境或機器人實體。

執行推理需要 Linux、NVIDIA GPU、Docker 以及 NVIDIA Container Toolkit。官方發布的 vLLM-Omni 設置已在單一 GB200 上測試，但這並非最低記憶體規格要求。伺服器負責下載權重，客戶端則獲取樣本輸入。開發者應遵循數據契約與動作模式定義，確保控制值正確描述預期運動，並保持時間對齊（T 個轉換需要 T+1 個觀察結果）。

NVIDIA 強調這些模型旨在幫助研究者建立更豐富、響應更靈敏的模擬世界。然而，目前仍面臨挑戰，包括測量模型在策略學習與評估中的忠實度、理解其限制以及在不足之處進行改進。開放權重與後訓練配方提供了共享起點，用於適配模型、比較方法並貢獻改進。