
重大突破:Cosmos 3 Edge 可在 Jetson Thor 本機運行
NVIDIA 於本月發表的 Cosmos 3 Edge,是一款 4 B(40 億參數)全域模型,內含 2 B(20 億參數)以 Nemotron(NVIDIA 自研大型語言模型)為核心的推理引擎。該模型在與 Cosmos 3 Nano、Cosmos 3 Super 相同的實體世界資料上進行預訓練,具備對物體運動與接觸交互的基礎認知,且體積足以直接部署於 Jetson Thor(NVIDIA 針對機器人設計的嵌入式 GPU 平台)。
背景與技術細節
傳統的 world model(世界模型)能夠學習物理交互規則,但往往過於龐大,難以在機器人上即時推論。Cosmos 3 Edge 透過模型壓縮與結構優化,使其記憶體需求符合 Jetson Thor 的限制,實現「端側」推論,免除將影像與感測資料上傳至資料中心 GPU 的需求。
在實時控制方面,NVIDIA 以 DROID(Data‑Driven Robot‑centric Inference for Dexterous manipulation)行動策略為基礎,於 Jetson AGX Thor T5000 上每 1.53 秒產生一次動作區塊(action chunk),解析度 640×540、頻率 15 Hz。單個區塊覆蓋約 2.13 秒的機械臂運動,因為下一區塊在前一區塊結束前已備妥,機械手臂可持續移動,完全不依賴雲端 GPU。
實驗結果與意義
在封閉迴路的 RoboLab 任務測試中,經過後訓練(post‑training)的 Cosmos 3 Edge 策略達到 22.9 % 的成功率。此數值證明,僅 4 B 的世界基礎模型即可作為實時、端側機器人策略的可行骨幹。
訓練所使用的 nvidia/Cosmos3‑DROID 資料集(LeRobotDataset v3.0 格式)包含 76,000 筆成功遙控軌跡,約 350 小時、86 項任務、564 個場景,採用 Franka Panda 機械臂搭配 Robotiq 抓手錄製,影像解析度 640×360。
未來展望
Cosmos 3 Edge 的成功示範顯示,具備物理常識的中等規模模型已可在資源受限的機器人上即時運作,為「即插即用」的機器人智能鋪路。未來若結合更廣泛的多模態資料與更高效的微調流程,預期可提升成功率與任務多樣性,讓工業、物流乃至服務機器人皆能在本地端完成複雜的操作決策,降低對雲端算力的依賴,進一步推動機器人技術的普及與安全性。