核心概念
代理 AI 工作流(Agentic AI workflows)可自動化將實體機器人系統的數位雙生(digital twin)從設計階段轉換為模擬就緒(SimReady)的 OpenUSD 檔案。透過 AI 代理(agents)檢查 3D 場景、加入物理屬性、產出預覽渲染,最終交付給 NVIDIA Isaac Sim 或 NVIDIA Isaac Lab 進行機器人模擬。
工作流程與挑戰
在實務上,機器人開發者常因缺乏「模擬就緒」的世界而卡關。將 Blender 中的 3D 場景轉換為可直接訓練的模擬環境,需要大量手動標記、物理設定與驗證,工作量龐大且易出錯。
此篇報導示範的工作流結合了 NVIDIA Omniverse Libraries(提供場景檢查與資料產出 API)與 OpenUSD(Universal Scene Description 的開放格式),由 Codex(以 OpenAI GPT‑6 Astra 為核心)負責整體任務協調與結果解讀;同時透過 NVIDIA NemoClaw 部署的 Hermes 子代理完成以下專責任務:
| 子代理功能 | 說明 | | -------- | ---- | | 場景檢查 | 讀取 Blender 匯出的 USD,驗證是否符合 SimReady 規範 | | 模擬資料編寫 | 在 OpenUSD 中加入抓取、碰撞等模擬相關的 metadata(資料說明) | | 物理屬性配置 | 為物件設定質量、摩擦係數等物理參數 | | 預覽渲染 | 產生「pre‑flight」視圖,讓開發者提前檢視模擬結果 |
Codex 先將開發者的「把 3D 場景變成可模擬」需求,拆解成多個子任務,辨識相依關係,然後指派給相應的 Hermes 子代理。每個子代理使用不同的 NVIDIA Nemotron 模型(視覺、推理、工具使用),完成後回報結果,Codex 再進行彙總與驗證,形成可重複的 SimReady 世界建置流程。
未來展望
將 代理 AI 與 Omniverse 工具鏈深度整合,讓機器人研發人員不必再為「場景前處理」耗費大量時間。未來若能進一步擴充子代理的專業領域(如自動化感測器配置、動態障礙物生成),整個機器人訓練管線將更趨自動化與即時化。對於想要快速驗證新機械手臂或移動平台的開發者而言,這種 多代理工程工作流 有望成為標準作業模式,縮短從概念驗證到實機部署的週期。
