預計閱讀 1 分鐘原文來源
跨車系感知堆疊調整的挑戰與合成資料解方
在自動駕駛領域，感知堆疊（perception stack）必須依附於所安裝的車輛。將同一套軟體從 SUV 移植至轎車，或是同一平台的其他變體，感測器的安裝位置、校正參數、視野範圍、遮蔽情況、車身幾何形狀、時間同步與覆蓋率等，都會隨之改變。舉例來說，紅綠燈在畫面中的位置可能會移至不同的角落；路緣石（curb）可能變得較難辨識；靠近視野邊緣的行人則可能變得模糊不清。即使底層的感知演算法保持不變，這些硬體差異仍會直接影響系統的世界模型。
為何傳統資料收集已不敷使用？
- 成本高昂：每條車系都需要重新收集實車行駛資料，並進行標註（labeling），耗費大量人力與時間。
- 開發時程受限：新車系在概念驗證階段往往尚未量產，實車車隊尚未到位。
- 稀有情境難捕：惡劣天氣、特殊路況等罕見情境在短時間內難以取得足夠樣本。
因此，雖然實際駕駛資料仍是驗證系統效能的根本，但合成資料（synthetic data）可在目標車系完整資料尚未齊備前，協助模型快速適應新硬體配置。
NVIDIA Omniverse NuRec 的解決思路
NVIDIA 的 Omniverse NuRec 透過以下流程，使跨車系感知調整更具可行性：
-
以實車行駛資料為基礎，利用 3D 高斯點雲（3D Gaussian splatting）重建真實環境。
-
重新投影（render）成目標車系的相機視角，產生全新相機串流。
-
後製精緻（refine）渲染畫面，確保光照、材質與真實感相符。
-
匯出資料，供感知模型（例如物件偵測、車道辨識）進行再訓練。
NuRec 內建的兩大功能——場景重建與多視角渲染——正是支援車系適配的關鍵。開發團隊只要將既有的實車資料套用於目標相機陣列，即可在不需額外收集實車資料的情況下，產出符合新車身幾何與感測器布局的訓練樣本。
具體資源與操作流程
- Physical AI NuRec Dataset：於 Hugging Face 平台提供 1,500 多個神經重建的駕駛場景，每段長約 20 秒，原始資料來自六個相機視角（前寬 120°、前遠攝 30°、左右交叉 120°、後左/右 70°）。
- 取得方式：接受授權條款、使用 Hugging Face Token 下載單一場景。
- 開發工具：可從 NVIDIA/nurec‑skills 倉庫克隆程式碼，內含下載資料、渲染與影格精緻的腳本。
透過上述四步驟，開發者即可在既有資料上「換裝」新感測器組合，快速生成適用於新車系的感知訓練集。
未來展望
隨著 合成資料生成技術 越趨成熟，跨車系感知堆疊的適配成本將大幅降低。未來可能出現：
- 即時場景重建：在車輛開發早期即能即時產出目標車系的感測器視圖。
- 自動化標註：結合 AI 生成的語意分割與深度資訊，減少人工標註需求。
- 跨平台共享：不同車廠或平台可共享同一套重建場景，促進產業合作與標準化。
對於自動駕駛研發團隊而言，善用 NuRec 之類的合成資料平台，不僅能縮短新車系的感知驗證週期，也能在安全性與可靠度上保持與實車測試同步的高標準。
分享