核心概述
NVIDIA Cluster Readiness Engine (NVCRE) 以開源 Kubernetes 控制器的形態，讓 GPU 叢集在正式投入 AI 工作負載前即可完成 工作負載驅動驗證。透過在拓撲感知的節點群組上執行真實分散式任務，測量效能與健康狀態，並精確回報每一台節點的測試結果，讓叢集的「就緒」不再是假設，而是可驗證的屬性。
背景與問題
傳統的 GPU 叢集即使通過所有健康檢查，仍可能在 512‑GPU 大規模訓練時表現不佳或直接失敗。常見根因包括：
- 單顆 GPU 效能下降
- 網路連結在高負載下衰減
- 配置不當導致流量走向較慢路徑
這類問題往往在作業執行數小時後才被使用者或客戶回報，導致運維團隊需花費數天時間手動排查、分割機架，甚至在容量閒置期間無法提供服務。
NVCRE 的解決方案
NVCRE 透過以下機制縮短問題定位時間：
-
工作負載驅動測試：直接在叢集上跑分散式 AI 工作負載，而非僅依賴單機診斷工具。
-
自動化 NCCL（NVIDIA Collective Communications Library）設定：不必手寫 NCCL Manifest，亦不需人工配置 RDMA、共享記憶體卷等資源。
-
階段式就緒模型：叢集會依序通過 bring‑up、burn‑in、pre‑production、production 四個階段，每階段設定不同的合格門檻。
-
CRD（Custom Resource Definition）層級結構：
-
Certification：代表一個測試類別的認證流程。
-
Workflow：Certification 之下的子工作流，負責產生實際測試工作。
-
Job：最底層的測試實例，記錄哪台節點失敗及失敗原因。
-
測試結果會自下而上彙整，最終在 Certification 層級呈現每個類別的合格與否，並明確指出是 gpu‑01 在 NCCL 階段出現硬體故障，或 gpu‑02 未達帶寬目標等細節。
影響與未來展望
- 降低停機時間：在正式投入前即發現瓶頸，避免生產環境中斷。
- 簡化運維流程：不必維護額外的腳本或手動 runbook，所有測試皆以 GitOps 方式管理。
- 提升叢集利用率：透過標準化的就緒驗證，資源可更快投入實際 AI 訓練或推論工作。
未來，隨著更多 AI 框架與雲端平台支援 NVCRE 的原生整合，GPU 叢集的部署與維護將更加自動化與可靠，為大型模型訓練提供堅實的基礎設施保障。