How to Choose Full-Stack Observability for NVIDIA AI Factories

如何為英偉達 AI 工廠選擇全棧觀測性

英偉達 AI 工廠是指使用英偉達的 GPU （圖形處理器）和相關技術來建立的人工智慧計算平台。當這些平台的效能惡化時，找到問題的根源可能會很困難，因為在一個層面上觀察到的症狀可能源於棧疊中的其他地方。因此，需要一個全棧觀測性策略來連接不同層面的遙測數據，幫助基礎設施和運營團隊檢測問題、隔離其原因，並保持可靠的 AI 工作負載。

背景分析

AI 基礎設施橫跨多個層面，從 計算 和 網絡 到 儲存 、 管弦樂 和 應用程序 。當效能惡化時，可能很難找到問題的根源，因為在一個層面上觀察到的症狀可能源於棧疊中的其他地方。例如，在一個分佈式訓練工作中， GPU 利用率和隊列等待時間可能正常，但是在六小時後，輸出量會降低，團隊可能需要花費許多時間來找出問題的根源。

全棧觀測性框架

為了解決這個問題，需要一個全棧觀測性框架，來連接不同層面的遙測數據。這個框架應該包括以下幾個部分：

• 元件映射 ：將元件映射到遙測源，例如 NVIDIA Data Center GPU Manager （DCGM）、 NVIDIA System Management （NVSM）等。
• 工具選擇 ：根據元件和遙測源選擇合適的工具，例如 NVIDIA Unified Fabric Manager （UFM）、 NVIDIA NetQ 等。
• 警報設定 ：設定警報，以便在問題發生時能夠及時發現和處理。

實踐應用

在實踐中，需要根據具體的情況來選擇合適的工具和設定警報。例如，在一個分佈式訓練工作中，可能需要使用 NVIDIA Collective Communications Library （NCCL）來監控 GPU 之間的通信，同時也需要使用 NVIDIA NetQ 來監控網絡的性能。

未來展望

隨著 AI 技術的發展，對於全棧觀測性的需求將會越來越大。因此，需要不斷地更新和改進全棧觀測性框架，來滿足新的需求和挑戰。同時，也需要加強基礎設施和運營團隊的培訓和教育，來確保他們能夠有效地使用全棧觀測性工具和技術。