使用執行追蹤優化 AI 代理行為與效能

在 AI 代理（Agent）完成任務時，表面上「正確」的答案往往隱藏了許多不必要的步驟：重複搜尋、檔案讀取被截斷後再次讀取、或是因工具錯誤而觸發的重試。這些低效率不僅延長延遲、消耗代幣（Token），更增加失敗的機會。要真正提升代理的表現，開發者必須同時檢視任務是否成功以及代理是如何完成任務。

執行追蹤的核心概念

NeMo Relay：NVIDIA 提供的觀測層，讓代理開發者以統一方式記錄模型與工具的執行。它會在工作開始與結束時產生生命週期事件，保留時間戳與父子關係。
Hermes Agent：一套常見的代理框架，內建 NeMo Relay，將會話（session）、回合（turn）、模型呼叫與工具呼叫全部映射到 Relay 的層級結構中。
ATIF / ATOF：ATIF（Agent‑Tool‑Interface‑Request）僅說明模型要求執行的工具；ATOF（Agent‑Tool‑Operation‑Feedback）則提供工具的開始、結束事件以及可能的錯誤，兩者以相同的 uuid 連結，parent_uuid 則說明工具呼叫的上層來源。

案例：從執行追蹤驗證任務

本教學以兩個 Hermes Agent 範例搭配 NeMo Relay 進行實驗。第一個範例僅執行一段 Python 程式，該程式在隔離的 Docker 容器內輸出 VALUE=42，提供確切的成功檢查點。成功執行即證明：

Hermes 已正確連線至模型。
終端工具（terminal tool）在沙箱環境中被呼叫。
Relay 產生了完整的追蹤檔案，內含模型請求、工具參數、執行時長與代幣使用情形。

透過檢視 ATOF 事件，可確認工具的開始與結束是否配對，若出現錯誤或重試，相關事件會以 uuid 與 parent_uuid 標示，協助開發者快速定位問題根源。

第二個範例加入網路搜尋與 Phoenix（文件檢索）功能，示範 Hermes ToolPerf 案例研究：在多次執行中比較不同 harness（框架）變更對任務成功率與效能的影響。只要把每次執行產出的追蹤資料匯總，即可量化每一步驟的代幣消耗與延遲，進而判斷哪種調整真正帶來效能提升。

安全治理與未來展望

NeMo Relay 不僅是除錯工具，更是證據層（Evidence Layer）：企業、審核單位或安全系統可依賴結構化的追蹤與軌跡，進行行為稽核、政策評估與控制優化。未來，隨著更多專屬安全外掛（Security Plugin）與自動化政策引擎的整合，執行追蹤將成為 AI 代理部署的必備基礎設施。

結語：透過執行追蹤，開發者不再只能靠最終答案判斷成功與否，而是能完整洞悉代理的每一次模型呼叫與工具操作。這不僅提升效能、降低代幣成本，更為 AI 代理的安全治理奠定可驗證的基礎。若您正著手建置或優化 AI 代理，建議立即導入 NeMo Relay 觀測框架，將「看得見」的執行資訊轉化為持續改進的動能。