AI 代理評估：從單一函式呼叫到完整任務基準
在部署 AI 代理 時，最關鍵的問題不再是模型的語意是否正確，而是它能否在真實環境中，依序呼叫多達數十個工具，完成整個工作流程，且在任一步驟失敗時具備自我恢復的能力。僅靠「模型聽起來對不對」的分數，幾乎無法反映工作是否真正完成。
為何評估必須升級？
早期的測試平台（harness）多針對靜態任務設計，模型與評估流程是分離的，稱為「模型不可知、開源的 harness」。然而 代理（agent）會在多步驟任務中不斷呼叫工具、處理錯誤、觀察結果，單一輸出字串已無法涵蓋其行為。
伯克利函式呼叫排行榜（Berkeley Function‑Calling Leaderboard, BFCL）首次針對單次或多回合的函式選擇與參數正確性給分，但它仍只評估單一呼叫。若代理在後續的檢查或更新環節跳過，仍會被視為「成功」呼叫，顯示「呼叫正確」是必要條件卻不足以保證任務完成。
完整代理評估的兩層結構
-
步驟層級（Step‑level）
-
逐步追蹤每一次工具呼叫與環境狀態。
-
讓開發者在除錯或微調時，明確看到哪一步斷裂。
-
-
端到端層級（E2E, End‑to‑End）
-
把所有步驟的結果彙總為「任務成功」或「任務失敗」。
-
這是使用者實際體驗的指標，也是大多數產品上線前的門檻。
-
兩者共享同一個 trace（追蹤紀錄）：從使用者訊息、每一步工具呼叫，到最終環境狀態的完整時間序列。步驟層級評分檢視每一列（process scoring），端到端評分則檢視最終狀態（final state scoring）。
工具呼叫基準的三大評分項目
-
是否決定使用工具（tool‑use decision）
-
選擇正確的工具（tool selection）
-
填入正確的參數（argument filling）
若模型在直接回答會失敗時仍嘗試使用工具，或在需要工具時卻跳過，皆會受到懲罰。成本與延遲則由呼叫的冗長度（verbosity）與執行時間決定。
評估層級與指標
每一次執行會依固定階層彙總：
Benchmark → Trial → Task → Turn → Step
- Step：通常是一個工具呼叫。
- Metrics（指標）：最終可歸納為 準確度（accuracy）、冗長度（verbosity）、成本（cost） 三個軸向。
配對關係不可忽視：高成功率卻缺乏一致性，只是隨機系統的點估計；僅有工具呼叫精準度卻忽略參數正確性，會隱藏填槽失敗的風險。不同模型在同一任務上，步驟數 常是變化最大的因素。
未來展望
隨著代理應用從客服機器人延伸至自動化程式編寫、資料分析等複雜領域，完整執行環境 成為評估的必備基礎。未來的基準測試將更注重：
- 動態錯誤恢復：測試模型在中斷後的自我修復能力。
- 跨工具協同：評估多種工具同時協作的效能與衝突處理。
- 成本效益模型：在保證任務成功的前提下，最小化計算資源與時間消耗。
對於開發者與企業而言，掌握步驟層級與端到端兩種分數的差異，才能在迭代過程中精準定位瓶頸，最終交付既可靠又具成本效益的 AI 代理服務。