NVIDIA AIPerf：加速大型語言模型效能測試的全新負載工具

NVIDIA AIPerf：加速大型語言模型效能測試的全新負載工具

在部署完模型、開始回應請求之後，「這樣快不快？」 常成為最難回答的問題。以往開發者會自行編寫 curl 指令、asyncio 腳本，或是臨時寫一個負載產生器。這些做法普遍面臨三大瓶頸：

1. 單一程序的效能上限

2. Python 的 GIL（全域解釋器鎖）限制併發度

3. 測試結果只能對照自建的參考基線，缺乏可比性

NVIDIA AIPerf 正是為了解決上述痛點而誕生。它是 GenAI‑Perf 的正式接班人，從頭重寫，設計上直接吸取了大規模 LLM（大型語言模型）基準測試的教訓。

實作範例：Qwen3‑0.6B + vLLM

本文以 Qwen3‑0.6B（可在單卡 GPU 上跑完）配合 vLLM（高效能推論服務）作為示範。選擇此模型的目的不是要比較其本身效能，而是展示 AIPerf 的測量流程；換模型或端點只需要改變一個旗標即可。

主要指令與參數說明

• --synthetic-input-tokens-stddev 0、--output-tokens-stddev 0

  → 把每個請求的 輸入/輸出 token 數 鎖定在 128，確保工作負載固定，符合常見的靜態基準。

• --extra-inputs min_tokens:128、--extra-inputs ignore_eos:true

  → 強制模型產生滿 128 個 token，避免模型自行提前結束（EOS）而導致吞吐量被低估。

• --streaming

  → 必須開啟才能測量 TTFT（首次回應時間） 與 ITL（解碼延遲）；若關閉，伺服器會一次性回傳完整回應，無法捕捉逐 token 的延遲資訊。

執行完畢後，AIPerf 會在終端列印一張 metrics 表，同時輸出 CSV 檔案。圖表中同時呈現 百分位延遲分布、每秒 token 數（throughput） 以及 請求層級統計，讓使用者一目了然地取得基線數據。

背景與影響

傳統的負載測試往往受限於測試工具本身的效能，導致測得的數字被「測試工具」所限制，難以反映真實伺服器的瓶頸。AIPerf 以 多程序、低延遲的客戶端設計，確保測試流量能飽和目標伺服器，而不會被客戶端拖慢。這對於 AI 雲端服務提供者、企業內部模型部署 以及 研究機構的基準比對 均具有重要意義：只需五分鐘的配置，即可得到可信、可重現的效能指標。

未來展望與讀者啟示

隨著模型規模持續擴大，效能測試的需求將更趨多樣化。AIPerf 已具備 旗標化切換 的彈性，未來可望支援更多推論框架（如 TensorRT‑Engine、DeepSpeed）以及自訂的 token 長度分布。對於關心模型部署效率的讀者而言，掌握一套 不受測試工具限制 的基準流程，是提升服務品質、降低運營成本的關鍵一步。建議在正式上線前，先以 AIPerf 建立 可比對的基線，再根據實測結果調校硬體與佈署策略，確保模型在真實流量下仍能保持理想的回應速度與吞吐量。