加速大型語言模型推論：投機解碼與草稿長度選擇指南

在大型語言模型（LLM）日益成為生成式 AI 核心的今天，推論速度與精度的平衡成為系統設計的關鍵挑戰。本文聚焦於「投機解碼」(speculative decoding) 這一加速技術，說明其運作機制、效能公式，並概述在 Pareto 前緣上選擇草稿長度（draft length）與驗證長度（acceptance length）的五項指引。

什麼是投機解碼？

投機解碼的核心概念是：先以一個 小型草稿模型 同步預測多個可能的後續 token（文字單位），再由 大型目標模型 以單次前向傳播的方式驗證這批 token。若目標模型在驗證過程中全部接受，則這些 token 直接寫入輸出；若在某個位置出現不匹配，驗證即在該處停止，後續的推論從錯誤點重新開始。由於最終只保留目標模型認可的 token，輸出序列與傳統逐字自回歸（autoregressive）完全相同，除非刻意放寬接受標準。

效能公式與關鍵參數

草稿長度 (D)：每輪目標模型驗證前，草稿模型所產生的候選 token 數量。
接受長度 (AL)：每輪目標模型實際接受並產出的 token 數，範圍為 (1 \le AL \le 1 + D)。
批次大小 (B)：一次處理的輸入樣本數。

投機解碼的加速比可表達為

[

\text{speedup}= \frac{T_{\text{verif}}(B)\times AL}{T_{\text{verif}}!\big(B!\times!(1+D)\big)+T_{\text{draft}}(B,D)}

]

其中 (T_{\text{verif}}(x)) 為目標模型驗證 (x) 個 token 所需時間，(T_{\text{draft}}(b,y)) 為草稿模型產生長度 (y) 的草稿所花費的時間。若忽略草稿模型的延遲，當

[

\frac{T_{\text{verif}}!\big(B!\times!(1+D)\big)}{T_{\text{verif}}(B)} < AL

]

成立時，即可保證加速效果。驗證階段的計算量隨 ((1+D)) 成正比，而記憶體存取量不變，故提升 (D) 的上限通常受目標模型的算力飽和點所限制。

五項選擇指引（概覽）

草稿模型容量與延遲：草稿模型越小、推論延遲越低，才能在不犧牲 (AL) 的前提下提升 (D)。
目標模型算力瓶頸：觀測 (T_{\text{verif}}(B!\times!(1+D))) 的增長曲線，選擇使算力利用率接近飽和但仍保持驗證時間穩定的 (D)。
批次大小 (B) 與硬體平行度：較大的批次能放大算力優勢，同時也會放大草稿產生的記憶體需求，需要在 GPU/TPU 記憶體上限內調整。
接受長度的期望分布：根據實際語料的 token 預測分布估算平均 (AL)，若模型在前幾個 token 的置信度高，可適度提升 (D)。
Pareto 前緣的權衡：在「速度」與「資源消耗」之間繪製曲線，選擇位於前緣且符合系統成本限制的 ((D, AL)) 組合。

結語與未來展望

投機解碼提供了一條在 不降低生成品質 前提下，顯著縮短 LLM 推論時間的道路。透過上述五項指引，工程師可以在硬體資源、模型規模與應用需求之間找到最佳平衡點。未來，隨著更高效的草稿模型與自適應驗證機制的出現，投機解碼有望成為大型語言模型在雲端服務與邊緣裝置上普遍採用的加速標準，進一步推動生成式 AI 的即時互動體驗。