DSpark 加速大型語言模型推理：新草稿模型釋出

核心要點

OpenAI 釋出 DSpark 草稿模型，為 LFM2.5 系列的三款模型（LFM2.5‑1.2B‑Instruct、LFM2.5‑2.6B、LFM2.5‑8B‑A1B）加入 投機解碼（speculative decoding）路徑。只需少量記憶體增加，即可在 CPU 與 GPU 上大幅提升推理速度，且輸出品質保持與傳統貪婪解碼相同。

背景與技術原理

大型語言模型（LLM）推理的解碼階段長期受限於 記憶體帶寬：大部分延遲來自將權重從 DRAM 讀入 SRAM，而非計算本身。DSpark 透過一個輕量級的 草稿模型（約 3 億參數，5 層注意力）先產生候選 token，然後讓目標模型在一次前向傳播中一次驗證多個候選，從而共享權重載入成本。若草稿 token 與目標模型分布相符即被接受，否則由目標模型自行產生 token，最終序列與基線貪婪解碼完全一致，benchmark 準確度不受影響。

效能驗證

• 測試平台：MacBook Pro M4 Max（使用 llama.cpp、FP16 GGUF、Metal）與單卡 NVIDIA H100 80 GB（使用 SGLang、BF16）。
• 設定：DSpark block size 為 9、batch size 為 1、溫度為 0，測試 256 token 輸出。
• 結果：三款草稿模型在 H100 與 M4 Max 上皆展現明顯吞吐量提升。特別是 LFM2.5‑2.6B，在 MacBook 上的輸出速度達 約 140 token/秒，遠超多數私有雲端模型。於多工具情境下，DSpark 平均將 LFM2.5‑2.6B 的延遲降低 57%。
• 兼容性：草稿模型即支援 llama.cpp（基於官方程式碼、搭配實驗性 Metal kernel）與 SGLang（官方 DSpark 實作），提供「第一天」即能使用的體驗。

未來展望

DSpark 的投機解碼概念證明，記憶體瓶頸可以透過模型層級的預測與驗證機制有效緩解。未來若將草稿模型進一步精簡或結合更大規模的資料多樣性，或可在行動裝置與邊緣伺服器上實現近乎即時的對話回應。對於開發者而言，掌握 DSpark 的部署方式，將有助於在成本與效能之間取得更佳平衡，尤其在資源受限的環境中，將大型語言模型的實用性提升至新高度。