NVIDIA BioNeMo MoE 食譜：提升大型語言模型效能的關鍵技術

隨著語言模型規模不斷膨脹，傳統的 密集式 transformer（每個 token 必須通過所有層）在訓練與推論階段的計算成本急速上升。Mixture‑of‑Experts (MoE) 架構則以「多子網路（專家）只啟用部份」的方式突破此瓶頸，成為大型語言模型（LLM）社群近年的焦點。

為何 MoE 受青睞？

MoE 透過在同一層中同時保留多個專家，僅讓每個 token 走訪少數幾個專家，從而在 參數容量 上取得線性擴張，同時保持計算量相對穩定。然而，若實作不佳，會出現三大障礙：

GPU 利用率下降 – 專家計算被切割成零散的 kernel，導致硬體資源閒置。
路由通訊開銷 – 把 token 分配給不同專家需要額外的資料傳輸。
記憶體與分散式訓練挑戰 – 大量參數佔用 GPU 記憶體，且在多機環境下同步困難。

NVIDIA Transformer Engine（TE）如何破解瓶頸

NVIDIA 針對上述問題推出 Transformer Engine (TE)，提供一系列優化原語（primitives），包括：

GroupedLinear：將多個線性變換合併為一次呼叫，透過彙集各專家的權重與輸入 token，使用 TE 的分組 GEMM（矩陣乘法）路徑，減少 kernel 啟動與排程開銷。
MXFP8：以 8 位元浮點格式（FP8）進行量化，顯著降低記憶體佔用，同時保持訓練精度。
GroupedMLP：將量化、SwiGLU（激活函數）以及路由權重縮放等步驟融合於單一 kernel，進一步提升資料流動效率。

BioNeMo MoE 食譜的實作要點

保留每個專家的獨立權重（如 weight0、weight1），但在前向傳播時以 GroupedLinear 一次性送入 GPU。
傳入每個專家的 token 數量（split_sizes），讓 TE 能根據實際負載動態調整分組 GEMM。
結合 MXFP8 量化，在保持模型容量的同時將記憶體需求降至原本的約 1/4。
使用 GroupedMLP，一次完成量化、激活與路由權重的縮放，避免多次資料搬移。

相較於 Hugging Face 基線的 Python 迴圈逐一呼叫每個專家，這套食譜將「門控上投影」與「專家計算」合併為單一分組操作，顯著提升 GPU 效能與訓練吞吐量。

未來展望與讀者啟示

隨著生物資訊基礎模型（如基因組學、蛋白質結構預測）在參數規模與序列長度上持續突破，MoE + TE 的組合將成為降低成本、提升效能的關鍵路徑。讀者若正考慮在自家叢集或雲端環境部署大型生物語言模型，建議先行評估 GroupedLinear 與 MXFP8 的相容性，並以 BioNeMo MoE 食譜 為藍本，逐步替換傳統密集層，方能在保持模型表現的同時，獲得更佳的資源利用率與訓練速度。

關鍵詞：Mixture‑of‑Experts、Transformer Engine、GroupedLinear、MXFP8、GroupedMLP、BioNeMo、GPU 效能、分組 GEMM、SwiGLU。