核心概念：擴散式語言模型的崛起
擴散式語言模型（Diffusion LLM） 以「一次生成整段文字、逐步去噪」的方式挑戰傳統 自回歸模型（autoregressive model）。自回歸模型必須左至右逐 token 產出，雖然效能卓越，卻在速度、錯誤修正與雙向上下文利用上受限。擴散模型則先給予一個隨機的文字雛形，然後在多個迭代步驟中不斷精煉，最終得到高品質的輸出。這種「全序列同時生成、可調步數」的特性，使得使用者能在速度與品質之間靈活取捨，且每一步都能參考完整的雙向語境。
背景與技術演進
擴散模型最早在影像領域以 高斯擴散（Gaussian diffusion） 成熟——模型從純噪聲開始，逐步去除噪聲直至形成清晰圖像。將此概念搬移至離散文字資料，需要解決「噪聲」的離散化問題。研究者從 簡易遮罩擴散（masking diffusion） 出發，發展出 迭代精煉（iterative refinement）、後訓練（post‑training） 以及 可變長度生成（variable‑length generation） 等技術，使模型能在不同長度的句子上保持穩定表現。
2024 年，擴散模型在品質上首次與自回歸模型持平，成為關鍵轉捩點。兩年後，2026 年，業界已陸續推出商業化產品：Mercury 2（Inception Labs）、Gemma Diffusion（Google）以及 Nemotron Diffusion（NVIDIA）。這些開源模型的建構皆以上述技術堆疊為基礎，證明擴散式生成已從學術概念走向實務應用。
產業影響與未來展望
- 速度與品質的彈性：使用者可依需求選擇少步驟快速生成或多步驟高品質輸出。
- 錯誤即時校正：在迭代過程中，模型能自行發現並修正語意或語法錯誤，降低後處理成本。
- 雙向上下文利用：每一步都能同時參照前後文，提升長篇敘事與程式碼生成的連貫性。
未來，隨著 變分推斷 與 混合式擴散‑自回歸 的研究持續深化，擴散式語言模型有望在多語言、跨模態（文字＋影像）以及即時對話等場景中取得更大突破。對於關注生成式 AI 的讀者而言，掌握擴散模型的核心原理與最新實作，將是迎接下一波技術浪潮的關鍵。