Moonshot AI 發佈 Kimi K3，一個 2.8 萬億參數的專家混合模型

Moonshot AI 發佈 Kimi K3，一個 2.8 萬億參數的專家混合模型

Moonshot AI最近發佈了一個名為Kimi K3的專家混合模型（Mixture of Experts，MoE），這是一個具有2.8萬億參數的模型，代表著開放權重系統中首次達到3萬億參數級別的里程碑。Kimi K3提供了前沿級別的智慧，同時其權重公開可供組織自行部署於自己的基礎設施上。

Kimi K3 的架構與特點

Kimi K3採用了一種區別化架構，特色包括Kimi Delta Attention（KDA）、Gated Multi Head Latent Attention（MLA）以及Stable LatentMoE框架。這個模型將其2.8萬億參數分佈在896個專家模組中，每個Token只激活16個模組。這意味著在任何單一前向傳遞中，大約只有104億參數是活躍的，相比其前身Kimi K2，擴展效率提高了2.5倍。

部署Kimi K3

部署Kimi K3需要大量的GPU計算資源。Moonshot AI提供了兩種在AWS上部署Kimi K3的方法：使用Amazon SageMaker HyperPod和Amazon Elastic Kubernetes Service（Amazon EKS）叢集。由於模型的龐大尺寸，服務Kimi K3需要一個vLLM day-0推理容器，該容器提供了對MoE架構、張量平行和MXFP4量化格式的原生支持。

未來展望

Kimi K3的發佈代表著人工智慧領域的一個重大進步，其長視野編碼、代理工作流和複雜推理能力將為各個行業帶來新的機遇。隨著技術的不斷進步，我們可以預期未來會有更多創新的應用和模型出現。對於組織和開發者而言，掌握這些先進技術和模型將是保持競爭力和推動創新 的關鍵。因此，了解和跟蹤這些發展將對於任何對於未來科技趨勢感興趣的人來說都是非常重要的。