玉山銀行推GENIE 2.0全行AI規模化，月成本低於新臺幣5萬元

核心亮點

玉山銀行於 2024 年 9 月推出 GENIE 2.0，將全行 AI 入口升級為支援多模態（PDF、HTML、圖片、影音）與檢索增強（RAG）技術的平台。當前已有超過 3,600 名員工（佔全行逾三分之一）每月使用，月度 Token 用量突破 14 億，但 模型調用成本 仍控制在 新臺幣 5 萬元以下。

背景與技術演進

• GENIE 1.0（2024 年 1 月上線）以合規防護為核心，透過 DLP（資料防洩漏）機制過濾使用者輸入，僅在必要時以等值替代方式送至外部大型語言模型（LLM），避免機敏資料外流。
• 1.0 版整合十餘項生成式 AI 應用，涵蓋文字生成、會議紀錄、文件翻譯、法規搜尋、表格分析與客服情緒辨識等，並內建流量與財務管理機制。
• 2024 年 9 月的 2.0 版 在此基礎上加入多模態輸入、RAG 檢索增強、LLM Hub（自選模型或自動匹配）以及 Prompt 模板庫，將法規查詢時間從 20 分鐘縮短至 30 秒。

成本控制兩大關鍵

1. 需求導向的模型選擇：平台會自動依使用情境挑選最適合且成本較低的模型，避免每次都呼叫高價位的高階模型。

2. 嚴格的 FinOps 管理：GENIE 內建 FinOps（財務運營）模組，提供細緻的用量統計與即時成本警示。每項服務上線前設定預算，若每週成本超過警戒值即時通知負責團隊，並透過每月 FinOps 會議檢討，必要時以大宗議價降低模型費用。

影響與未來展望

• 工作流程深度綁定：資料科學總監廖子慧指出，員工已習慣同時開啟 GENIE 視窗，AI 成為日常決策與文件處理的必備工具。
• 組織化 AI 能力建構：自 2023 年起，玉山從高階主管到中階主管皆完成系統化 AI 培訓，形成全行共同的語言與能力基礎。
• 向 3.0 版邁進：預計於 2026 年底推出 GENIE 3.0，全面導入 Agentic AI，從「AI 輔助」轉向「人機協作」的代理式銀行（Agentic Banking）願景。

結語：GENIE 2.0 以低成本、合規安全與高效能的組合，示範了金融機構在生成式 AI 時代的可行路徑。未來，若其他銀行能仿效其「需求導向模型選擇」與「FinOps 成本治理」的雙軸策略，將更容易在嚴格監管下實現 AI 大規模落地。