數學家雅各布·西梅爾創立 AI 安全研究所 追求可證安全

數學家雅各布·西梅爾創立 AI 安全研究所 追求可證安全

**加拿大數學家雅各布·西梅爾（Jacob Tsimerman）**剛剛榮獲菲爾茲獎，便宣布在舊金山灣區成立 數學人工智慧安全研究所（Mathematical A.I. Safety Institute，簡稱 MAISI）。根據《紐約時報》報導，MAISI 計畫於 2027 年 1 月正式啟動，首批將招募 10 至 30 名數學家，專注解決人工智慧（AI）安全的基礎理論問題。西梅爾同時也將加入 OpenAI 的安全團隊，並指出目前 AI 安全的標準遠遠不足，亟需「更高、更嚴格」的安全要求。

背景與挑戰

在密碼學領域，加密方案可以透過數學證明保證「不可破解」——不必實際嘗試所有可能的攻擊方式。然而，對於 AI 系統，尚未有類似的「可證安全」方法。現階段的安全性往往只能在實際運作中觀察，且學術界甚至尚未對「安全」給出明確的定義。這種缺口讓 AI 在部署時容易產生不可預期的風險，例如模型輸出錯誤、跨代理協作導致意外行為，或是潛在漏洞被惡意利用。

MAISI 的研究方向與方法

MAISI 的核心目標是 「讓 AI 系統的安全性可以被數學證明」，具體包括三大面向：

1. 負責任的行為與正確結果

   透過形式化驗證（formal verification）證明模型在所有可能的輸入下，都不會產生違背倫理或安全原則的輸出。

2. 多代理協同的安全性

   研究多個 AI 代理同時運作時的交互行為，確保系統不會因協同而觸發未預期的負面結果。

3. 未知漏洞的韌性

   探索系統在尚未被發現的攻擊面前仍能保持穩定的數學條件。

在工具選擇上，MAISI 可能會採用 零知識證明（Zero‑Knowledge Proof）——一種讓系統在不洩漏內部機密（例如模型參數或訓練資料）的前提下，向外部驗證者證明「我沒有作弊」的技術。此類證明若能成功應用於 AI，將大幅降低企業在分享安全保證時的商業顧慮。

未來展望

MAISI 的成立標誌著 數學與人工智慧安全的跨領域融合 正式進入實驗階段。若能在未來數年內建立起可驗證的安全框架，將為 AI 的大規模部署提供更堅實的基礎，也可能促使政策制定者參考更嚴謹的技術標準。對於業界與學界而言，這不僅是一次理論上的突破，更是實務上降低風險、提升公眾信任的關鍵一步。

讀者啟示：在 AI 技術快速演進的同時，安全的「可證」性將成為競爭新焦點。關注 MAISI 的研究進展，或許能提前掌握未來 AI 安全的核心趨勢。