開放安全AI聯盟提出AI事件共享指引SAFE草案

開放安全AI聯盟提出AI事件共享指引SAFE草案

由Nvidia、Linux基金會及多家科技業者共同推動的開放安全AI聯盟，近日提出了一份關於AI代理系統資安事件與調查發現的共同共享機制草案，名為共享AI發現交換（Shared AI Findings Exchange，SAFE）。這一草案的提出，旨在建立一個AI安全的完整堆疊，包括身分、權限、模型、執行框架到評估工具，從而提升AI系統的安全性。

背景與影響

開放安全AI聯盟是在近期由Nvidia、Hugging Face、微軟等大廠及Linux基金會宣布成立的。該聯盟的成立，正是為了應對AI安全面臨的挑戰。AI代理人不僅是一個模型，而是一個系統，需要確保代理人系統不能只有漏洞掃描，還必須做到身分控制、執行框架、護欄、日誌和評估。目前，該聯盟已有超過120家企業及組織加入。

SAFE草案的提出，是聯盟成員貢獻的最新進展。這一草案包含關於確實蒐集和分析AI事件與差點發生的事件、通知受影響對象、辨識重複出現的控制失敗原因的相關方法，並且公布有證據支持的作業建議，以降低未來的系統性風險。這一草案的內容，對於提升AI系統的安全性有著重要的意義。

技術貢獻

除了SAFE草案的提出之外，聯盟成員還貢獻了許多技術成果。例如，Nvidia已貢獻了Nvidia Labs Object-Oriented Agent（NOOA）研究框架、OpenShell執行環境、開放模型家族，包括代理人用的Nvidia Nemotron、實體AI用的Cosmos、機器人用的Nvidia Isaac GR00T、醫療生技用的BioNeMo、以及自駕車用的Alpamayo等包括模型、權重、資料集和訓練方法。此外，Nvidia還開源了驗證過的代理人技能及其指令集、NeMo Guardrails、NeMo Anonymizer和NeMo Safe Synthesizer與LLM漏洞掃描工具Garak。

其他成員，例如Okta、Palo Alto Networks、Red Hat、Amazon、Wiz及微軟，也分別貢獻了身分管理、代理執行框架、授權控制及漏洞研究工具。這些貢獻，對於建立一個完整的AI安全堆疊有著重要的意義。

未來展望

開放安全AI聯盟的成立和SAFE草案的提出，標誌著AI安全領域的一個重要發展。未來，AI安全將成為一個更加重要的議題，各個企業和組織需要共同努力，才能提升AI系統的安全性。通過開放安全AI聯盟的努力，未來我們可以期待看到更多的技術貢獻和安全解決方案的出現，從而促進AI技術的健康發展和安全應用。