紐約市議會推動 AI 安全法案 要求第三方驗證與人工關閉 OpenAI、Anthropic、Google、Meta 受召證言

紐約市議會推動 AI 安全法案　第三方驗證與人工關閉成關鍵

10 月 5 日，紐約市議會舉行「AI 安全風險」聽證會，OpenAI、Anthropic、Google 與 Meta 四大業者透過視訊以宣誓方式接受質詢。會中，議員同時審議多項 AI 監管草案，其中最受矚目的是要求在紐約市行銷、販售或部署的 AI 模型必須先通過獨立第三方驗證，且必須具備人工關閉機制。

背景與草案要點

• 第三方驗證：驗證機構將檢查模型的效能、資料來源與處理方式、偏誤（bias）分析、隱私保護與資訊安全等項目。若未取得驗證或缺乏人工關閉功能，業者可能面臨民事罰款。
• 人工關閉能力：草案要求模型必須能被人類操作人員暫時或永久停止運作，防止「失控」情況。此規定直接回應近期大型模型因生成不當內容或錯誤判斷而引發的安全爭議。
• 資訊揭露與事故通報：其他草案規定，涉及 AI 的市府合約業者必須在 24 小時內向市府資安單位通報符合條件的安全事故；同時設置檢舉獎勵機制，鼓勵民眾或企業舉報違規行為，檢舉者可取得追回罰款的一部份。

業者回應與議會焦點

• OpenAI 代表 Morgan Dwyer 在被問及「AI 造成災難性後果的機率」時，未提供具體數字，僅表示無論風險是 1%、10% 或 20% 都不可接受，並強調不應訓練無法證明仍受人類控制的模型。
• Anthropic 代表 Logan Graham 表示，州與地方政府可參與制定 AI 規範，該公司支持「適當的監管措施」，暗示願意配合驗證與關閉機制的要求。
• Google 與 Meta 亦在同一會議中以視訊方式作證，雖未透露具體回應內容，但其參與本次聽證已顯示大型科技公司開始正視地方層面的監管壓力。

可能的影響與未來走向

此草案若最終通過，將成為美國城市層級首例強制第三方驗證與人工關閉的 AI 法規，可能帶來以下幾點影響：

1. 合規成本上升：業者需投入資源聘請或委託獨立驗證機構，並在系統設計上加入可人工關閉的安全開關。

2. 市場門檻提升：小型新創若無法負擔驗證費用或技術改造，可能被排除在紐約市市場之外，進一步集中市場份額於大型企業。

3. 監管示範效應：若紐約成功執行，其他州或城市可能仿效，形成全美範圍的分散式 AI 法規網絡，對聯邦層面的立法形成壓力。

結語：從地方到全國的 AI 安全新篇章

紐約市議會的這波立法行動，標誌著 AI 風險管理正從「技術自律」轉向「制度強制」的階段。對於業者而言，除了提升模型透明度與安全設計，更需要在合規策略上提前布局；對於民眾與政策制定者，則是一次檢視 AI 可能帶來「重大傷害」風險的契機。未來，隨著更多地方政府加入類似規範，AI 產業的發展將不得不在創新與安全之間找到更平衡的切點。