DeepMind 推出雙盲加密測試 防止 AI 基準汙染
Google DeepMind 最近與新加坡 AI 安全研究院（AI Safety Institute）等合作夥伴，啟動了一項 雙盲加密測試（double‑blind evaluation）計畫，針對其 Gemini Flash Lite 系列的前沿 AI 模型進行嚴格驗證。此舉旨在根除「基準汙染」── 模型在訓練階段已經見過測試題目，導致評分失真，甚至「完美」成績也失去意義。
為何需要雙盲機制？
在傳統的外部評估中，常見兩種妥協：
-
測試方交出題目：評估者必須把測試提示（prompts）提供給模型開發者，讓模型有機會事先「看到」題目。
-
模型方交出權重：開發者必須交出完整的模型權重（model weights），以便評估者在本地執行測試，卻冒著知識產權外洩的風險。
兩者皆無法同時保護測試資料的機密與模型的智慧財產。Anthropic 在 ARC‑AGI 基準測試中因其 30 天資料保留政策而延遲評估，就是此類困境的典型案例。
加密「盒子」的技術核心
DeepMind 這次採用了 Google Cloud 的 Confidential Space（機密運算）技術，將測試資料與模型分別封裝在兩個加密「盒子」中，並以零知識證明（zero‑knowledge proof）驗證雙方均未泄露對方內容：
- 測試資料：由第三方評估機構持有，經加密後僅能在受信任的執行環境中被模型存取，評估者永遠看不到模型權重。
- 模型權重：Google 只在同樣受保護的環境中載入，且不會取得測試題目內容。
此雙盲設計消除了以往的「交叉妥協」——既不需要交出測試提示，也不必交出模型權重，從根本上防止了基準汙染。
可能的影響與應用範圍
-
提升測試可信度：加密驗證確保模型在未見過測試題目的前提下完成評分，使得成績更具參考價值。
-
保護敏感領域：對於 網路安全、政府機構或醫療資料等高度機密的測試，加密雙盲可避免資料外洩，同時讓獨立機構放心驗證模型。
-
促進產業標準：DeepMind 期望此方法能成為未來 AI 模型監督的「新標準」，推動整個產業朝向更可靠、可驗證的方向發展。
未來展望
隨著大型語言模型（LLM）與生成式 AI 的快速迭代，基準測試的公正性將成為衡量技術成熟度的關鍵指標。雙盲加密測試提供了一條兼顧 資料主權（data sovereignty）與 智慧財產（intellectual property）保護的可行路徑。若此技術能在更多領域普及，未來的 AI 評估將不再受限於「看不見」或「看不到」的兩難局面，業界與監管單位也將有更堅實的依據，建立起對先進模型的廣泛信任。
結語：DeepMind 的雙盲加密測試不僅是一次技術創新，更是 AI 評估流程的制度性突破。對於關注模型安全與公平性的讀者而言，這代表著未來 AI 產品在透明度與可信度上將迎來全新里程碑。