Cloudflare 推出「禁止 AI 訓練」設定 保留搜尋可見性同時阻止內容被訓練
核心重點
Cloudflare 今日正式推出 Disallow AI Training（禁止 AI 訓練）設定，讓網站在仍被搜尋引擎編入索引的前提下，拒絕同一爬蟲用於 AI 模型訓練。Apple、Google、Microsoft 已承諾在規定時間內遵守此設定。
背景與影響
長久以來，網站業者面臨兩難：若允許內容被 AI 訓練，可能提升搜尋能見度；若拒絕，則可能被搜尋引擎排除。這是因為大型網路公司常使用 mixed‑use crawler（混合用途爬蟲），同時負責搜尋與 AI 訓練，同時拒絕其中一項即等於拒絕另一項。
根據 Cloudflare 的統計，不到 1% 的站點會阻擋搜尋機器人，而 17% 的站點則會啟用某種機制阻止 AI 訓練。顯見網站所有者需要更細緻的控制，而非單一的「封鎖 AI」選項。
傳統的 robots.txt 指令只能說明「不允許爬取」，卻無法辨識爬蟲身分、爬取目的，也無法阻止不遵守規則的爬蟲。Cloudflare 以其全球網路為基礎，除了發布網站的偏好設定外，還能辨識爬蟲來源、判斷其目的，對違規者直接封鎖，並在 Radar（雷達）平台上報告各運營商的實際行為。
未來展望
Cloudflare 亦在規劃針對 AI Summaries（AI 摘要）提供更彈性的控制，讓站長能設定內容在摘要中出現的比例，而非僅有「全部」或「全部不出」的二元選擇。為了提升透明度，Cloudflare 推出 Accountable（負責任）標章，要求爬蟲運營商必須具備即時辨識、尊重設定與公開承諾等能力。Apple、Google、Microsoft 已通過此認證，表示未來將在技術與時程上同步落實。
對網站經營者而言，這項新設定意味著 不必再在搜尋能見度與內容保護之間妥協。只要在 Cloudflare 後台啟用「禁止 AI 訓練」即可，同時保留搜尋流量，並獲得對方是否遵守的可視化報告。未來隨著更多爬蟲加入「Accountable」行列，網站所有者將更有信心掌控自家內容的使用方式。