Anubis 防護機制：使用工作量證明阻擋 AI 抓取

核心概述

Anubis 是一套由 Techaro 開發的網站防護機制，旨在阻止 AI 公司大規模抓取（scraping）網站內容。它採用類似 Hashcash 的工作量證明（Proof‑of‑Work）方案，要求訪客在瀏覽器中執行一定量的計算後才能取得頁面。對單一使用者而言，這筆額外負載幾乎感受不到；但對大量自動化抓取程式而言，成本會急速上升，從而降低惡意抓取的經濟效益。

背景與技術原理

隨著生成式 AI 迅速崛起，許多業者利用自動化工具大量擷取網路資料，以訓練模型或提供商業服務。傳統的 robots.txt、CAPTCHA 或 IP 封鎖已難以有效防禦，且往往會影響正常使用者體驗。Anubis 以工作量證明作為「妥協」方案：

1. 伺服器回傳一段需要計算的挑戰碼。

2. 瀏覽器利用 JavaScript 完成計算，並將結果回傳。

3. 若驗證成功，伺服器即放行頁面。

此機制的設計理念源自 1990 年代用於減少電子郵件垃圾訊息的 Hashcash，將「少量計算」的負擔分散到每一次請求上。對於少量正常流量而言，影響可忽略；但對於成千上萬的自動化請求，總計算量將遠高於伺服器承受上限，導致抓取成本大幅提升。

影響與挑戰

• 暫時性停機：若伺服器負荷過高，Anubis 可能無法即時載入 JavaScript，導致使用者看到「無法載入」的訊息，等同於網站暫時下線。
• 相容性問題：Anubis 依賴現代 JavaScript特性，會被如 JShelter 等安全插件阻斷。使用者需暫時停用此類插件才能通過驗證。
• 使用者體驗：雖然工作量證明的計算時間極短（毫秒級），但對於低效能裝置或網路環境不佳的使用者，仍可能感受到延遲。
• 佔位解決方案：目前的設計仍屬「占位」型防護，未來目標是透過指紋辨識（fingerprinting）與無頭瀏覽器（headless browser）特徵（如字型渲染差異）直接辨別機器人，從而省去工作量證明的步驟，僅對高度懷疑的流量施加挑戰。

未來展望

Anubis 的出現顯示業界正試圖在保護網站資源與維持使用者友善之間取得平衡。隨著 AI 抓取技術持續演進，僅靠工作量證明或單一防護手段恐難長期奏效。未來可能的發展方向包括：

• 更精細的指紋辨識模型，利用瀏覽器渲染、硬體指紋等多層資訊快速篩選機器人。
• 動態挑戰機制，根據訪客行為即時調整計算難度，降低對正常使用者的影響。
• 跨站協作，建立共享的 AI 抓取黑名單或聲譽系統，提升整體防禦效能。

對於網站營運者而言，了解 Anubis 的工作原理與限制，並在必要時調整安全插件設定，是確保服務不中斷的關鍵。對普通網友而言，只要允許 JavaScript 執行，即可順利通過驗證，繼續享受網站內容。

結語：在 AI 時代，工作量證明提供了一條可行的短期防線；而長遠而言，結合指紋辨識與行為分析的多層防護，才是抵禦自動化抓取的根本之道。