AWS 推出 AgentCore 閘道器的速率限制

AWS 推出 AgentCore 閘道器的速率限制

Amazon Web Services（AWS）是全球最全面的雲端服務，讓組織能夠加速創新、降低成本、更有效地擴展。近日，AWS 宣布推出 AgentCore 閘道器的速率限制功能，讓使用者能夠更好地控制流量，防止服務過載。

什麼是 AgentCore 閘道器？

AgentCore 閘道器是一種完全管理的、無伺服器的 AI 閘道器，提供單一、安全的入口點給 AI 交通。它可以將流量路由到各種工具，例如管理的網路搜尋、管理知識庫、MCP 伺服器、推理模型（LLMs）、代理（A2A、代理工具等）或 HTTP 端點。

速率限制功能

AWS 的速率限制功能讓使用者能夠對個別使用者進行流量控制，定義 OAuth 或 IAM 基於的規則，限制每分鐘的請求數、同時連接數和令牌吞吐量，確保下游服務在流量激增的情況下仍然可用。這個功能對於組織來說非常重要，因為它可以幫助防止服務過載、降低成本、提高使用者體驗。

速率限制的設定

速率限制的設定包括兩個部分：維度鍵和條目。維度鍵定義了閘道器如何將進入的流量分組到速率桶中，條目定義了每個桶的允許吞吐量。使用者可以使用 AWS Command Line Interface（AWS CLI）來設定速率限制配置。例如，使用者可以設定一個速率限制，使用 targetName 作為維度鍵，定義兩個條目：一個是針對 Booking 目標（MCP 伺服器）的特定條目，允許 100 個請求每秒，另一個是通配符條目，適用於所有其他目標，允許 10 個請求每秒。

未來展望

AWS 的速率限制功能是 AgentCore 閘道器的一個重要更新，讓使用者能夠更好地控制流量、防止服務過載。未來，AWS 可能會繼續擴展這個功能，提供更多的設定選項和更好的使用者體驗。同時，使用者也需要了解速率限制的設定和管理，才能夠充分利用這個功能，提高自己的服務質量和使用者體驗。