摘要
- AWS在Amazon Bedrock AgentCore gateway中新增了限速功能
- 可通过请求(RPS/RPM)、令牌(TPM)、连接(CPS)三种指标控制流量
- 可根据JWT声明或IAM身份，为不同用户和用户组设置精细化规则
AWS宣布为其完全托管的无服务器AI网关Amazon Bedrock AgentCore gateway新增了限速（rate limiting）功能。AgentCore gateway作为面向托管网页搜索、知识库、MCP服务器、LLM推理模型、智能体（包括A2A）以及HTTP端点的AI流量的单一入口服务。
三种限制指标
此次更新使管理员能够基于三种标准控制流量：请求数（RPS·RPM）、令牌吞吐量（TPM）以及并发连接数（CPS）。基于请求的限制适用于所有目标类型，无论处理时间长短，每个请求都被同等计为一个单位。基于令牌的限制仅适用于推理目标，涵盖输入和输出令牌，网关会先用通用分词器进行预估扣减，再根据模型实际响应值进行事后结算。基于连接的限制则针对流式传输等长时间保持的会话，例如一个耗时100秒的请求会在该时段内持续占用一个连接槽位。
按用户与用户组精细化控制
AWS举例说明，可设置Basic、Advanced、Beta三个用户组，并结合通过Microsoft Entra ID进行的JWT认证、AgentCore Identity以及基于策略的角色访问控制（RBAC）。在这种架构下，可对Basic用户设置更严格的限制，而对Beta用户在特定模型上给予相对宽松的额度，从而能够在面向整个组织正式部署之前，验证新模型的性能与适用性。限速规则由用于对请求进行分组的"维度键（dimension keys）"和定义各分组允许吞吐量的"条目（entries）"构成。
评论