AWS, AgentCore 게이트웨이에 AI 트래픽 속도 제한 기능 추가

AWS가 완전관리형 서버리스 AI 게이트웨이인 Amazon Bedrock AgentCore gateway에 레이트 리미팅(rate limiting) 기능을 추가했다고 밝혔다. AgentCore gateway는 관리형 웹 검색, 지식 베이스, MCP 서버, LLM 추론 모델, 에이전트(A2A 포함), HTTP 엔드포인트로 향하는 AI 트래픽의 단일 진입점 역할을 하는 서비스다.

세 가지 제한 지표

이번 업데이트로 관리자는 요청 수(RPS·RPM), 토큰 처리량(TPM), 동시 연결 수(CPS) 세 가지 기준으로 트래픽을 제어할 수 있게 됐다. 요청 기반 제한은 모든 타깃 유형에 적용되며 요청 하나는 처리 시간과 무관하게 동일하게 한 단위로 계산된다. 토큰 기반 제한은 추론 타깃에만 적용되고 입력·출력 토큰을 모두 포함하는데, 게이트웨이가 범용 토크나이저로 사전 추정치를 차감한 뒤 실제 모델 응답값으로 사후 정산하는 방식이다. 연결 기반 제한은 스트리밍처럼 오래 유지되는 세션을 대상으로 하며, 100초짜리 요청은 그 시간 동안 연결 슬롯 하나를 계속 점유하는 식으로 계산된다.

사용자·그룹별 세분화 제어

AWS는 예시로 Basic, Advanced, Beta 세 사용자 그룹을 두고 Microsoft Entra ID를 통한 JWT 인증과 AgentCore Identity, 정책 기반 역할 접근 제어(RBAC)를 결합한 구성을 제시했다. 이 구조에서는 Basic 사용자에게 더 엄격한 제한을 두고, Beta 사용자에게는 특정 모델에 대해 상대적으로 완화된 한도를 부여해 신규 모델의 성능과 적합성을 조직 전체 배포 전에 검증할 수 있다고 설명했다. 레이트 리미팅 규칙은 요청을 그룹화하는 '차원 키(dimension keys)'와 각 그룹에 허용되는 처리량을 정의하는 '엔트리(entries)'로 구성된다.