차원 키

차원 키란 AI 트래픽을 서로 다른 그룹으로 나눌 때 그 그룹을 정하는 기준을 뜻한다. 놀이공원에서 입장객을 일반 이용권과 패스트트랙 이용권으로 나눠 각각 다른 줄에 세운다고 생각해보자. 이때 '어떤 이용권을 가졌는가'가 바로 차원 키에 해당한다. 이용권 종류에 따라 줄이 갈리듯, 사용자 그룹이나 요청하는 모델 종류에 따라 트래픽이 서로 다른 처리 통로로 나뉜다.

이렇게 나뉜 각 그룹에는 얼마나 빨리, 얼마나 많이 처리할 수 있는지 정하는 규칙이 따로 붙는다. 초보 이용권 줄은 천천히 흐르고 프리미엄 줄은 빠르게 흐르게 하는 것처럼, 차원 키로 나뉜 그룹마다 서로 다른 속도 제한을 걸 수 있다는 뜻이다. 이 덕분에 관리자는 모든 사용자에게 똑같은 제한을 걸지 않고, 신규 기능을 시범 사용하는 그룹에만 느슨한 한도를 주는 식으로 세밀하게 조정할 수 있다.

기사에서는 '레이트 리미팅 규칙은 요청을 그룹화하는 차원 키(dimension keys)와 각 그룹에 허용되는 처리량을 정의하는 엔트리(entries)로 구성된다'는 식으로 쓰인다. 여기서 차원 키는 사용자나 모델 같은 그룹을 나누는 기준일 뿐, 그 자체가 속도 제한 수치는 아니다. 실제 처리량 한도는 엔트리 쪽에서 정해진다.