Rate Limiting
一种在设定时间内限制可处理请求数量上限的机制,超出上限的请求会被拦截或延后处理。
简单来说
速度限制(Rate Limiting)是指在设定的时间段内,给能够处理的请求数量设一个上限,一旦超出这个上限,多出来的请求就会被暂时拦住或推迟处理。
可以联想一下游乐园的旋转闸门。这种闸门设计成一次只能放一个人通过,所以不管一次涌来多少人,入场速度始终是固定的。计算机系统也是同样的道理。如果给请求经过的某一个通道设定了每秒或每分钟能处理的次数上限,那么不管请求为什么会突然增多,超出这个上限的部分就是无法通过。
这种方式的好处在于,不需要弄清楚原因就能防止损失。比如说,某个程序因为不断重试失败的任务,一整晚都在疯狂发送请求,只要在入口处限制好速度,依然可以避免因此产生的费用暴涨或系统过载。
在报道中是这样出现的
新闻中常见这样的用法:“AWS 在 Bedrock AgentCore 的网关中加入了速度限制功能。”容易被误解的一点是,速度限制并不会逐一检查请求内容是否正确。它只关注请求出现的频率,和内容无关,只是压制这个频率——所以哪怕是正常的请求,如果太频繁,也可能被一并拦下。