dimension keys
在对AI流量进行分组限速时,用来划分这些组别的判断依据
简单来说
维度键(dimension keys)是指在把AI流量划分成不同组别时,用来确定分组标准的依据。想象一个游乐园把游客分成普通票和快速通道票两种,分别排在不同的队伍里。这里,'持有哪种票'就相当于维度键。就像票的种类决定了排哪条队伍一样,用户群体或请求的模型种类等因素也会决定流量被分配到哪条不同的处理通道。
这样划分出来的每个组别,都会附带各自的规则,规定能处理多快、处理多少。就像新手票队伍走得慢,高级票队伍走得快一样,由维度键划分出的各个组别也可以设置不同的速率限制。这样一来,管理者就不必对所有用户设置相同的限制,而可以精细调整——比如只对试用新功能的组别放宽限额。
在报道中是这样出现的
文章中常这样表述:'限速规则由用于对请求分组的维度键(dimension keys)和为每个组别定义允许吞吐量的条目(entries)组成。'这里的维度键只是用户或模型等分组标准,本身并不是速率限制的数值,实际的吞吐量上限是由条目来设定的。