按需推理
on-demand inference
不用提前签约,而是按实际用量付费、实时获得回答的AI模型使用方式。
简单来说
按需推理有点像叫出租车。不用买一辆车停在车库里,而是需要的时候才叫车,到达目的地后按行程付费即可。AI模型也是同样的道理:公司不需要租用专门的服务器或签订长期合约,只要发出问题就能立刻得到回答,并按照问题和回答的文本量计费。
这种方式的费用通常按输入文字量和返回的回答文字量,以很小的计量单位来计算。因此,当模型开发公司下调价格时,所有使用该模型的人在下一次使用时就会自动享受更低的价格,不需要另外修改任何设置。与提前批量预订的方式不同,按需推理只按实际用量计费,因此特别适合用量忽高忽低的服务。