确定性推理
Deterministic Inference
一种AI计算方式,设计上保证同一个问题输入后,得到答案所需的时间每次都完全相同。
简单来说
确定性推理指的是,当输入同样的问题时,不仅内容一样,连得出答案所需要的时间也每次都完全一致的计算方式。
可以想象一下按固定时刻表运行的火车,和根据当天路况到站时间忽早忽晚的公交车。公交车有时5分钟就到,有时要等20分钟,但火车总是准点到达。AI生成文字背后的计算过程,也可以根据硬件设计的不同,做得像火车一样可预测,也可以像公交车一样时快时慢。
这一点之所以变得重要,是因为现在的AI往往不是自己算出一个答案就结束,而是要经过多个步骤,不断与其他程序或其他AI交换信息。如果每个步骤耗费的时间忽长忽短,就很难估算整个任务何时完成,成本也难以预测。反过来,如果每个步骤耗时稳定,整个系统的设计和管理就会容易得多。
在报道中是这样出现的
文章中常这样使用:「一群LPU的运作方式,就像是为确定性推理而优化的一台巨型处理器」。这里的「确定性」并不是指AI每次都给出相同的答案,而是指在相同条件下,处理时间(延迟)始终保持一致。这一点容易和答案的准确性或一致性混淆,但实际上它是一个硬件与系统设计层面的术语,专指速度和时间上的可预测性。