推理基础设施
Inference Infrastructure
指已完成训练的AI模型在实际服务中生成回答时所依赖的服务器和软件整体。
简单来说
推理基础设施指的是,已经学完所有知识的AI模型在向真正的顾客(用户)给出回答时所使用的整套厨房和上菜系统。如果说模型学习食谱的过程是训练,那么用这个食谱实际做菜并装盘端出的过程就是推理,而运转这一过程的服务器和程序集合,就是推理基础设施。
同样的食谱(模型),在不同的厨房里烹饪,出菜速度可能有快有慢,菜品可能凉了才上桌,味道甚至也可能略有不同。同理,即便多家公司在各自的服务器上部署同一个AI模型来提供服务,响应速度和回答质量也可能因公司而异。因此,开发模型的公司有时会把自己的模型交给多家推理基础设施公司试运行,以确认哪一家能原原本本地发挥出模型本来的性能。
归根结底,推理基础设施虽不太起眼,却是决定用户在聊天机器人上实际感受到的响应速度和回答质量的幕后厨房。
在报道中是这样出现的
在报道中常见这样的表述:"Together AI在本次基准测试的4个项目中,有3项排名第一或并列第一。"这里容易产生的误解是,这个排名比较的并不是模型本身有多聪明,而是比较同一个模型在不同公司的服务器上运行时,质量和速度能否更好地维持下去。