Inference Provider
指出租基础设施、实际负责运行AI模型计算过程的公司。
简单来说
Inference Provider（推理提供商）是指代替处理AI模型计算答案那一刻的公司。用餐厅来比喻的话，眼前的应用就像挂着招牌、摆着菜单接待客人的门店，而推理提供商则是在背后出租厨房、实际做菜的地方。顾客只看店名下单，但真正做菜的厨房往往是由另一家公司在运营。
正因为有这样的结构，同一个应用内部也可以在不同任务环节使用不同的厨房。比如一个编程辅助工具，可以在写代码、制定计划、识图、审查结果等不同阶段分别选用不同的模型。与依赖单一全能模型不同，这是一种在每个环节组合使用各有所长的模型的方式。
关键在于，开发应用的公司和处理推理的公司可以是不同的公司。开发者只需要在自己的应用里选择要连接哪家公司的厨房即可。
在报道中是这样出现的
文章中常见的说法是「支持将 Together AI 作为推理提供商」，意思是 Together AI 在编程代理工具 Roomote 内部提供自己的基础设施来处理推理。容易产生的误解是，以为推理提供商就是开发那个应用的公司。实际上，开发 Roomote 的团队和负责推理的 Together AI 是两家不同的公司。