路由(Routing)
Routing
根据任务性质自动挑选并分配最合适的AI模型的方式
简单来说
路由是一种把单个任务自动分配给多个AI模型中最合适的那一个来处理的方法。打个比方,就像餐厅里简单的点单由新员工处理,只有复杂的菜品才交给经验丰富的主厨。如果所有请求都交给最贵、最强大的模型处理,成本会大幅上升;但如果把简单任务交给便宜快速的模型,只把难题交给高性能模型,就能在保持结果质量的同时大幅降低成本。
这也是企业不只用一个模型、而是同时运行多个模型的原因。总结文档这类简单工作和设计复杂代码这类高难度工作,难度完全不同,因此需要一个机制来判断每次请求的性质,并将其分配给合适的模型。承担这一分配角色的就是路由,而对使用者来说,完全不需要关心背后实际是哪个模型在处理任务。
在报道中是这样出现的
报道称Factory解释说,"通过路由方式将任务分散给多个模型,可以在保持相同质量的同时将token成本降低50%以上。"路由并非指某个具体AI模型的名称,而是指结合多个模型来平衡成本与质量的一种运营策略。
