routing algorithm
决定把进来的请求发给哪个AI模型或服务器的一套规则,也就是请求的交通调度方式。
简单来说
路由算法就像呼叫中心的调度员。电话（请求）打进来时,调度员会把它转给现在空闲的客服、最了解这个问题的客服,或者按照固定顺序转给某个客服。在AI服务中,坐在这些客服位置上的是多个模型或服务器,而路由算法决定把哪个请求发到哪里。
之所以需要这种机制,是因为如果一个工具被设计成始终只对着一个客服,那么在背后悄悄换成别的客服就很困难。比如,可以让平时用的编程助手在表面上照常运行,而在背后根据情况把请求发给更便宜的模型、把敏感代码只发到公司内部服务器,或者在响应频繁失败时自动切换到另一个模型。这套分支规则本身就是路由算法,形式上可以简单到按顺序轮流分配,也可以复杂到根据条件智能判断选择。
在报道中是这样出现的
一篇关于NVIDIA Switchyard的报道介绍它"提供了带类型的路由算法",并说明开发者可以自己编写规则,把流量分配给多个模型,或者根据信号在不同阶段调用不同的模型。这里容易被误解的一点是,路由算法本身并不生成新的答案,它只决定把请求发给谁。真正生成答案的,始终是被路由选中的那个模型。
亲手试一试
不用自己写代码也能体会这个概念。可以这样问你平时用的编程助手或聊天机器人:"帮我设计一个把请求分配给多个AI模型的路由算法。条件是:1）响应失败率升高时自动切换到另一个模型 2）敏感内容始终只发送给某个特定模型 3）其余情况优先选择更便宜的模型。请给出处理这三个条件的伪代码。"这样就能直观感受到路由规则实际上就是各种条件判断的组合。