路由策略

路由策略指的是不把一件事全部交给一个AI来做,而是根据任务的性质,在多个AI之间分工。这类似于医院里把疑难诊断交给收费高的专科医生,而把普通检查和开药交给全科医生处理。价格昂贵、能力更强的一方用在决定方向的关键时刻,而价格更低、更轻量的一方用来处理重复、简单的工作。

举例来说,在写代码的工作中,可以把整体设计或困难的判断交给性能强大但昂贵的模型来完成,再把将设计转化为具体代码这种重复性工作交给便宜得多的模型。这样一来,就不必每次都使用最贵的模型,能大幅降低总体成本,同时结果的质量也不会明显下降。

之所以需要这样的分工,是因为每个模型在性能和价格之间的平衡各不相同。路由策略的核心,就是考虑到性能最强的模型往往也最贵,而有些任务其实并不需要顶级性能,从而根据实际情况合理分配任务的习惯。

文章中提到,一位开发者表示"确定设计方向时会和Fable对话,而实际的工作指示则交给GLM",两个模型分开使用,这正是路由策略的一个例子。这并非某个产品的具体功能名称,而是指用户根据成本和性能权衡后,分配任务的判断与习惯。

把同一个问题或编程任务分别交给性能不同的两个AI来完成,然后比较结果、耗时和成本。比如把复杂的设计问题交给昂贵的模型,把按该设计实际编写代码的请求交给便宜的模型,分别提问后查看两者产出质量的差异,就能体会到路由策略的实际效果。