级联(cascade)
cascade
先让便宜快速的AI模型给出答案,只有在验证环节被判定有误时,才交给更贵更强的模型接手处理的方式
简单来说
级联很像呼叫中心的分级客服流程。电话打进来时,先由新人客服接听,大部分问题当场就能解决。只有当新人客服答不上来,或者答案看起来有问题时,才会转给经验丰富的资深客服。如果每个电话从一开始就交给资深客服接听,准确率固然高,但人力成本也会大幅上升。
使用AI模型时也面临同样的取舍。大型昂贵的模型通常表现更好,但每次使用花费也更高。因此可以设计这样一套流程:先让小型、便宜的模型尝试解答,自动检查结果是否正确,只有出错时才把任务转交给更大、更贵的模型。这整套流程就叫做级联。
级联的核心在于,在不明显牺牲准确率的前提下降低成本。因为便宜的模型处理了大部分问题,只有真正困难的问题才会转给昂贵的模型,所以整体平均成本会下降。
在报道中是这样出现的
文章介绍了Together AI的“DeepSeek优先级联”方式:先由DeepSeek V4 Flash生成答案并验证结果,只有在必要时才交给GPT-5.6 Luna处理。容易被误解的一点是,这并不是把两个模型合并成的新模型,而只是按顺序调用两个独立模型的一种运行方式。
