异步委派
Asynchronous Delegation
语音AI即时处理简单应答,同时把难题转交给另一条路径上的高性能模型处理,从而让对话不被打断的方式
简单来说
异步委派是把"即时接续对话"和"深入思考给出答案"这两项工作分别交给不同的地方处理,让思考所需的时间不会阻塞对话的进行。
可以联想呼叫中心的场景。接电话的客服一边和客户继续通话,一边在遇到难以回答的问题时,把便条递给隔壁房间的专家。专家查找资料整理答案的这段时间里,客服并不会挂断电话,而是用"好的,我帮您确认一下"之类的话继续填补对话。等专家的答案出来后,客服再自然地接过来传达给客户。
在语音AI中,负责快速语音交流的模型和负责搜索或复杂推理的重型模型,也是以这种方式分开,各自走不同的路径运行。即便搜索处理得慢一些,语音对话本身的流畅度也不会中断,用户因此可以毫无等待感地继续对话。
在报道中是这样出现的
文章中的原话:"从技术上讲,这被称为异步委派。音频只在客户端与语音模型之间的专用高速通道上传输,而搜索、工具调用、深度推理则在另一条独立路径上处理。"
纠正误解:这并不是说语音模型自己在敷衍地跳过难题。而是负责对话的模型和负责深度推理的模型,在物理上走的是不同路径,这样的设计是为了让较慢一方的延迟不会影响到较快一方的响应速度。