多token预测
multi-token prediction
AI生成回答时一次预测多个token,而不是一个一个来,从而提高生成速度的技术
简单来说
多token预测是指AI在生成回答时,一次性提前预测接下来的多个token(文本片段),而不是像通常那样一个一个地生成。
一般来说,AI生成文本时是一步一步来的:先吐出一个词,再把它读进去生成下一个词,然后再读进去生成下下个词,如此循环推进。可以想象一下:一个人一个字母一个字母地打字,另一个人则提前在脑子里想好接下来的几个字母,然后一次性打出来。后者显然能在同样时间里写出更多内容。同理,用了多token预测,AI也能在同样时间里生成更多内容。
结果就是回答速度变快了,完成同样任务耗费的电力也能省下来。不过,由于是一次性猜测多个token,预测出错的风险也随之增加,所以实际应用中往往会配合一道验证步骤,对提前猜测的内容再做核实。可以把它理解为提升回答速度的多种技术手段之一。
在报道中是这样出现的
文章里常这样出现:“Jalapeño在没有使用多token预测或推测解码等加速技术的情况下取得了这一成绩。”也就是说,即便还没用上这类提速技术,也已经表现不错;反过来看,如果以后加上这些技术,速度还有进一步提升的空间。另外容易被误解的一点是:多token预测并不是某一家公司独有的技术。