greedy decoding
AI在生成每个词时,只选择概率最高的那一个候选词来续写句子的方式。
简单来说
贪婪解码(greedy decoding)是AI模型在生成句子时,每一步都只挑选概率最高的那一个词接着往下写的方式。可以想象一个旅行者,每到岔路口都只选眼下看起来最有希望的那条路,绝不回头。其他的路后来也许会带来更好的结果,但贪婪解码不会考虑这种可能性,只挑眼前最优的选项。
这种方式的优点是结果始终一致。同样的问题输入多少次,因为每次都只选概率第一的词,所以每次得到的答案完全相同。正因如此,它常被用作基准线,用来验证两个模型是否真的给出相同的答案,或者某项新技术是否只是提升了速度而没有改变答案的内容。
反过来说,实际服务中的聊天机器人每次用不同的表达方式回答,并不是因为用了贪婪解码,而是因为用了根据概率混入随机性的其他方式。贪婪解码在需要可重复性和可验证性、而非多样性的场合才有意义。
在报道中是这样出现的
文章解释说,"在温度为0的贪婪解码下,生成的句子与单独运行原始模型时的结果逐字相同。"要验证"接入草稿模型后速度提升了近3倍"这一说法,就需要证据证明答案内容没有改变,而贪婪解码正好成为了这个判断基准。一个常见的误解是,贪婪解码总能给出最好的答案,但实际上它只是在每一步选择当下最优的选项,从整句话来看反而可能错过更好的答案。
亲手试一试
如果聊天机器人可以把温度(temperature)设置调到0,试着把同一个提示词重复输入两三次。如果设置接近贪婪解码,就可以检查答案是否连一字一句都完全相同。