Softmax Normalization
把多个分数转换成总和恒为100%的概率的一种计算方法
简单来说
Softmax归一化是一种把多个分数转换成比例的方法,用来体现每个选项相对其他选项有多大可能性。
假设给几份试卷打了分。原始分数不好直接比较,但如果把总分重新调整为100%,再看每份答案占这100%中的多少份额,就能一目了然地比较。Softmax归一化的做法类似:它把较大的分数放大得更突出,把较小的分数压得更小,然后统一缩放,使总和始终等于100%。
AI模型在多个选项中做选择时经常用这种方法。举例来说,一个判断某句话是否危险的模型可能会给"是"和"否"两个候选分别打分,再对这些分数做softmax归一化,得到两个总和恒为100%的数字,比如"是"的概率是83%,"否"的概率是17%。模型接着把这个概率和某个阈值比较,做出最终判断。
在报道中是这样出现的
文章解释说,Mistral AI的安全分类器Shieldstral对"是"和"否"两个token的分数应用了softmax归一化。容易被误解的一点是,这个步骤并不会让判断变得更准确,它只是把已经算好的分数在最后一步包装成看起来像概率的样子。