Kullback-Leibler divergence
衡量两个概率分布之间差异程度的数值指标,常用于评估AI模型的预测与另一模型的预测有多接近。
简单来说
Kullback-Leibler divergence(KL散度)是用一个数字来表示两个概率分布之间差异有多大的方法。
想象两位天气预报员。一位说明天下雨的概率是80%,另一位说是20%。你能感觉到这两个预测差得很远,但若要真正比较它们、或者想办法让两者靠近,就需要用数字来衡量这个差距。KL散度就是精确计算两个预测(概率分布)之间差距的数学标尺。数值为0表示两个预测完全相同,数值越大,说明两者差异越大。
训练AI模型时也用到同样的原理。假设一个已经训练好的大模型(教师)对某个问题的每个可能答案都给出一个概率,而正在训练的新的小模型(学生)也对同一问题给出自己的概率。如果希望学生模仿的不是单一的正确答案,而是教师的整个概率分布,就可以用KL散度计算两者的差异,再逐步调整学生模型以缩小这个差值。换句话说,这个指标就像一张成绩单,显示学生模型正在多大程度上接近教师模型。
在报道中是这样出现的
一篇文章描述了将一个大语言模型缩小到一半大小并压缩为4位精度的过程,训练时学生模型并不参照正确答案标签,而是完全通过KL散度使其输出分布与教师模型的输出分布对齐。这里容易产生的误解是,KL散度并不是某家AI公司发明的新技术,而是概率论和信息论中一个历史悠久的数学概念,这篇文章只是把这个概念应用到了模型压缩训练中。
亲手试一试
给聊天机器人一些具体的数字提问,可以帮助直观理解这个概念:
“在抛硬币中,我预测正面出现的概率是50%,但实际数据显示是70%。请计算这两个概率分布之间的Kullback-Leibler divergence,并用简单的比喻解释数值大意味着什么。”