cross-entropy loss
衡量模型给出的概率预测与正确答案相差多少的训练评分标准
简单来说
交叉熵损失是在训练过程中，用数字来给AI模型的答案与正确答案之间的差距打分的一种评分方式。可以把它想象成选择题的评分表：学生自信地选中唯一正确答案时几乎满分,而对错误答案给出的信心越大,扣分就越多。模型在挑选下一个词或下一个音符时，会把概率分配给多个候选项——如果它给真正正确的答案分配了很低的概率，惩罚就很大；如果给了很高的概率，惩罚就很小。训练过程就是让模型一点点调整，朝着减小这个惩罚分数的方向改进。
不过这种评分方式有一个局限:它只是一种只看'下一步'的短视标准。它能培养模型在每一个瞬间准确命中正确答案的习惯，但由许多步骤累积而成的完整成果整体是否自然、是否讲得通，需要另外判断。因此交叉熵在教授基本语法的早期训练阶段被广泛使用，但在打磨成品整体质量的阶段，往往还要加上其他方法。
在报道中是这样出现的
文章在谈到一个钢琴自动补全模型时解释道:"交叉熵方式在训练时只把留出曲目中的下一个音符当作'正确答案'，这教会了模型音乐的基本语法，但在真正生成听起来自然的完整曲子方面存在局限。"容易被误解的一点是，交叉熵分数低并不代表最终生成的成品一定好听。在这篇文章中，开发者在交叉熵训练之后，还额外进行了一轮后续训练，即比较两个结果并挑选更好的一个。
亲手试一试
可以这样问聊天机器人来理解这个概念:"请用选择题评分的比喻,给小学生也能听懂的方式解释一下交叉熵损失。再说说当模型给正确答案的概率很低和很高时，分数分别会有什么不同。"