量化感知训练
Quantization-Aware Training
在压缩模型导致性能下降后,让模型提前适应低精度状态并重新训练,以恢复性能的一种方法
简单来说
量化感知训练(QAT)是指先把模型压缩变轻,然后为了挽回下降的性能,在降低精度的状态下对模型重新进行训练的方法。
打个比方。一个只用精密秤学做菜的厨师,突然拿到一把刻度粗糙的秤,称量就会变得笨手笨脚。这时候不是让他从头重新学做菜,而是让他就拿着那把粗秤,反复做同一道菜。这样练下去,他慢慢就能在粗刻度下找到感觉,几乎恢复原来的水平。量化感知训练也是同样的道理:在计算过程中故意插入模拟低精度的运算,然后让模型在这种状态下反复尝试给出正确答案,以此对模型进行微调。
不过这种方法相当费工夫。因为已经投入巨大成本训练好的模型,还要在故意加入噪声的状态下再从头跑一遍。而且如果这种再训练拖得太久,超过了最佳点,反而可能让模型变得不稳定。因此最近也会搭配使用另一种方式:不直接教模型正确答案,而是让它在旁边模仿原始模型的判断习惯。
在报道中是这样出现的
有文章这样介绍:"这就是量化感知训练(QAT),做法是在前向传播过程中插入伪量化运算,再用任务损失函数持续微调。"接着指出其局限性:"成本很高,而且如果训练拖过最佳点,反而可能变得不稳定。"一个常见的误解是,认为做了量化感知训练,压缩后的模型就一定能恢复到和原模型一样好,但实际上它只是一种要付出成本和不稳定风险代价的恢复手段。
亲手试一试
可以这样问聊天机器人找找感觉:"用秤称重做菜的比喻,给我解释一下量化感知训练和普通量化的区别。"得到回答后,再追问一句:"那从成本的角度说说,为什么还非得重新训练不可?"这样一来,压缩和再训练之间的关系会更加具体清晰。