量子化感知修复
Quantization-Aware Healing
让压缩后的AI模型直接向未压缩的原始模型重新学习,从而在缩小体积的同时恢复因压缩而损失的性能的技术。
简单来说
量子化感知修复,是让被缩小、降低精度的AI模型,通过直接接受未压缩原始模型的一对一辅导,重新找回实力的方法。
可以想象把一本厚厚的原著改写成薄薄的摘要本。摘要本做出来之后,内容通常会显得单薄不足,于是需要有人再回头修补、充实。但过去的做法是,在做这道修补工序时,参考的不是原著本身,而是'先前做出的一份还原版摘要'。问题在于,这份还原版本身就已经是对原著的粗糙模仿,所以真正的摘要本无论多么努力地向它学习,都无法超越还原版本身的水平天花板。
量子化感知修复改变的正是这份参考资料。它不再用还原版,而是直接把压缩前的原著请回来当老师,让变薄的摘要本不是去死记硬背标准答案,而是去学习原著对每个问题作判断时那种'判断的纹理'——也就是判断时的把握程度和方式。关键在于,老师和学生外表(体积和结构)完全不同也没关系,因为这种判断的纹理本身可以脱离外表被传递下去。
在报道中是这样出现的
文章中提到:"研究模型轻量化的Multiverse Computing……推出了重新设计这一恢复步骤的'量子化感知修复(QAH)'技术。"容易被误解的是,QAH并非改变了量子化的方式本身,而是改变了压缩后的小模型向谁学习。区别在于,它用压缩前的原始模型作为老师,而不是用先前还原出来的中间检查点。