剪枝

剪枝就像给果树剪掉那些对结果贡献不大的枝条一样,在神经网络内部找出那些几乎不影响输出结果的连接和计算部分,并把它们裁掉。

刚训练完的模型就像一棵枝叶繁茂的树。众多连接中,有相当一部分实际上对得出答案没有太大帮助。剪枝就是把这些连接一个个找出来裁掉,再对剩下的部分进行调整,使其性能尽量接近原来的模型。就像剪过枝的树会变轻一样,经过剪枝的模型体积会变小,运算也会变快。

这项工作之所以重要,是因为运行环境的限制。体积庞大的模型很难直接在笔记本电脑或智能手机等小型设备上运行。剪枝正是缩小模型体积、让它能在这类设备上使用的多种轻量化方法之一。