算子融合
Operator Fusion
把原本分散的多个计算步骤合并成一步处理,从而提升AI模型运算速度的优化技术。
简单来说
算子融合是一种把原本分成多个步骤执行的小运算合并在一起、一次性处理的技术。
可以用厨房来类比。做菜时如果每用一种食材就打开冰箱拿出来,用完再放回去,反复这样操作,光是开关冰箱门就会耗费大量时间。计算机也是如此:每完成一次运算,就要把结果存入存储空间,再为下一步运算把它取出来,这一来一回的过程本身就会消耗时间。算子融合就像是把多个烹饪步骤放在案板上一次性处理完,不必反复开冰箱一样,通过把多个计算步骤捆绑在一起,减少在存储空间之间来回读写的次数。
这项优化在AI模型实际运行、生成答案的过程中尤为重要。模型越大、计算步骤越多,在存储空间之间来回搬运数据所花的时间就越多,速度也就越慢。通过算子融合减少这种瓶颈,即使用相同的硬件也能更快地得出结果。
在报道中是这样出现的
文章中提到,腾讯Hy4预览模型自主分析了自身推理系统的瓶颈,并多次反复进行算子融合和通信优化,结果吞吐量比基准提升了31.8%。这里的“融合”指的是合并计算步骤以提升速度,并不是把多个模型合并成一个,不要混淆。