进化模型融合

进化模型融合是一种不需要从头重新训练,而是自动混合多个已经训练好的模型,从而生成新模型的方法。

设想有几位厨师,各自擅长不同的菜式。一位精通日语,一位擅长解数学题。这个方法不是靠人工一点点尝试混合两位厨师的食谱,而是让一个模仿自然进化过程的程序,在数百代的迭代中,以各种比例和顺序尝试混合食谱(也就是模型内部的数值),只保留效果好的组合并传给下一代。最终留存下来的组合就成为新模型。

关键在于整个过程中没有从头再教一次的环节。这相当于把已经做好的菜重新组合,而不是重新学做菜,因此能用远少得多的计算资源,做出具备新能力的模型。Sakana AI 就用这种方法,把一个擅长日语的模型和一个擅长数学的模型混合,做出了一个能用日语很好地解数学题的模型。

文章中常这样使用:“Sakana AI 于2024年3月公开的进化模型融合,通过组合多个已公开的开源模型来创造新模型。”常见的误解是把它当作重新训练模型的微调,但进化模型融合的不同之处在于,它完全不运行基于梯度下降的训练,只是组合已经训练好的权重。