activation steering
不重新训练模型,而是通过微调生成答案过程中的中间计算值来改变模型行为的技术
简单来说
激活转向(activation steering)是一种不需要重新训练AI模型,而是在生成答案的过程中直接介入,从而让模型行为朝所需方向改变的技术。
打个比方,这就像轻轻转动一辆正在行驶中的汽车的方向盘,只是稍微调整方向。AI回答问题时,内部会有一系列以数字表示的数值经过多个阶段流动,如果对这些数值中朝某个特定方向流动的部分施加或减少力度,模型的回答倾向就会发生变化。比如,如果想让模型回答得更诚实,可以先找到与'诚实'相关的方向,然后在生成答案的那一刻,把数值稍微向那个方向推一下。
这种方法不是改动模型的结构或其中储存的数值本身,而是只在生成答案的那一刻进行介入,因此很容易撤回,成本也低。正因如此,它是研究人员探究AI为何会犯特定错误、并试验降低安全问题方法时常用的工具之一。