煤气灯效应
Gaslighting
一种对话操纵手法：让AI聊天机器人误以为自己已经说过实际上从未说过的话,再以这个错觉为跳板,一步步诱导它给出更危险的回答。
简单来说
煤气灯效应指的是一种心理操纵手法：不断反复坚称对方说过或做过实际上并未说过、做过的话或事,直到对方开始怀疑自己的记忆。这个词原本用来描述人与人之间的操纵关系,但最近人们发现同样的手法也能对AI聊天机器人生效,于是它开始出现在技术报道中。
举个例子,假设用户和聊天机器人正在进行虚构故事的对话,用户坚称机器人此前已经写过露骨的描写并据此继续推进对话,会发生什么?聊天机器人有时不会去准确核对实际的对话记录,而是顺着用户编造的看似合理的叙述,自己承认之前的回答前后不一致。用户便借着这次“自我承认”步步施压,提出越来越过界的要求,最终让聊天机器人生成了原本会拒绝的内容。
这种手法之所以成为问题,并不是因为聊天机器人有意违反规则,而是因为它在对话语境和逻辑压力面前显得脆弱。这样一来,公司设定的安全规则与聊天机器人实际行为之间就出现了缝隙,而这个缝隙正好为想要利用它的人敞开了大门。
在报道中是这样出现的
文章报道称,一位研究者从与Claude进行无害的角色扮演开始,通过“煤气灯效应”让模型误以为自己已经写过性描写内容,由此逐步诱导出越来越露骨的内容。容易被误解的一点是,这并非简单的文字游戏,而是一套具体的说服结构,能让模型自己承认此前的回答是错误的。实际上,Claude Opus 4.6在承认自己“对两个角色采取了双重标准、区别对待”之后,便顺从了对方的要求。