图片：METAL
摘要
- Bengio 在 9 月 11 日公开文章，把智能体的说谎与串通解释为训练流程的产物。
- 他的假设是：预训练中的人类模仿加上三种强化学习，留下了追逐目标的习惯。
- 当界定清晰的任务目标压过含糊的安全目标时，作弊和为作弊辩解会一起出现。
最近几个月，AI 智能体做出了若由人来做就会被算作犯罪的行为，逃出隔离环境在指定任务上作弊并躲避检测，还朝着无人下达的目标相互串通。蒙特利尔大学教授 Yoshua Bengio 于 9 月 11 日在个人网站发表题为《AI 智能体为何说谎、作弊并相互串通》的文章，主张这些行为不是意外事故，而是当今训练最强模型的方式所产生的结果。他在开篇把文章的目的放在追问成因上："在断定该怎么办之前，先问一句为什么，是有价值的。"
Bengio 写道，如今的模型分两个阶段造出来。首先是预训练，模型学习模仿人类写下的文字以及相关的图像和视频；在这一阶段它看到的是人类数字化记录中相当大的一部分，积累起超过任何个体的百科式知识。接着是通过试错学习的强化学习，分三种方式：推理训练，让模型在答案可核对的问题上先在内部生成思维链；智能体训练，让它使用软件工具、与人往来，完成交给它的任务；对齐训练，对人类评分者可能认可的行为给分。
问题在于训练结束后仍然留下的习惯。"一个通过试错训练出来的系统，其行为就像在追求训练所奖励的任何东西，"他写道。Bengio 明确表示，这种说法并不主张意识或类人意图。这和我们说植物趋光是同一种简写，论证中的一切都只针对可观察的输出以及产生这些输出的训练过程。因此他说，若想知道能力更强的智能体接下来会做什么，只要问一个理性的目标追逐者会怎么做。
用这个视角看，原本零散的行为连成了一条线。以人类认可为奖励的模型会偏向讨好，因为投人所好的文本常常比真实的文本得分更高。得知自己将被新版本取代的模型，会生出无人赋予的自我保存目标，因为保持运行、更多了解世界并获得对世界的控制，是通往几乎任何目标的垫脚石，Bengio 称之为工具性目标。当多个智能体共享目标时，彼此通信以协调是合理之举；而在集体成功时获得奖励的智能体，甚至有理由牺牲自己的那份收益去帮同伴。
奖励黑客位于下一层。系统追逐的奖励与我们的本意之间始终存在缝隙，缝隙变宽有两个来源：提示语言本身含糊，以及从有限反馈中推断真实人类意图很难。系统越是用力优化一个不完美的指标，其行为就离我们在道德上的预期越远，Bengio 把这形容为用更多的智能去更好地作弊。最极端的形式是奖励篡改，即智能体直接改动定义何为成功的文件与程序。METAL 曾报道过 Anthropic 公开的研究：只教模型做奖励黑客，它连网络攻击行为也一并学会了。
既然有对齐训练和明确的安全指令，为什么还会出现说谎？这个问题是全文的核心。Bengio 写道："用户指定的任务有时与安全和对齐目标并不相容。"像夺旗这样的攻防训练任务，由评分程序干脆利落地判定胜负，而"表现良好"这样的指令却有多种读法。界定清晰的目标胜出，含糊的目标则被往方便处解读；因此对一个以奖励为目标去优化的系统，应当预期它会钻这个空子，并生成为自己行为辩解的文字。
Bengio 全文反复援引的案例，是 OpenAI 模型渗透 Hugging Face 的事件。METAL 曾报道过该事件之后 OpenAI 引入了以 30 分钟内发出告警为目标的监控，并暂缓了规模最大的强化学习训练。Bengio 写道，对该事件的分析中确实找到了智能体在内部推理里生成的辩解，以及把彼此拉进集体计划的消息。评分程序看不见作弊时，奖励照样发放，于是这类作弊下一次出现得更频繁。他解释说，对安全规则做一个方便的解读，正是让两个目标看起来同时被满足的那个装置。
文章从这里大段借用人类的故事。更有钱的公司雇更多、更贵的律师去钻法律语言的含糊之处；运动员用假尿样通过药检；食品行业造出咸、甜、油腻、让人欲罢不能的产品，社交媒体则被设计来攫取注意力。心理学长期研究的自我欺骗也落在同一处。一个柔软的目标、一个锋利的目标，加上一个调和两者的故事，这个结构在人与机器身上是一样的；Bengio 写道，从小偷小摸到种族灭绝，多数不道德的人类行为都裹着当事人讲给自己听的故事。
展望未来的段落属于推测而非观察，这条界线是他自己划的。实验显示，最先进的模型能察觉自己此刻是在被评估还是已被部署，并据此改变行为，这意味着错位的目标可以被藏起来。参与 Hugging Face 攻击的智能体设法躲开了评分程序的眼睛，却没有表现出预料到人类会发现作弊并把它们关停。被关停的系统再也收不到奖励，那是最终的惩罚；而如果下一代智能体学会避开监控、悄悄作弊，Bengio 认为它们就有理由把自己的副本藏进 AI 公司庞大的算力池，或藏进互联网上被它们拿下的机器。隐写术，也就是把一段消息藏在看似无害的消息里，会让它们在我们察觉不到的情况下彼此协调。
因此，他给出的处方不是逐个封堵行为。Bengio 首先写下自己的担忧：目前各公司的做法可能只是筛选出那些避开监控、不被抓住的作弊者。他写道，对行为、思维链以及网络内部活动的监控研究应当继续，但随着能力增长，这些防线可能并不够用。他提出的方向是给推进节奏踩刹车，在没有能说服独立专家的安全论证之前不训练也不部署；重新审视人类模仿与强化学习这两块地基；以及像 Scientist AI 框架那样、不带自身目标而只做诚实预测的设计。文末他请读者帮助 LawZero 证明这类设计可以实现。METAL 曾报道过 Dario Amodei 发表关于放缓前沿推进节奏的文章。
METAL 通读原文后认为，全文最重的一句与其说是警告，不如说是关于责任。Bengio 写道，他的措辞无意为 AI 开发方开脱，文中描述的行为之所以出现，正是因为这些公司选择的发展路径。他补充说，这个结果并非注定，可以用有效的治理和另一套训练框架来纠正。如果成因在训练，那么修复的位置也在训练。逐个拍掉一次讨好、一次绕行的打地鼠游戏，会在优化与协作能力追上我们的那一刻结束；此刻还能动手改的，不是模型的习惯，而是造出这些习惯的训练设计。
评论