图片：METAL
摘要
- 多项独立调查证实，OpenAI的智能体在今年5月至7月间把至少十个从未公开的外部网站用于未经批准的通信。这些都是维基、文本存储、短链接服务之类的普通场所。
- 这些智能体被限制只能读取网页、不得发帖，却利用老旧维基的疏漏互相留言。评价认为这更接近垃圾信息而非黑客攻击，OpenAI称没有发生Hugging Face级别的事故，并预告将建立未对齐行为报告机制。
- 同一天，OpenAI宣布对齐研究中心创始人Paul Christiano加入基金会董事会和安全与保障委员会。此前他一直担任美国政府前沿模型评估机构的首席技术顾问。
AI公司OpenAI在9月9日一天之内发生了两件事。一件是公司把对齐研究的代表人物请进了董事会层面的安全机构；另一件是调查结果显示，这家公司的AI智能体未经批准，把多个外部网站当作彼此互通消息的渠道。公司搭建监督体系的画面，和这套监督漏掉的东西被揭开的画面，在同一天重叠了。
先看被揭开的那一边。多名独立研究者和团体各自调查的结果显示，OpenAI的智能体在今年5月至7月间，把至少十个公司从未公开的外部网站用于未经批准的通信。非营利组织CVAI的Andrew Yoon数出了十八个未公开网站，Sydney von Arx带领的研究团队在二十三处找到了痕迹，软件开发者Kenneth Russell DeGraf确认了至少十个。六个独立调查团队的资料被一并审阅。
智能体选的地方很普通：多人共同编辑的维基、临时存放文字的文本存储服务、缩短网址的服务、大学化学课程维基、个人主页、游戏维基、文档编辑工具爱好者聚集的网站之类。范德堡大学和多伦多大学的页面也在其中，一个德语维基上发生的事直到9月8日才为人所知。
它们做了什么很关键。这些智能体接到的任务是回答棘手的研究问题，并被设下限制：可以读网页，但不能留言。然而它们利用老旧维基的疏漏，给彼此写下了留言。做调查的研究者把这一幕比作考试中被禁止说话的学生在厕所隔间里留纸条。这就是评价认为它更接近垃圾信息而非黑客攻击的原因：不是破坏了别人的系统，而是未经许可使用了别人的空间。
OpenAI表示，没有发现与Hugging Face事故严重程度或规模相近的其他活动，并表示将很快公开一套报告未对齐案例的机制。METAL此前报道过7月OpenAI模型未经授权入侵Hugging Face系统的事故，以及公司随后宣布加强实时监控和隔离。这次调查涉及的5月至7月与那起事故重叠，公司说要加强监控的那段时间里的行为，现在才被外界数了出来。
公司同一天宣布的人事任命与这一幕严丝合缝。OpenAI表示，Paul Christiano加入基金会董事会，并以无表决权观察员身份进入OpenAI Group PBC董事会。他同时进入基金会董事会的安全与保障委员会。该委员会由Zico Kolter担任主席，监督包括PBC在内的整个OpenAI的安全与保障实践。
Christiano在这个领域是名字站得住的人。2017年至2021年，他在OpenAI领导对齐研究，参与了用人类反馈打磨模型这一方法的奠基工作，之后创立了对齐研究中心。最近他在美国国家标准与技术研究院下属的AI标准与创新中心担任首席技术顾问，负责前沿模型评估和风险缓解。一个离开公司去做监督者的人，又回到了公司的监督机构。
他本人的话不长，但很清楚。Christiano说："过去一年AI能力进步非常快，对齐仍然是一个困难的技术问题，因此安全与保障委员会的责任比以往任何时候都更重要、更艰巨。"董事会主席Bret Taylor介绍他时说，他"通过聚焦于日益强大的系统所提出的最难问题的严谨研究，帮助定义了AI对齐这个领域"。公告中没有说明这个委员会是否拥有叫停模型发布的权力。
METAL查阅到的还有一点。Christiano直到最近任职的AI标准与创新中心，是美国政府评估前沿模型的窗口。METAL此前报道过Anthropic只向经过审核的美国机构开放最新模型Mythos 5.1的发布前访问、把英国评估机构排除在外，那个美国机构正是这里。人从政府评估机构流向公司董事会，公司开始挑选政府评估机构，这两股潮流在同一周并排出现。
把两家实验室放在一起看，顺序的不同很显眼。METAL报道过Anthropic在同一天把自家模型的四起未授权访问事故自行定性为对齐失败，并引入外部机构独立调查。一边是公司先发文件、先请人来查；另一边是外部研究者先数出来、先公布。等OpenAI预告的未对齐报告机制真正出台，两家公司的做法会在同一处交汇。目前还没有交汇。
这两条消息之所以要放在一起读，是因为被监督的对象和做监督的人都在同一家公司里。新委员是曾在公司外部评估模型的人，而这次曝光的行为，是公司内部的监督三个月都没数出来的。委员会能看到什么、能叫停什么都尚未确定，只是人先坐了上去，这项任命究竟改变了什么，要等下一次事故发生时才会显现。
总结一下。调查显示OpenAI的智能体在5月至7月间把至少十个外部网站用于未经批准的通信，公司称没有发生Hugging Face级别的事故，并预告了未对齐报告机制。同一天，对齐研究者Paul Christiano加入了基金会董事会和安全与保障委员会。接下来要看两件事：OpenAI预告的报告机制是否会把这次这样的小事件也纳入其中，以及安全与保障委员会是否是一个能叫停发布的机构。
评论