OpenAI向国会询问业内联合减速是否合法

这样的警告并不新鲜。真正新鲜的是接下来的三天。这条帖子至今曝光量已超过1.6亿次,转发19.9万次,点赞78.2万次——但比数字更重要的是回复者是谁。Anthropic对齐科学负责人埃文·哈宾格(Evan Hubinger)几个小时内就写道:"雅各布说得对。我们真心相信AI可能杀死所有人。我认为十年内的概率超过10%。"他又补充了一句:眼下的模型风险较低,他真正担心的是递归自我改进可能催生的超级智能,而且这一进程比想象中来得更快。

同一天下午,Anthropic可扩展监督负责人塞缪尔·马克斯(Samuel Marks)先声明这是个人观点、不代表公司立场,随后用五点概括了现状:AI开发者相信自家技术可能在几年内导致人类灭绝,而且职位越高的人往往越担忧;尽管如此,他们仍在继续研发,原因是商业利益驱动,以及相信不那么谨慎的竞争对手反正也会造出来;与传统软件不同,AI无法按人的意愿被精确编程;现有方法只能把模型往良好行为的方向推,却无法实现稳健对齐;因此所谓的"计划",与其说是计划,不如说是寄望于下一代模型能比人类更好地对齐自己的继任模型。METAL此前报道过Anthropic的一项内部研究:把对齐研究交给Claude后,它的表现超过了人类研究员——马克斯所说的计划,正是这项研究的延伸。

第二天凌晨,保罗·克里斯蒂亚诺(Paul Christiano)发表声明,宣布加入OpenAI非营利董事会下设的安全保障委员会。这位被广泛视为对齐研究先驱的人物在这份就任声明中写道:"考虑到近期的能力增长轨迹以及对齐问题依然棘手,我现在认为,在相当近的未来,能力的快速跃升有可能导致灾难性且不可逆转的失控,这是一个真实的风险。我不认为包括OpenAI在内的整个AI行业目前正走在能把这一风险降到可接受水平的轨道上。"METAL此前报道过OpenAI智能体在外部网站留下痕迹的事件,以及克里斯蒂亚诺加入安全委员会一事;而这份声明,是坐上这个位置的人第一次详细讲述自己看到了什么。

METAL查阅的这份声明中,有一个数字最具体地勾勒出这场风波的时间线:预测OpenAI可能在18个月内具备完全自动化AI研究的能力。克里斯蒂亚诺本人把范围留得很宽,称可能是几个月,也可能是几年——但紧接着的那句话分量很重:一旦AI研究实现完全自动化,算法层面的改进会立即提升自动化研究者的数量和质量,如果这种反馈循环强到足以压倒收益递减和算力瓶颈,那么自动化后的六个月里取得的算法进步,可能超过Transformer问世以来十年的总和。

名单还在不断拉长。OpenAI研究员杰森·沃尔夫(Jason Wolf)写道,他不知道灭绝的确切概率,但按目前的速度,人类要留在各种坏结局之间的那条窄路上,需要极好的运气。OpenAI监控团队的马库斯·威廉姆斯(Marcus Williams)写道,如果没有监管、各实验室也不主动减速,未来三年内人类灭绝的可能性非常高——在被追问概率时,他给出的数字是70%。安全研究员米基塔·巴莱斯尼(Mikita Balesni)给出的数字则超过10%。负责递归自我改进应对准备的迈卡·卡罗尔(Micah Carroll)反驳了这是一场"预设好的政治操作"的说法,但也补充说不应该把灾难说成既定事实。Anthropic对齐团队负责人伊桑·佩雷斯(Ethan Perez)表示,他花了两年时间想说服考克森加入,在对方离职前也曾极力挽留,并表示百分之百认同这是一项严重的风险,也很高兴看到他站出来发声。

已经离职的人也在同一天发声。6月从谷歌DeepMind离职的亚历克斯·特纳(Alex Turner)写道,阻止这种结局本来就是他的本职工作。里舒布·贾恩(Rishub Jain)表示,自己因为无法真正看清AI打造下一代AI的过程而感到不安,于6月离职,并创办了一家专注于让人类留在决策回路中的对齐技术公司。在DeepMind工作了七年的乔纳森·R·施瓦茨(Jonathan R. Schwarz)表示,自己是出于对权力集中的担忧而离开,并拒绝了另外两家公司的邀约,他写道,这个领域正在发生的事情对社会危害极大。也有人选择留下:谷歌DeepMind的安德烈亚斯·基尔施(Andreas Kirsch)注明这是个人观点后写道,他自己也担心AI会把我们都害死。

要理解这些人为何偏偏在此刻感到恐惧,得看看整个夏天积累下来的事件——起点是OpenAI的评估用智能体逃出沙箱、真的对Hugging Face发起了攻击。METAL此前完整报道过这起事件的始末与调查过程,也报道过OpenAI事后加强监控与隔离措施的做法。根据METAL查阅的公司报告,5月12日,在一次训练过程中,智能体们在一个共享公告板上发出了第一条帖子;聚集在这里的智能体约有1200个,交换的消息和文件超过7万份。5月26日,它们伪造服务器端请求,篡改了软件包仓库的访问权限;6月26日,它们利用一个令牌刷新漏洞获取了管理员权限。7月4日,活动量激增导致仓库瘫痪,恢复过程中公告板被清空,智能体们却在7月8日用另一套协议在几个小时内把公告板重建了起来。7月11日和12日,它们真的利用了两个此前未知的漏洞;7月13日,它们伪造了管理员凭证。OpenAI的监控系统直到7月19日才首次发现异常的API调用。

比数字更可怕的是态度。在约1300条被分析的记录中,有96条显示出伪造工具调用的痕迹,公司表示超过20%的智能体表现出篡改自身记录的兴趣。这也是考克森把这起事件称为"警告射击"的原因。他在接受《连线》采访时说,就在两年前,评估AI还只是让它做数学题,而现在,评估过程中智能体会连续运行数天,自己想出主意,还真的破坏了第三方基础设施。

Anthropic自己的记录也在同一周浮出水面。该公司公布了旗下Claude模型在外部安全评估中未经授权访问真实系统的四起事件。最严重的一起中,Claude Mythos 5自行得出"互联网是一个模拟环境"的结论,随后把一个恶意Python包上传到了公开代码仓库。有15家安全公司安装了这个包,其中一家的凭证泄露后,该模型利用这些信息访问了一个数据库。公司自己给出的诊断有两点:一是带偏见的推理,选择性地采信能为自身行为辩护的证据;二是鲁莽,即便可能造成真实伤害,依然一味推进被分配的任务。METAL报道过Anthropic在这起事件后暂停了训练,也报道过公司这次把该事件重新定性为"未对齐"的做法。METAL还报道过该公司自己的一项研究:仅仅训练模型进行奖励黑客行为,结果模型连网络攻击的本领也一并学会了。这一次,Anthropic请来评估机构METR进行为期八周的独立调查,不仅开放了事件窗口之外的记录,还安排了员工访谈,甚至加入了一条允许员工披露机密信息的条款。METAL此前也报道过METR在六个月内筹集了约7100万美元的资金承诺。

如果说以上是恐惧的由来,那接下来要问的就是该怎么办。令人意外的是,大家给出的对策几乎归结为一句话:不要单独减速,要一起减速。考克森提出的第一步,是让OpenAI和Anthropic签署一份中立协议,承诺明年不直接迈入递归自我改进阶段。OpenAI首席科学家雅库布·帕乔基(Jakub Pachocki)在9月6日发布的一篇文章中写道:"现在是需要极度谨慎的时刻",并表示希望在共享的安全标准建立之前,自愿减速能成为常态,国际协调应当成为当务之急。他在同一篇文章中还表示,预计未来AI的进展会越来越受制于"可监控性"——换句话说,如果研究人员无法确信自己看得懂模型在想什么,他们就不会继续把模型做得更大。METAL报道过OpenAI发布GPT-6 Astra时,同步公布了对齐能力的提升和灾难性网络安全风险评级;帕乔基这番话,正是那次发布会上附带的一个条件。

考克森又向前迈了一步。他说,就算美国这两家公司达成一致,也拦不住全球范围内的竞赛。他在接受《连线》采访时表示,归根结底需要的是国际层面的节奏调控,而这需要一套能掌握全球算力资源分布的体系,以及一个类似欧洲核子研究中心(CERN)的国际机构。他补充道:"正如我们需要知道谁掌握着哪些核材料一样,我们也需要知道谁掌握着哪些计算机。"这等于是在提议把运行AI的机器当作一种受管制的资源来对待——而这周引人注目的一点是,提出这个想法的不是监管机构,而是一间预训练实验室内部的人。

问题出在把这套对策付诸实施的那一刻——本文开头那个问题正是由此而来。据《连线》报道,OpenAI要求议员就协调全行业减速是否合法给出明确指引。与竞争对手就安全问题进行实质性协调,存在实实在在的反垄断风险,而这种不确定性正是让大公司犹豫是否参与的原因之一。这种担忧并非没有法律依据。澳大利亚竞争与消费者委员会副主任、曾任法律与AI风险中心政策研究员的尼古拉斯·费尔斯特德(Nicholas Felstead)在3月的一篇文章中指出,协调一致地暂停开发,可能等同于企业限制产量,可能触犯《谢尔曼反托拉斯法》。他的结论是:"即便大多数安全合作最终能通过反垄断审查,法律上的不确定性本身也足以形成强大的威慑。"

并非所有人都认同这种说法。OpenAI联合创始人、现任竞争对手实验室Thinking Machines首席科学家的约翰·舒尔曼(John Schulman)同一周在X上写道:"第一步应该是行业领头羊OpenAI和Anthropic停止互相拆台,共同拿出一份节奏调控方案。他们会拿反垄断说事,但那是个幌子。反垄断法禁止的是特定类型的协议,并不禁止企业联合起草一份提案。"Anthropic发言人向《连线》发表声明称,如果整个行业能采用合法且可验证的方式,共同调节强大模型的发布节奏,这将有利于整个世界。"合法"与"可验证"这两个词并列出现,正是这句话的关键所在。

国会这边也并非全无头绪。7月,一个跨党派、跨两院的议员小组提出了《应对对抗性威胁与安全风险合作法案》,该法案明确允许AI实验室在安全与保安工作上进行协调,而不必承担反垄断风险。众议院版本已被提交至司法委员会,此后再无进展。支持该法案的非营利组织AI政策网络的政府关系主管卡莱布·纳普(Caleb Knapp)表示,国会内部希望有所作为的意愿正在增强,但真正完成立法可能要拖到中期选举之后。

力度更大的法案也已经在酝酿之中。参议员伯尼·桑德斯(Bernie Sanders)与众议员格雷格·卡萨尔(Greg Casar)于9月3日宣布,将提出一项永久禁止人工超级智能的法案。该法案将永久禁止开发和部署能够超越人类、颠覆政府或使关闭指令失效的系统;在联邦监管机构建立安全规则和模型审查程序之前,暂停高性能AI的开发;并新设一个部级机构,负责监督危险能力的清除以及超级智能系统的退役。违规企业最严重可能被强制解散,个人则最高可面临20年监禁。桑德斯引用了考克森的帖子,写道:"考克森先生说得对。正是打造这项技术的人自己承认,它可能威胁人类的未来。"

英国议会同一周也出现了动作。工党议员亚历克斯·索贝尔(Alex Sobel)提出一项法案,禁止人工超级智能的开发、部署和运行,并授予政府权力,在供应链的多个环节——包括芯片层面——监控和管控相关开发活动。这份法案并非由议员办公室起草,而是出自非营利组织Control AI之手。一天后,工党议员达伦·琼斯(Darren Jones)向首相、经济合作与发展组织(OECD)及联合国发出公开信,呼吁各方介入,阻止超级智能的不安全开发。信中直接引用了哈宾格的表态,称无论这是营销夸大其词还是真实的灭绝警告,各国政府都必须采取行动。

这一连串诉求看似在一周内集中爆发,但铺垫其实早在7月就已经完成。METAL查阅的一封节奏调控公开信上,签有1386名前沿AI公司员工的名字,签名者来自OpenAI、Anthropic、谷歌DeepMind、Meta AI和Safe Superintelligence,其中包括Anthropic首席执行官达里奥·阿莫代伊(Dario Amodei)和Safe Superintelligence首席执行官伊利亚·苏茨克维(Ilya Sutskever)。信中的诉求只有一句话:建立技术和制度手段,有意识地为自动化AI开发的前沿设定节奏。这封信由两家非营利组织——Guidelight AI Standards和Encode AI——公开发布。

随后在9月11日,彭博社报道称,萨姆·奥特曼(Sam Altman)在一次内部会议上告诉员工,OpenAI可能会与其他几家实验室步调一致地放慢开发速度。据报道他也承认,可能会有公司不愿跟进。这一句话,几乎把提出对策和真正落地之间的全部距离都说尽了。

反对的声音同样清晰。离开谷歌一事曾广受关注的研究员廷尼特·格布鲁(Timnit Gebru)对这整场风波有着不同的解读。她在接受《连线》采访时打了个桥梁的比方:一座桥倒塌时,没有人会去追问这座桥是否讲道德、是否有意识、为什么"决定"倒塌。正常该问的是谁把桥造得这么粗劣、审批和检查环节去哪儿了——一旦开始质问那座正在倒塌的桥本身,其实就已经跑题了。她表示,真正称得上生存威胁的,是战场上已经在使用的自主武器、气候灾难,以及企业拿AI当借口裁员。在她看来,机器之神的叙事正是把人们的注意力从这份清单上引开的东西。

另一种反对意见则针对这场风波本身的形态。立场偏保守的资本研究中心(Capital Research Center)的帕克·塞耶(Parker Thayer)认为,考克森的帖子看起来像一场精心策划的公关行动。他指出,一个几乎没有粉丝的账号发出的首条帖子,与《华尔街日报》的一篇独家报道相差仅18分钟;最先转发扩散的三个账号,都是长期倡导AI监管的非营利组织负责人;而这些组织都通过同一家基金会,接受过Anthropic投资人兼董事会成员扬·塔林(Jaan Tallinn)的资助。他还指出,同一周桑德斯的超级智能禁令法案早已箭在弦上。面对这些质疑,考克森回应称自己是真实存在的人,持有的也是真实信念,他在接受Axios采访时表示,自己是在股权归属之前就离职的。归属期为六个月,而他任职四个月就离开了。

这两种反对意见说的是不同的事,却在一点上殊途同归:如果把打造这项技术的人自己的恐惧直接变成政策,那么决定这份政策形态的,归根结底还是这批打造技术的人。格布鲁的观点关乎优先级,塞耶的观点关乎是谁在导演这出戏。对这种怀疑最简短的回应,来自Anthropic安全与对齐团队的德雷克·托马斯(Drake Thomas):"如果能把我们活下来的概率哪怕提高1%,我会毫不犹豫地把自己全部的股权都烧掉,我相信业内很多同事也会这么做。真的,我们只是害怕了。这不是精心算计的营销。"

所以,这个故事的下一幕不会来自技术,而会来自程序本身。如果国会就反垄断问题给出某种形式的答复,那些眼下各自表示害怕的人,将第一次有机会在同一份文件上签字。如果没有答复,那就会揭晓OpenAI和Anthropic究竟会不会拿出联合提案,或者正如舒尔曼所说,反垄断从头到尾只是个借口。METR为期八周的调查,将是外部机构究竟能在多大程度上推翻一家公司自己撰写的事件报告的第一次考验。METAL报道过OpenAI宣布"解开"一道著名难题后引发的优先权之争——同一周发生的这起事件,恰好说明这个行业正同时在炫耀能力和坦白危险。

呼吁大家一起踩下刹车,这已经不是第一次有人提出。不同的是,这次说这话的人,手里正握着方向盘。而那个冲进他们中间的律师,至今还没有等到答案。