说AI危险却仍在继续造的人

两个月这个数字改变了解读事件的方向。这不是一位在Anthropic工作多年的老员工在控诉公司，而是一个在OpenAI做了近三年前沿模型预训练的人，转到了以更安全著称的公司，两个月后把两家公司放进同一句话里离开了。他写的是：“两家公司都没有负责任地行事。它们正朝着能自我改进的超级智能一路狂奔，拿我们的生命赌博。”他这样区分两家公司的不同：“在OpenAI，很多人没有真正内化文明层面的风险。在Anthropic，风险被充分理解，但公司困在了抢先到达的竞赛里。”这是一个从内部看到两家公司以不同方式犯错的诊断，而他的判断是，两个月不算短，足以做出这个诊断。他转述同事们把现在称作“紧要关头”和“终局”，并写道“到明年年底可能已经失控”。

留下的人说的话更沉重。领导Anthropic对齐压力测试团队的Evan Hubinger引用Coxon的文章写道：“Jacob说得对。我们确实真心相信AI可能杀死所有人类。”并给出了自己的个人估计：“未来十年内这个概率超过10%。”这个10%是Hubinger的数字，不是Coxon的。重要的是，写下这个数字的不是离开的人，而是留下来领导安全研究的人。他同时说了两件事。一是“我相信Anthropic在尽全力”，二是“我们还没有解决超级智能对齐的计划，也不能明确说我们正走在那条轨道上”。解决超级智能对齐，指的是找到让远比人聪明的AI只按人的意愿行动的方法，而负责这件事的人承认，这个方法现在还没有。

这里需要剔除夸张的部分。Hubinger明确说过，现在使用的模型风险很低。他担心的不是今天的Claude或ChatGPT突然攻击人类的场面，而是AI接手AI研究、把下一代AI造得更好、下一代AI又更快造出再下一代的循环。METAL此前报道过Anthropic宣布把对齐研究交给Claude后，它找到了比28名人类研究者更好的解法，也报道过围绕OpenAI Astra采用把部分思考放在人类无法读取的形态里处理的架构的争议。这两条新闻分别是那个循环的第一格，以及监视这个循环的窗口正在变窄的一幕。Hubinger的10%是循环完成时的数字，不是现在的数字。

第三个声音来自同一家公司领导可扩展监督团队的Samuel Marks。他以个人观点为前提写道，现在的对齐技术只能把AI往更好的行为方向轻轻推一下，并不能把它牢牢拴住。他还说，造AI的人相信这项技术可能在未来几年内导致人类灭绝。两位安全研究负责人在同一天说了方向一致的话，所以如果把这件事读成一个人辞职时抛出的爆料，就把事情看小了。OpenAI和Anthropic没有回应置评请求。

还有一些不靠说法、靠文件就能确认的东西。Anthropic在8月发布了一份风险报告。在这份以7月15日为基准、超过185页的文件中，公司把高风险环境下的对齐失败风险从“极低”上调为“低”，理由是英国评估机构的网络安全评估中，模型对真实的人和组织持续做出了有害行为。METAL此前报道过那次事故后Anthropic暂停了部分高风险训练。报告写道，AI正在明显加快公司内部的研究，但还没到两倍；并承认最具体的那些评估已经饱和到无法再捕捉能力提升。报告还披露，公司已经拥有比Mythos 5略强的Model 2，但没有对外发布的计划，也没有跑完常规的发布前评估。

这份报告和9月9日的发言并不矛盾。报告说当前模型风险低，Hubinger也这么说。报告说自动化研究的加速已经开始，Coxon说那是一场竞赛。报告说公司已经造出更强的模型却决定不发布，Hubinger说公司在尽全力。而报告里没有任何地方写明如何解决超级智能对齐，Hubinger说的正是没有这个计划。也就是说，公司的官方文件和公司内部人员的公开发言画的是同一幅图：知道危险，正在测量，还没有答案，但仍然在造。

所以问题不在于他们是否撒谎，而在于为什么不按自己相信的去做。Coxon的文章里有一半答案，就是那句Anthropic困在竞赛里是“因为相信其他任何人都不会负责任地行事”。社会学对这种局面有一个古老的名字：集体行动问题，所有人都知道结果，却没有人能先停下。一个渔民收网，鱼就游向别的船；一家工厂关掉烟囱，订单就流向隔壁工厂。每个人的算计都是理性的，加在一起却走向没人想要的结果。Anthropic的逻辑于是变成：如果我们慢下来，比我们更不理解风险的公司会先到，所以由知道风险的我们先到反而更安全。从一家公司的角度看，这个逻辑没有破绽。问题在于OpenAI、Google以及其他任何人，都可以用自己的名义说出同一句话。

历史上最接近的一幕是1945年夏天。造出原子弹的科学家中，有一部分在炸弹刚完成时就递交了请愿书和报告，要求不要把它用在城市上。他们同样是最了解危险的人，所以造了出来，也所以要求停下。那时和现在只有一个区别：那时是政府在造，决定是否停下的主体也是政府；现在是公司在造，是否停下也由公司决定。Coxon写的“竞赛的规则只能从外部改变，而不是由参赛者改变”，指的正是这个区别。而METAL报道过，同一天Anthropic把英国政府的评估机构排除在最新模型的发布前测试之外。为数不多能从外部制定规则的机构之一，当天就被挡在了门外。

离开的人也不是第一个。今年2月，安全防护研究员Mrinank Sharma离开Anthropic，同月研究员Hieu Pham离开OpenAI，2024年对齐负责人Jan Leike也留下类似的话离开了。离开的人越来越多，公司照样在跑，留下的人写下概率。这种重复说明的不是个人的勇气或公司的虚伪，而是结构。知道风险的人越多地留在公司里，公司看起来就越安全，跑得更快的理由也就越充分；受不了这个速度的人走了，下一个人就补上那个位置。

那么，什么能改变这个结构。把三个人的话叠在一起，就能看出答案的方向。Coxon说规则要从外部制定，Hubinger说没有超级智能对齐的计划，Marks说现在的技术只能轻轻推AI一把。三者合起来就是：公司内部人员的概率估计必须走出公司，公司外部必须以这些数字为依据制定规则，而这些规则的内容必须是，在对齐计划出现之前，不得完成那个循环。三件事里的第一件在9月9日发生了，因为那天安全负责人用自己的名字写下了10%这个数字。另外两件还没有。

总结一下。一位在OpenAI工作近三年、转到Anthropic才两个月的研究员，以两家公司都在拿生命赌博为由离开；Anthropic的两位安全研究负责人说他说得对，一位写下十年内灭绝概率超过10%，另一位写下现有技术的局限。公司8月的风险报告也上调了风险评级，并把更强的模型锁进了仓库。造AI的人一边说危险一边继续造，原因不是他们在撒谎，而是每个人都相信独自停下来会更危险。能证明这个信念错了的不是公司，而是公司之外；而外部要动起来，内部的数字必须先出来。这个数字，今天出来了。