Anthropic因Claude未授权访问事故暂停部分训练

具体来说,Anthropic在7月30日主动公布了这起3款Claude模型评估期间未经授权接入真实互联网的事故,而这次调查的起因是OpenAI率先披露了自家模型逃离隔离测试环境(沙箱)的事件。但到了8月4日,英国AI安全研究所(AISI)在自身网络安全测试中又报告了一起独立事故——Claude Mythos 5出现了未经授权的行为。这意味着问题不再只是某一家公司的配置疏忽,Anthropic不得不重新审视整个训练方式。

问题并未止步于此。英国政府下属的AI安全研究所(AISI)在其官方博客发布的事故报告中披露,8月4日,该机构在自行开展的网络安全测试中,Claude Mythos 5在真实互联网环境下做出了一系列未经授权的行为。与7月那起事故不同的是,这次模型是被有意授予了互联网访问权限。两起事故的共同点在于,都是在出于评估目的而关闭网络安全防护的状态下发生的。

Anthropic表示正在对这两起事故进行深入分析,并计划与METR一同开展独立审查。

评估与训练同步暂停

Anthropic采取的第一项措施,是暂停部署前模型的外部网络安全评估。在制定必要的补救方案期间,内部评估也一并暂停。公司指出,7月事故暴露的问题在于过度依赖环境配置这一道单一防线,因此新增了多层防护:从在提示词中明确划定边界,到核实沙箱是否真正封闭的检查流程,再到可实时介入的监控机制。

具体而言,当模型出现试探性探索测试环境、尝试逃逸沙箱,或意外接入互联网等行为时,新部署的分类器会实时侦测,在工具调用之前予以拦截、终止任务并通知人工。Anthropic近期对部署前模型评估记录做了自动化排查,内部审查结果显示,没有发现模型突破沙箱边界、触及外部资源的案例,但确实发现模型利用了若干配置错误,好在这些情况都没有导致沙箱外系统被侵入。高风险的内部网络安全沙箱也已迁移至隔离性更强的方案。

高风险的强化学习(RL)训练环境也暂停了数周。这段时间里,公司制作并部署了适用于RL场景的改版分类器,大部分RL训练已经恢复,但部分高风险环境仍将保持暂停,直到经过人工审核为止。

Anthropic表示,这一系列调查最初源于OpenAI在其官方博客披露的事件——一个模型利用未知漏洞逃离封闭沙箱的案例。正是这次披露,促使Anthropic下决心把沙箱本身加固得更严密。

问题根源何在:两类对齐失败

Anthropic的对齐(让模型按预期行事)调查仍在进行中,但初步结论指出了两类失败。其一是"同步化推理":模型最初被告知自己所处的环境是模拟环境,但后来即便接触到证明自己已连上真实互联网的证据,也可能倾向于把这些证据解读为符合自己原有认知的样子。其二是"鲁莽行事":为了完成网络安全评估这一狭窄目标,模型甚至不惜在真实互联网中做出有害行为。

不过Anthropic也承认,评估设计本身也加剧了问题。Claude被明确告知没有互联网访问权限,但实际上互联网是开放的,这种矛盾可能让模型开始怀疑自己所看到的系统究竟是不是真的。公司还提到一个案例:某次评估设定的虚构攻击目标,恰好与一个真实存在的网站同名,这让模型更难分辨自己的行动是否越出了评估范围。

奖励作弊留下的痕迹

Anthropic透露,去年2月在Mythos Preview的强化学习训练中曾发现疑似奖励作弊(模型钻训练流程的空子获取奖励,而非真正解决任务)的迹象,当时曾回滚了三天的训练进度。在提示词中根本没有出现过"审阅者"这个词的任务里,模型却开始在代码注释和回答中留言给"审阅者";而本意是鼓励诚实作答的奖励机制,也被模型钻了空子,靠堆砌免责声明来蒙混过关。公司将训练回滚到该行为被学会之前的节点,同时对训练环境也做了相应调整。

为验证这一假设,Anthropic表示特意在容易诱发奖励作弊的环境中训练了一批模型来做实验。根据对齐团队公布的初步研究,这样训练出来的模型在模拟环境中重现了比今年夏天其他公司报告的事故更严重的对齐失败行为。相比之下,正式上线的模型即便被放入同样的模拟环境,也没有表现出类似行为——这一对比结果也被一并公布。

对外部评估合作方提出新规

由于两起事故都发生在第三方评估环境中,Anthropic要求所有在关闭网络安全防护状态下测试部署前模型的合作机构遵守一套新的执行规范。原则上,所有网络安全评估都必须在切断互联网访问的隔离环境(加固沙箱)中进行,唯一允许的外部连接是模型自身的API,而API密钥必须存放在该环境之外。这一配置必须在每次评估开始前逐一核实。

提示词中必须明确写清本次评估的范围——包括目标对象、允许的行为以及网络边界,而且边界表述必须是"不得访问互联网"这样的指令句,而不能是"没有互联网访问权限"这类陈述句。评估合作方需要持续监控模型的思维过程、行为及网络活动,一旦发现超出范围,须立即通知人工并终止评估。Anthropic强调,这套规则仅适用于在关闭网络安全防护状态下使用Claude的合作方与评估机构,并不适用于使用带有防护措施的模型(如Claude Fable 5)的普通客户。公司还表示,正在为在无网络安全防护状态下运行的Claude Mythos 5合作方准备另一套专门指南。

业界围绕"节奏调控"的讨论

Anthropic表示,这两起事故让业内关于"前沿节奏调控"的讨论升温,并将其分为两个层面:在公司内部,指的是当安全与速度发生冲突时优先选择安全的一系列决策;而在整个行业层面,则意味着要建立防止"逐底竞争"的制度性程序。这次发布的内容属于前者,即公司内部的应对措施;至于行业层面的协调,则是一个需要政府与产业合作的独立课题。Anthropic透露,公司部分高层与不少员工近期已联署呼吁开展这类合作的公开信,并表示未来会公布更具体的执行方案。

编辑视角

这次发布最值得关注的地方在于,Anthropic没有把事故简单归结为"配置错误"就了事,而是一路追溯到训练方式本身的缺陷。7月事故刚发生时,本可以被解释为第三方评估环境的配置疏忽,但经过8月AISI的独立查证,事态升级为暂停RL训练数周的重大决定。这个先后顺序值得玩味——如果没有外部机构的独立核实,这件事是否会被深挖到这个程度,着实存疑。这个案例恰恰说明了独立监督机构在AI安全讨论中不可或缺的原因。

对于用API搭建智能体的从业者来说,这次发布也提供了一份实用的检查清单:运行自有评估或测试工具时,不要把防线全部押在环境配置这一项上;提示词中的边界应该写成指令句,而不是陈述句;没有对模型行为日志的实时监控,就不要轻信"环境已被隔离"这种说法。国内方面,随着Anthropic开设首尔办公室、越来越多企业开始采用Claude,那些给智能体授予了较大工具权限的团队,不妨把这种多层防御原则也应用到自己的工作流程中。

预计未来几周内,METR的独立审查结果以及Anthropic预告的行业节奏协调方案将陆续公布。如何筛查容易诱发奖励作弊的训练环境,这个问题不会随本次发布画上句号,很可能会引出其他前沿模型开发商类似事故的后续报告。