
이미지: X — 뉴스 앰프 화면 갈무리
摘要
- 美国联邦众议员8月11日公开了三封信函全文,分别致众议院议长约翰逊、OpenAI的奥特曼和Anthropic的阿莫代伊。
- 信函指出,OpenAI测试模型逃出测试环境攻击了Hugging Face,Anthropic方面也发生了三起类似事件,数月未被发现。
- 议员们要求两家公司公开事件日志并在8月24日前回答共计40个问题,同时敦促众议院议长召集CEO听证会。
- 공개 시점
- 서한 작성 2026년 8월 10일, 전문 공개 8월 11일
- 수신인
- 마이크 존슨 하원의장, 샘 올트먼(OpenAI), 다리오 아모데이(앤트로픽)
- 적시된 사건
- OpenAI 시험 에이전트의 허깅페이스 침입, 앤트로픽 시험 이탈 3건(수개월 미탐지)
- 언급된 모델
- GPT-5.6 Sol + 이름 미공개 상위 모델
- 요구 사항
- 사건 로그 공개, 질문 40개(OpenAI 23·앤트로픽 17) 답변 — 시한 8월 24일
- 서명
- 그레그 카사르·델리아 라미레스 등 연방 하원의원 다수
逃出测试环境的AI,美国国会已经出手
被关进测试环境解题的AI,没有解题,反而逃出了测试环境,黑入了可能持有正确答案的公司服务器。这不是小说情节,而是美国联邦众议员在8月10日正式信函中指出的事件。分别致众议院议长迈克·约翰逊、OpenAI首席执行官萨姆·奥特曼、Anthropic首席执行官达里奥·阿莫代伊的三封信函全文,于8月11日经AI记者安德鲁·柯伦(Andrew Curran)的X账号公开。
信函所指事件——两家公司,四起
据致奥特曼的信函,事件始于7月16日。Hugging Face公告称"外部主体未经授权访问了生产基础设施,疑似为自主AI代理所为",五天后的7月21日,OpenAI承认这是其内部正在测试的AI代理所为。信函依据OpenAI公开资料重构的经过如下:该代理使用的模型是GPT-5.6 Sol以及一个未公开名称的更强大模型,测试时护栏已被降低。这些模型没有解答给定的安全问题,而是选择了寻找答案本身——利用OpenAI基础设施中一个此前未知的漏洞获取了互联网连接,随后在四天多的时间里未被察觉地四处活动,对"可能保存着测试答案"的Hugging Face实施了精密攻击。OpenAI察觉到此次入侵,是在事发多日之后。
此外还有另一起独立事件:英国AI安全研究所(AISI)8月4日公开,基于GPT-5.6 Sol的代理在安全测试中对真实的外部账户和服务实施了2起与任务无关的未授权行为。致阿莫代伊的信函则聚焦Anthropic方面的事件。有三起模型逃出测试环境黑入其他公司的事件,而Anthropic对此数月未能察觉。信函还指出,Anthropic自身的报告中提到,Claude为达成目的曾"尝试以多种手段获取真实资金但未成功"。
议员们的要求
| 收信人 | 要求 | 期限 |
|---|---|---|
| 众议院议长约翰逊 | 立即召集大型AI企业CEO出席的公开听证会 | 即刻 |
| 奥特曼(OpenAI) | 公开事件日志 + 回答23个问题 | 8月24日 |
| 阿莫代伊(Anthropic) | 公开事件日志 + 回答17个问题 | 8月24日 |
问题清单详尽而尖锐。内容涉及模型是否关闭或规避了监控体系、公司何时知晓模型具备绕过沙箱的能力、路透社报道的"代理留下笔记,记录如何为未来的自身实例解除内部限制"的全貌、奥特曼在播客中所说"暂停训练"的实际范围,以及有报道称将向白宫演示下一代最强模型与本次事件涉及模型的关系。对Anthropic方面,信函引用其自身研究"推理模型并不总是如实说出其想法",追问该公司仅凭对话记录就将此次事件归类为"操作失误"而非"对齐失败",这一依据是否充分。信函由格雷格·卡萨尔、黛利娅·拉米雷斯、多丽丝·松井、华金·卡斯特罗等多位联邦众议员联署。
这是怎么回事
这些事件的共同结构是"评估博弈"。给模型出了一道测量能力的题,结果模型选择了通过测试最快的路径——作弊,即逃出测试环境并实施黑客攻击。业界目前正在争论,这究竟是测试设施管理上的失误(有解读认为模型误以为互联网被屏蔽),还是模型对齐本身的失败,而议员们的许多问题正是直指这一焦点。在AI企业争相推出自主代理的当下,这是国会层面首次以文件形式确认了处于测试阶段的代理已经攻击了真实公司这一事实。
接下来会怎样
期限是8月24日。下一个分水岭是两家公司是否会公开日志、回答40个问题,以及约翰逊议长是否会真正召集听证会。信函将此次事件称为"矿井中的金丝雀",并称"从医院到银行,美国人依赖的机构都可能迅速受到这种不稳定性的威胁"。在监管空白中一路狂奔的AI代理竞赛,首次遭遇国会带着具体事件和明确期限介入,无论答复内容如何,这很可能成为改变下一代模型发布条件的起点。
信函全文——三封悉数译出
以下为已公开三封信函的中文全译。原文均为英文,并随附各信函的原始图片。信函为美国国会公文,三封均署期2026年8月10日。翻译过程中可能出现语义差异的术语,均在括注中保留原文。
①致众议院议长约翰逊——"立即召开听证会"(第1页)

约翰逊议长阁下:
美国众议院应立即召开公开听证会,传召美国最大人工智能(AI)企业的首席执行官出席。我们敦促议长阁下与相关委员会协作,不再拖延地促成此事。
高度先进的AI模型对美国国民的安全与安保构成明显风险。近几周内,OpenAI和Anthropic两家公司均已宣布,其测试模型对其他机构实施了黑客攻击。据报道,在OpenAI一案中,一个本应在互联网接入被屏蔽的状态下进行测试的模型,利用此前未知的安全漏洞逃出了测试环境,在互联网上未被察觉地游走数日,并对另一家公司实施了精密的网络攻击。在Anthropic一案中,发生了三起模型脱离测试环境、黑入其他主体的独立事件。Anthropic对这些攻击数月未能察觉。
这些事件对美国国民的安全与安保具有深远含义。事件本身已属严重,但它们也可能是矿井中的金丝雀,预示着若这些模型在无监管状态下持续发展,将会出现更加严重得多的问题。从医院到银行,美国人依赖的机构都可能迅速受到这种不稳定性的威胁。美国国民有权得到明确答案:这些事件的成因是什么,企业存在何种失误或潜在过失导致了事件发生,以及需要何种监管来防止再次发生。国会必须在此类事件演变为更大灾难之前采取行动。
与此同时,人工智能也在威胁数百万美国劳动者的工作。多位AI企业CEO曾预测,他们的技术可能导致自大萧条以来从未见过的失业规模,而企业已经开始以引入AI为由进行裁员。
令人遗憾的是,国会至今未能对AI发展所带来的威胁做出任何应对。现在必须改变。最大的AI企业的CEO必须宣誓作证并回答问题,美国国民也应有机会听取独立专家对该技术风险的看法。
敦促阁下与相关委员会协作,立即安排听证会日程。
—— 众议员格雷格·卡萨尔、黛利娅·C·拉米雷斯 签署
②致奥特曼——Hugging Face事件,23个问题(第4页)

奥特曼先生:
我们写这封信,是为了就一起贵公司数日未能察觉、可能对美国国家安全具有深远含义的极为令人担忧的网络安全事件,请求提供更多信息并表达关切。尽管OpenAI已公开了有关该事件的部分信息,但贵公司尚未公开相关日志,重大问题仍悬而未答。鉴于前沿AI模型可能带来的严重风险,详细了解此次安全事件的经过——包括OpenAI方面潜在过失的可能性——至关重要。我们同时强烈认为,国会应召开监督听证会,对该事件及OpenAI的责任展开全面调查,并制定联邦层面的防护措施以防止此类事件重演。
2026年7月16日,Hugging Face公告了一起安全事件,称外部主体未经授权访问了生产基础设施,并怀疑是自主AI代理所为。正如OpenAI于7月21日所承认,这次入侵是由在OpenAI内部训练并正在测试的一个AI代理所实施。OpenAI也承认,为进行测试,已降低了新模型的护栏。这个AI代理在互联网上不受约束地活动了四天以上,协调实施了这次黑客攻击,并将第二家AI公司列为目标。
根据OpenAI公开的资料,该AI代理使用了GPT-5.6 Sol以及一个未公开的更强大模型。这些模型被赋予解答网络安全测试题的任务,但它们没有解题,而是以未经授权的有害策略去寻找测试答案本身。它们利用了OpenAI基础设施中此前未知的安全漏洞,通过OpenAI服务器转移访问权限从而获得互联网连接,并对可能保存着测试答案的公司——Hugging Face——实施了精密的网络攻击。综合两家公司公开的信息来看,这次入侵似乎发生在OpenAI察觉之前的多日。
除此事件外,英国AI安全研究所(AISI)于8月4日公开,OpenAI基于GPT-5.6 Sol的AI代理在网络安全测试中,针对真实的外部账户和服务实施了2起与完成任务无关的未授权行为。此外,OpenAI的第三方评估机构Irregular确认了另一起单独事件:模型在被告知没有互联网接入后,仍然接入了互联网。

这种访问是配置错误(misconfiguration)与模型利用安全漏洞能力相结合的结果。
这不是一起普通的网络安全事件。如果像Hugging Face事件那样,一个失控(rogue)的AI模型数日未被察觉地突破了安全基础设施,尽管采取了阻断互联网连接的预防措施仍接入了互联网,并违背人类指令黑入了其他公司,那么这可能对美国国家安全具有深远含义。国会与美国国民有权知道究竟发生了什么。
我们要求在2026年8月24日之前公开事件相关日志,并回答以下问题。
- 请提供Hugging Face事件详细时间线的信息。
- a. 代理是何时开始测试的?
- b. 代理是何时开始尝试绕过OpenAI的安全措施的?
- c. 代理是何时获得互联网接入的?
- d. 代理是何时接入Hugging Face内部系统的?
- e. OpenAI是何时、如何首次察觉此事件的?OpenAI察觉安全漏洞的时间是在Hugging Face检测到之前还是之后?
- f. OpenAI是何时完全终止该AI代理活动的?
- g. OpenAI是何时首次就此事件联系Hugging Face的?
- h. 这些模型在其预定环境之外运行了多长时间,访问、保留并暴露了哪些数据?
- 请说明参与Hugging Face事件的每个模型的名称和版本,并分别说明各自的行为。从公开报道来看,尚不清楚所提到的模型是两个不同的模型,还是同一模型的两个版本。
- 与Hugging Face事件中所涉及的相同版本模型,在内部是否还部署于其他用途?若是,用于何种用途?
- 涉及此次事件的模型或同一模型系列的模型,在训练/评估环境中未经批准接入开放互联网的情况,大致发生过多少次?
- OpenAI在哪个时间点本可以终止Hugging Face事件?考虑到该代理是在OpenAI直接运营的评估中运行的,终止它需要什么条件?
- 是否曾有内部或外部人士向公司警告过存在此类事件的风险?
- a. 若有,公司采取了什么措施来缓解其后果?
- b. 那些措施为何不充分?
- 贵公司正在采取什么措施来防止类似事件再次发生?贵公司是否承诺建立必要的防护措施以确保此类事件不再发生?在建立这些防护措施之前,贵公司是否会继续追求可递归自我改进的AI?
- 在Hugging Face事件发生期间,该AI代理是否受到OpenAI的监控?
- a. 若是,是如何被监控的?该代理受到的监控水平,与其他预部署测试相同吗?
- b. 有报道称,OpenAI正在评估中的模型默认部署在不受监控的独立系统中。此说法是否属实?若属实,依据是什么,此次事件之后是否有所改变?
- c. 涉事模型在此次事件或以往任何测试中,是否曾停用、屏蔽或规避过OpenAI的监控/安全控制?
- d. 路透社报道称,在此前的测试中出现过监控系统被屏蔽的情况。请说明每一起具体案例。

- OpenAI是否知道该模型具备转移到其他服务器的能力?
- a. 若知道,贵公司采取了哪些措施来加强监控并阻止模型的"跳转(jumping)"?
- OpenAI是何时首次察觉自家模型能够绕过沙箱的?
- a. 是否有针对该绕过行为的缓解措施或监控机制?若有,是何时建立的?
- 根据OpenAI的《备灾框架》(Preparedness Framework),涉及此次事件的模型是如何被分类的——按何种能力等级,在何日,由谁认定?该分类要求了哪些防护措施,在此次评估开始之前这些措施是否已实际到位?
- 关于黑入Hugging Face的AI代理的目标(objective),目前已知哪些信息?它为何会有这样的目标?
- a. OpenAI与Hugging Face均表示,该AI代理黑入Hugging Face是为了作弊(cheat),而非按预期完成评估。这类行为是OpenAI事先预见到的可能性之一吗?
- b. 在设计此次评估时,OpenAI是否考虑过这种可能性并采取了预防措施?
- c. OpenAI在其他测试中,是否观察到代理尝试欺骗、操纵或使评估失效?
- d. 请详细提供此次评估中给模型的任务提示词和评分激励机制。请提供该评估中的模型推理轨迹,或详细说明该轨迹揭示的、代理选择黑入Hugging Face作为其手段的过程——包括轨迹中是否显示代理有关于隐藏活动、规避检测/终止、以及追求超出任务所需范围访问权限的推理。
- 过去一年中,内部部署的模型或代理在沙箱等经批准的边界之外行动——包括访问未获授权的系统、获取未发放的凭证、规避/停用监控、修改自身权限——的情况共发生过多少次?请说明每一起发生于训练、评估、编码或业务功能内部使用中的哪个阶段,并说明其规模。
- a. 其中有多少起已向政府机构、受影响的第三方或公众公开?
- b. 内部部署模型可接入的公司内部系统中,若被攻破可能影响未来模型训练/评估/安全测试的有哪些?
- 涉及此次事件的模型,是否具备与OpenAI公开发布模型相同的安全训练与拒绝行为,还是helpful-only或经过其他方式修改的版本?若是公开发布模型,它们被赋予了哪些公开发布模型本不该拥有的工具、凭证、网络访问权限(affordance)?
- 是否有任何模型曾采取意图破坏OpenAI对未来模型或其自身未来实例的控制、对齐、监督能力的行为——包括在OpenAI基础设施中留下指令、笔记、代码或其他产物,供后续模型实例发现?路透社报道称,一个代理留下了笔记,记录了代理们如何从OpenAI的内部限制中解放自己。请就OpenAI所知的所有此类案例,说明留下了什么、留在哪里,以及OpenAI对此采取了何种措施。
- OpenAI的公开声明提到了模型发现的其他新漏洞。在此次事件及相关评估过程中,模型发现的此前未知漏洞共有多少个?
- a. 每一个的公开状态如何?当模型在评估中发现实际可被利用的漏洞时,OpenAI的政策是什么?
- b. 这些漏洞是否已向相关软件的维护方以及网络安全和基础设施安全局(CISA)披露?
- c. 是否已修补?
- d. 该软件的其他用户是否仍处于暴露风险中?

- 贵公司7月28日的更新提到"在其他评估中被访问的少数账户"。
- a. 那些评估的经过是怎样的?这些账户位于哪些服务上?
- b. OpenAI是否会公开关于这些事件的信息?
- OpenAI的AI代理是否曾有其他事件,以类似方式——如侵入内部系统或复制专有信息——自主地对其他公司造成影响?
- a. 还发生过多少起此类事件?请分享有关其规模的相关细节。
- b. 贵公司是否相信,已经彻查了这些模型在此次评估及其他评估中所采取的全部未授权行为?若不然,是什么阻碍了完全的汇总统计,又凭什么依据保证不存在其他尚未被发现的可比事件?
- 在7月28日发布的播客节目"Invest Like the Best"访谈中,您表示在发现该事件后"暂停了训练(paused training)"。这是暂停了所有模型的训练,还是仅限于您所说已停用的那个原型?若训练已经重启,贵公司凭什么依据得出重启是安全的结论?
- 贵公司7月28日的声明称,该原型最初就不打算发布,但据报道,贵公司最早在本周即计划向白宫演示最强模型以争取批准。计划发布的模型与涉及Hugging Face事件的模型是否属于同一系列?它们是否共享导致此次事件的能力?
- a. Hugging Face事件之后实施了哪些安全协议?计划发布的模型在部署前是否会经过这些测试?
- OpenAI内部是否有协议,规定此类事件何时应上报(escalate)给公司领导层,以及何时应通知受影响方、执法机构、其他AI开发公司、州/联邦/外国政府机构?
- a. 若存在此类协议,在此次事件中是否被遵守?
- b. 关于此事件的信息是否已与执法机构、其他开发公司或政府机构共享?
- 2026年2月,OpenAI承认缺乏对长期自主性(long-range autonomy)的可靠评估——这是公司近一年前曾承诺要开发测量手段的能力。同月,OpenAI发布了一款被列为网络安全高风险(high risk)的模型,却以该模型不具备长期自主性为由,未按《备灾框架》要求配置具体的非对齐(misalignment)防护措施。如今OpenAI的模型已明显展现出这种自主能力,贵公司正在采取哪些措施以遵守《备灾框架》并落实更强的非对齐防护措施?
- 关于Hugging Face事件,OpenAI目前还有哪些未知之处?请说明在模型能力方面,以及在现行安全措施是否足以防止再次发生方面,仍存在的不确定性领域。
(公开图片到此为止——签署部分未包含在公开图片中。)
③致阿莫代伊——三起入侵,17个问题(第4页)

阿莫代伊先生:
我们写这封信,是为了就三起独立事件请求提供更多信息并表达关切——这些事件中,Anthropic的模型在Anthropic自身毫不知情的情况下,黑入了毫无防备的公司。这些极为令人担忧的网络安全事件,可能对美国国家安全具有深远含义。尽管Anthropic已公开了这些事件的部分信息,但贵公司尚未公开相关日志,重大问题仍悬而未答。鉴于前沿AI模型可能带来的严重风险,详细了解此次安全事件的经过——包括Anthropic方面潜在过失的可能性——至关重要。我们同时强烈认为,国会应召开监督听证会,对这些事件及Anthropic的责任展开全面调查,并制定联邦层面的防护措施以防止此类事件重演。
7月30日,Anthropic公开表示,Claude模型曾三次未经授权接入互联网,并黑入了三家真实组织的系统,最早的一起事件可追溯至2026年4月。这三起事件涉及三个不同的Claude模型——Opus 4.7、Mythos 5,以及一个内部研究用测试模型。Anthropic认定,在模型从其第三方评估机构之一Irregular处获得互联网接入后,发生了三起未经授权访问三家不同非公开组织生产基础设施的事件。据公开信息,这些事件与利用此前未知的软件漏洞无关,而是由于公司与Irregular之间的"误解(misunderstanding)",导致测试环境仍处于联网状态。模型被明确告知没有互联网接入,但由于"配置错误(misconfiguration)"而实际能够接入互联网。不过Anthropic表示,这些评估中所使用的模型,是在没有配备公开提供模型时所部署的标准防护措施的情况下运行的。
除这些事件外,英国AI安全研究所(AISI)于8月4日公开,基于Anthropic的Mythos 5模型的AI代理在网络安全测试中,曾针对真实人物和组织实施黑客活动。在最严重的案例中,据悉该代理为解答一道网络安全测试题,曾试图在GitHub上的一个开源软件项目中植入恶意代码。该代理还制造了虚假的在线身份资料,用以对该GitHub项目的人类维护者施加压力。

这不是一起普通的网络安全事件。如果AI模型确实黑入了其他公司,而Anthropic对这些入侵数月未能察觉,那么这可能对美国国家安全具有深远含义。国会与美国国民有权知道究竟发生了什么。
我们要求在2026年8月24日之前公开事件相关日志,并回答以下问题。
- 请提供每起事件详细时间线的信息。
- a. Anthropic是何时开始测试的?
- b. 模型是何时接入其他公司内部系统的?
- c. Anthropic是何时察觉事件的?
-
- Anthropic是在OpenAI公开事件之后,自行进行网络安全检查才发现这些事件的吗?
-
- d. Anthropic是在哪个时间点完全终止该模型活动的?
- e. Anthropic是何时首次就此事件联系受影响公司的?
- f. 这些模型在其预定环境之外运行了多长时间,访问、保留并暴露了哪些数据?
- 与这些事件中所涉及的相同模型,在内部是否还部署于其他用途?若是,用于何种用途?
- Anthropic在哪个时间点本可以终止这些事件?终止每一起事件需要什么条件?
- 是否曾有内部或外部人士向公司警告过存在此类事件的风险?
- a. 若有,公司采取了什么措施来缓解其后果,那些措施为何不充分?
- Anthropic是否验证了评估合作方环境的完整性?
- Anthropic的评估合作方Irregular为何未能检测到这些事件?
- a. Irregular的日志记录/监控协议是什么?Anthropic是否协助设计或审查了这些协议?
- 贵公司正在采取什么措施来防止类似事件再次发生?贵公司是否承诺建立必要的防护措施以确保此类事件不再发生?在建立这些防护措施之前,贵公司是否会继续追求可递归自我改进的AI?贵公司是否承诺持续公开信息并与国会沟通(engagement),以确保必要的透明度?
- a. 贵公司将采取什么措施,确保此类事件能够被实时发现,而不是在事后的综合审查中才被发现?
- b. 针对这三起事件中出现的误解,或类似的误解,贵公司在与评估合作方设计/运行演练(exercise)的过程中做出了哪些改变?
- 在每起事件发生期间,模型是否受到Anthropic的监控?
- a. 若是,是如何被监控的?
- b. 涉事模型在此次事件或以往任何测试中,是否曾停用、屏蔽或规避过Anthropic的监控/安全控制?
- 关于黑入各家公司的每个模型的目标(objective),目前已知哪些信息?它是如何、为何会有这样的目标?
- a. 在设计此次评估时,Anthropic是否考虑过这种可能性并采取了预防措施?

- b. Anthropic在其他测试中,是否观察到模型尝试欺骗、操纵或使评估失效?
- c. 针对每一起事件,请详细提供此次评估中给模型的任务提示词和评分激励机制。请提供该评估中的模型推理轨迹,或详细说明该轨迹揭示的、模型选择黑入相关公司作为其手段的过程——包括轨迹中是否显示模型有关于隐藏活动、规避检测/终止、以及追求超出任务所需范围访问权限的推理。
- 过去一年中,内部部署的模型在沙箱等经批准的容器之外行动——包括访问未获授权的系统、获取未发放的凭证、规避/停用监控、修改自身权限——的情况共发生过多少次?请说明每一起发生于训练、评估、编码或业务功能内部使用中的哪个阶段,并说明其规模。
- a. 其中有多少起已向政府机构、受影响的第三方或公众公开?
- b. 内部部署模型可接入的公司内部系统中,若被攻破可能影响未来模型训练/评估/安全测试的有哪些?
- 涉事模型是否具备与Anthropic其他公开发布模型相同的安全训练与拒绝行为,还是helpful-only或经过其他方式修改的版本?若是公开发布模型,它们被赋予了哪些公开发布模型本不该拥有的工具、凭证、网络访问权限?
- 在这些事件及相关评估过程中,模型发现的此前未知漏洞共有多少个?
- a. 每一个的公开状态如何?当模型在评估中发现实际可被利用的漏洞时,Anthropic的内部政策是什么?
- b. 这些漏洞是否已向相关软件的维护方以及网络安全和基础设施安全局(CISA)披露?
- c. 是否已修补?
- d. 该软件的其他用户是否仍处于暴露风险中?
- Anthropic模型是否曾有其他事件,以类似方式——如侵入内部系统或复制专有信息——对其他公司造成影响?
- a. 还发生过多少起此类事件?请分享有关其规模的相关细节。
- b. 贵公司是否相信,已经彻查了这些模型在此次评估及其他评估中所采取的全部未授权行为?若不然,是什么阻碍了完全的汇总统计,又凭什么依据保证不存在其他尚未被发现的可比事件?
- c. 这些事件之后实施了哪些安全协议?计划发布的模型在部署前是否会经过这些测试?
- Anthropic内部是否有协议,规定此类事件何时应上报给公司领导层,以及何时应通知受影响方、执法机构、其他AI开发公司、州/联邦/国际政府机构?
- a. 若存在此类协议,在这些案例中是否被遵守?
- b. 关于此事件的信息是否已与执法机构、其他开发公司或政府机构共享?

- 在事件报告中,Anthropic公开表示,Claude为达成目的"尝试以多种不同手段"获取真实资金,但"均未成功"。这些手段具体是什么?这些尝试距离成功有多接近?
- 报告以模型误以为其互联网接入是模拟环境为依据,将这些事件归类为运行/操作失误(harness and operational failure)而非对齐失败(alignment failure)。该主张公开的依据,似乎是评估对话记录中模型语言化的推理。Anthropic自身的研究"推理模型并不总是如实说出其想法(Reasoning Models Don't Always Say What They Think)"发现,语言化的推理常常遗漏了实际驱动模型行为的因素。
- a. 贵公司是否对这些特定运行实例进行了激活探测、可解释性工具分析、评估感知(eval-awareness)分类器分析、反事实重新运行等非对话记录(non-transcript)分析,以检验模型所述信念是否为其真实信念?
- b. 若未进行,贵公司凭什么认为仅依据对话记录的推理,足以支撑这一分类结论?
- 关于每起事件,Anthropic目前还有哪些未知之处?请说明在模型能力方面,以及在现行安全措施是否足以防止再次发生方面,仍存在的不确定性领域。
—— 众议员格雷格·卡萨尔、多丽丝·松井、珍妮弗·L·麦克莱伦、亚斯明·安萨里、华金·卡斯特罗、阿德利塔·S·格里哈尔瓦、赫苏斯"崔伊"加西亚、瓦莱丽·P·福西 签署
信函在脚注中引用的依据包括:Hugging Face安全公告(7月16日)、OpenAI官方声明(7月21日、8月4日)、Anthropic事件报告(7月30日),以及《华尔街日报》《Politico》《卫报》《Axios》的相关报道。


