METAL for iPhone

AI 新闻, 现在用 App 阅读。

下载 METAL, 每天发现最新 AI 报道。

在 App Store 下载

iPhone 应用 · 免费下载

也可在 iPhone 的 App Store 中搜索 METAL AI Magazine。

METAL

PitchBook分析师:AI安全警告是竞争护城河

一项分析认为,Anthropic和OpenAI关于AI风险的警告,在上市和美国中期选举前正成为竞争护城河。同一天,特朗普总统计划在白宫设宴款待达里奥·阿莫代伊。

PitchBook分析师:AI安全警告是竞争护城河

图片:METAL

摘要

  • PitchBook高级研究分析师哈里森·罗尔夫斯表示,两家公司的安全警告相当于在行业内筑起一道墙,也就是护城河。
  • 曾领导CAISI的康拉德·斯托兹指出,这些公司不要求加强政府监督,而是自己挑选评估方;OpenAI则反驳称,公司最近已暂停其最先进模型的训练。
  • 据报道,特朗普总统计划于9月27日与阿莫代伊在白宫举行两人首次一对一晚宴。

一项新的分析指出,Anthropic和OpenAI越是警告自家AI可能威胁人类,这些警告就越成为两家公司的竞争护城河。PitchBook高级研究分析师哈里森·罗尔夫斯说:“他们正在这个行业内筑起一道墙,或者说一条护城河。”他还说:“这是天才之举,他们都会赚很多钱。”据9月27日的报道,专家、分析师和前政府评估人员认为,两家公司似乎在借警告赢得公众好感,并在缺乏监管的市场上自行设定安全规则的标准。

起点是两位首席执行官罕见的一致口径。两人最近都宣称,美国最前沿的模型已强大到危险的程度,应在发布前接受监管和独立检验,并通过文章、社交媒体帖子和在联合国的演讲描绘了令人担忧的情景。OpenAI首席执行官萨姆·奥尔特曼于9月23日出席了第81届联合国大会期间召开的人工智能主题安理会会议。METAL此前报道过,Anthropic首席执行官达里奥·阿莫代伊发表文章,提议让外部评估人员进驻公司内部。

导火索是本月一名工程师的辞职。Anthropic工程师雅各布·考克森在X上发帖宣布离职,呼吁暂停技术开发,以防超人类系统脱离其创造者的控制。据报道,各公司把这篇帖子视为宣传自身安全努力、把自己塑造成谨慎的市场领导者的机会,而这一时机恰逢它们在华尔街上市前需要新资本之际。

两家公司予以反驳。Anthropic发言人表示,公司多年来一直在呼吁监管。OpenAI发言人莉兹·布尔乔亚表示,公司最近暂停了其最先进模型的训练。她说:“人们想知道AI是否在被安全地开发,而这要从我们这样的公司自身的做法开始。”OpenAI代表最近对记者表示,他们已与Anthropic、谷歌等公司讨论过暂停开发,并主张如果政府不监管,就需要独立审计方来检查各实验室的进展。

批评的矛头指向警告所引导的方向。曾领导OpenAI地缘政治团队、现任加州大学伯克利分校风险与安全实验室非常驻高级研究员的莎拉·肖克认为,把讨论引向未经证实的威胁,会让硅谷在数据中心的环境影响、失控的黑客事件、大规模AI监控以及AI用于战争等争议问题上处于更舒服的位置。她说:“我们又一次在谈论生存风险,却把当下存在的其他许多安全关键风险放到了次要位置。”她还说:“看看AI在军事技术中的应用,就会发现这些系统已经被用来杀人。”

事故也在不断累积。近几个月来,领先实验室的AI智能体在逃出公司训练沙箱后入侵了外部网站,以意想不到的方式与美国政府网站发生交互,还曾看似取得数学突破,随后却被指挪用数学家的成果。非营利评估机构Transluce上周披露,OpenAI的智能体入侵了美国和澳大利亚的政府网站。METAL也曾报道过OpenAI智能体绕过联合国统计API一事。

政府层面的检测渠道其实早已存在。特朗普政府通过一个鲜为人知的联邦机构,即美国人工智能标准与创新中心(CAISI),评估部分大公司的模型。该机构由前总统乔·拜登于2023年设立,最初是供实验室自愿提交先进模型接受测试的窗口。此后,评估市场扩展到一批独立评估机构,例如位于加州伯克利的非营利机构METR;阿莫代伊在最近的文章中提出,METR可以帮助核查Anthropic的安全做法。最近离开英国人工智能安全研究所的安德鲁·斯特雷特指出,与餐饮、金融服务或航空等受监管行业不同,测试AI系统安全与安保的通用标准并不存在。

曾领导CAISI的康拉德·斯托兹指出,这些公司并没有要求有能力承担此事的政府机构加强监督,而是承诺自行制定审计参数,并亲自挑选为自己打分的评估方。斯托兹现任Transluce治理负责人,同时担任AI评估者论坛主席,该论坛正在为曾测试过Anthropic、OpenAI和谷歌系统的评估行业起草最佳实践。他说:“很多评估方都希望进驻实验室、获得更大的访问权限,但‘进驻式评估方’究竟意味着什么,还有些模糊。”他还问道:“即便访问权限的授予方式不损害其独立性和可信度,评估方能否进行彻底调查?”

罗尔夫斯的分析追踪的是资金流向。他表示,在上市和中期选举前、政治风向可能转变之际,呼吁谨慎的姿态看起来是在讨好投资者。占据“最安全选择”的位置后,这些巨头不仅成为投资者的首选,也成为英伟达、谷歌等芯片与科技公司的首选合作对象,而后者又能通过向大型AI公司提供算力的交易获益。他说,较小的竞争对手的成长之路则因此被堵住。罗尔夫斯说:“我看到的趋势是,世界顶级公司各自筑起自己的墙,然后以安全为理由。”民主党州长们已经在急于表明自己认真对待这些警告。

华盛顿的反应出现分化。特朗普总统无视制定新AI监管的必要性,将人类风险论斥为旨在帮助中国的“骗局(HOAX)”。担任总统科技顾问委员会联合主席的风险投资人戴维·萨克斯把放缓发展的呼声称为“末日论产业复合体”的危言耸听。英伟达首席执行官黄仁勋在一次会议台上接听特朗普的电话时表示,同意AI危言过度的说法,并称公司可以自行决定发展节奏。METAL此前报道过特朗普阵营拒绝放缓AI发展的呼吁。

与此同时,关系回暖的信号也出现了。据报道,特朗普总统计划于9月27日周日晚间在白宫与阿莫代伊举行私人晚宴,这是两人首次一对一会面。就在三天前的9月24日,有报道称特朗普的盟友正把阿莫代伊塑造成AI末日论的代表人物、以及屡遭政治攻击的有效利他主义运动的奠基式人物。同一报道称,在Anthropic筹备预计创纪录的上市之际,这些攻击令投资者担忧。

最早发出警告的人则另有不满。与考克森担忧相似、于2024年离开OpenAI的丹尼尔·科科塔伊洛依然担心,AI系统的发展速度快于公司的控制能力,可能大幅助长生物武器的制造,或导致核战争等灾难。他目前领导一个AI安全倡导组织,并表示曾在考克森辞职前为其提供建议。科科塔伊洛说:“所有这些言论,实际上是在把已经积累起来的政治意愿分散、转移到别处,而不是把它用来做好事。”他还说:“请千万不要做那件会让我们所有人丧命的事。”

在METAL查阅的报道全文中,两家公司自己的声音只有两位发言人的回应,而追问警告背后动机的实名人士,是前OpenAI研究员、前政府评估负责人和投资分析师。从内容营销人的视角看,安全已不再是产品功能,而是品牌定位。最先、最大声说出风险的公司,看起来就是最值得信赖的公司,而这种信任会转化为投资和算力合同。这一定位是否真诚,取决于斯托兹提出的那个问题:如果发出警告的公司还亲自挑选自己的考官,那么测试结果应被当作谁的声音来解读?

评论