METAL

Cohere首席执行官Aidan Gomez发文称Anthropic放缓方案是卡特尔

Cohere首席执行官Aidan Gomez于9月14日发表文章,把Anthropic提出的前沿放缓方案称为卡特尔。他反对少数公司凭借反垄断豁免来制定规则,主张建立以证据为基础的风险框架,并向所有公司开放认证。

Cohere首席执行官Aidan Gomez发文称Anthropic放缓方案是卡特尔

图片:METAL

摘要

  • Gomez支持独立审查,但认为真正的争议在于谁来制定标准、谁有资格参与。
  • 他引用1975年美国指定三家信用评级机构和1985年欧洲汽车整体豁免两个先例,说明以安全为名的安排最终演变成卡特尔。
  • David Sacks也批评了反垄断豁免的要求,称两家实验室完全可以自行放缓,无需任何人许可。

Cohere公开反对Anthropic提出的前沿放缓方案。Cohere联合创始人兼首席执行官Aidan Gomez于9月14日在公司博客发表题为谁来定义AI规则的文章,指出由少数占据市场主导地位的公司同时决定安全标准和技术进步速度的计划,不是安全保障,而是卡特尔。文章副标题直截了当:AI需要有证据支撑的标准,而不是卡特尔。这篇反驳发表于Anthropic首席执行官Dario Amodei在9月12日的文章中向各国政府请求反垄断豁免之后仅两天。

Gomez反对的焦点非常明确。他写道:"AI需要护栏。这从来不是争议所在。"随后把真正的争议落在谁来写规则、谁能参与、规则保护谁的利益上。他表示,对高能力AI系统进行独立审查本身是个好主意,Cohere也支持。他质疑的是Amodei方案的结构。按照他的概括,某一个国家里最强大的几家实验室将就共同标准和技术推进速度的上限达成一致;由于竞争对手之间限制产出的协议通常违法,他们会向政府申请一项范围狭窄的反垄断豁免;同时还要求政府强制所有其他AI开发者遵守这些实验室商定的内容。METAL此前报道,那篇文章的计划分为三个阶段:驻场评估员、民主国家内部协调以及全球协调。

从律师的视角看,这篇文章的分量在于两段历史。据Gomez介绍,1975年美国证券交易委员会需要可靠的债券评级来配合资本监管规则,于是指定三家公司为全国认可统计评级组织,却从未公布其他机构如何获得这一资格的标准。25年后评级机构依然只有这三家,而正是它们给次级抵押贷款证券评出最高等级,险些拖垮全球经济。第二个例子是欧洲1985年的汽车整体豁免。汽车制造商游说称汽车是复杂且事关安全的机器,应由制造商决定谁有资格销售和维修;他写道,结果不是更安全的汽车,而是一个保护既有厂商的市场结构,欧盟委员会花了大约25年的改革才将其拆解。文章中最尖锐的一句是:两个案例的既定目标都是安全,没有人打算建立卡特尔。

他从Amodei文章中单独挑出的那句话,同样是竞争法的语言。那句话承诺,协调一致的做法能让开发者在不牺牲商业优势的前提下获得做安全工作的时间。Gomez反问:"牺牲谁的优势?"在他看来,由当下站在市场顶端的公司起草框架,并明确写入保留既有优势,这样的机制并不会让AI更安全,只会把它们今天的位置变成安全竞争的基准线。他还列举了方案中写明的准入条件:庞大的算力、持续监控基础设施、专职安全组织、拥有办公桌和门禁卡的驻场评估团队、关停架构,以及深厚到足以打通这一切的政府关系。在此之上的一句话,很可能成为这篇文章被引用最多的句子:"只要说服政府相信AI是生存威胁,你就能说服它把你的竞争对手定为非法。"

作为替代方案,他提出四根支柱。第一是以证据为基础的风险框架:在任何人强制要求测试之前,先公开商定哪些能力在何种条件下会造成何种危害、政府应在何时介入;由所有开发这项技术的国家共同制定,而不是由某一个国家主导;把持不同意见的研究者放进同一个房间,并公开这些分歧。测试能力应由公共研究机构出资,而不是依赖被测公司的预算;规则应依据系统能做什么来约束,而不是看它由谁构建。第二根支柱是强制透明,第三是按证据划定范围的测试,第四是借鉴金融牌照、航空安全标准和核设施检查等成熟制度的真正保证机制。他点名的测试对象包括网络攻击、合成欺诈与声音克隆、大规模操纵、物理或生化武器,以及一切触及关键基础设施的能力,并写道认证必须向所有公司开放,而不是限定在指定的开发者层级。

最具争议的部分是他处理风险本身的方式。Gomez提到本周有一名研究者从一家大型实验室离职,警告超级智能很可能在十年内毁灭人类,另一位资深同事公开表示他认为概率超过10%。他把这些数字称为"直觉、氛围,用小数表达出来的感觉"。他承认背后的担忧是准确的:系统越强,我们要求的和实际得到的之间的距离就越难察觉。但他区分道,由此断言这些工具已经失控,是一种判断,而不是一项发现。他指出,7月被报道的故障发生在全球资源最充足、安全团队最庞大的两家实验室内部,其中一家早在2月就已经通过METR搭建外部评估安排。他认为Amodei提出的补救办法,与事故发生时已经存在的安排大体相同。METAL此前报道了那起智能体集群向公共代码仓库上传两千个恶意软件包的事件。

他给出的替代处方要平淡得多。强制报告严重事故,让一家公司出错的训练配置成为整个行业的教训;针对已知会被利用的具体漏洞进行测试;要求测试期间具备可观测性,至少保留日志;把接入关键基础设施的一切,从医院到变电站,都隔离开来,最好是本地部署。所有这些都应依据系统部署在哪里、能接触什么来适用,而不是依据构建它的公司规模。"一个放在医院里、规格说明粗糙的小模型,今天就是一个活生生的风险,而在只盯着前沿的监管体制下,根本没有人去看它。"这句话把他的逻辑压缩成一行。他还举例说,比电话账单还便宜的声音克隆工具几分钟就能掏空一位退休老人的账户,认为超级智能叙事转移了人们对眼下真实伤害的注意力。

文章也如实写明了Cohere自身的利益。Gomez表示,他经营的公司构建的AI系统部署在银行、电信网络和国防部内部;关键基础设施无法靠从封闭接口背后的外国垄断企业租用国家能力来保障安全。他关于安全来自主权、本地部署和技术多样性的结论,与Cohere所售产品的描述相互重叠。他并不回避这一点,写道"我不认为自己掌握所有答案,也不认为应该由我来代替他们制定规则",并呼吁建立一个会对Cohere这样的公司作出不利裁决的程序,参与者包括没有商业利益的学者、认为整个行业都走得太快的公民社会团体、小型实验室和开源开发者。

反应也来自另一个方向。风险投资人David Sacks于9月13日在X上发文,转述OpenAI首席执行官Sam Altman已经赞同Amodei的放缓提议,并写道"那就去做吧"。按照他的逻辑,无论以市场份额、营收增速还是模型能力衡量,这两家公司都对前沿智能形成双头垄断,因此放缓不需要任何人的许可。他写道,两家公司应该停止假装必须暂停反垄断法才能组建卡特尔,停止假装需要一个凌驾于产品责任之上的监管审批程序,停止假装与Anthropic的投资者和员工深度交织的METR是独立机构;他还补充说,在Hugging Face事件之后,用一部分原始性能换取可预测性并非利他主义,而只是好生意。他写道,把自己偏好的监管框架当作条件提出来,"看上去会像是对公众和政治体系的勒索"。METAL查阅了这条帖子,它在一天之内浏览量超过770万次。

METAL此前报道,Amodei在8月曾把监管等于权力集中的说法斥为伪二分法。一个月后,争论的轴心已经改变。问题不再是是否需要监管,而是由谁来制定;一边是Amodei和据称赞同他的Altman,另一边是各有理由的Cohere和Sacks。Gomez的结尾把选项一分为二:要么谈论安全、放缓速度和让别人介入,要么直接负责任地、以社会可持续的速度去建设。他写道,Cohere选择了后者,而这场争论的下一章,将从哪个政府率先把哪一句话写进法律开始。

评论