METAL for iPhone

AI 新闻, 现在用 App 阅读。

下载 METAL, 每天发现最新 AI 报道。

在 App Store 下载

iPhone 应用 · 免费下载

也可在 iPhone 的 App Store 中搜索 METAL AI Magazine。

METAL

OpenAI 宣布阻断与月之暗面相关的蒸馏活动

OpenAI 表示已阻断一场意图窃取其模型受保护推理的有组织蒸馏活动,并将核心群体指向与 Kimi 开发商月之暗面(Moonshot AI)相关的个人。7 月的两天里,4,000 多名用户发出了 1.6 万次请求。

OpenAI 宣布阻断与月之暗面相关的蒸馏活动

图片:METAL

摘要

  • OpenAI 于 9 月 30 日宣布,已发现并阻断一场意图提取其模型受保护推理的有组织蒸馏活动,并将其中的核心群体指向与月之暗面相关的个人。
  • 该活动于 7 月 1 日开始,7 月 24 日至 25 日激增至 4,000 多名用户发出的 1.6 万次请求,相关模式扩散至 1.5 万多名用户,但在 7 月 28 日前被完全阻断。
  • OpenAI 通过封禁账号、加强推理保护,以及经由前沿模型论坛和政府渠道共享信息作出回应,并将此事界定为违反使用条款的问题,而非开源模型问题。

OpenAI 于 9 月 30 日宣布,已发现并阻断一场意图提取其模型受保护推理的有组织活动。公司将这一活动的核心群体指向与 Kimi 开发商月之暗面(Moonshot AI)相关的个人。据报道,这是 OpenAI 首次公开点名月之暗面。操作者既没有破解加密,也没有侵入数据库,而是通过操纵与模型的交互,使隐藏的推理以请求者可见的形式重现。

OpenAI 将这一活动定性为对抗性蒸馏。根据公告,对抗性蒸馏是指未经授权、系统性地利用一个模型的输出或推理来训练、复制或改进另一个模型的行为。受保护推理是模型在处理任务时留下的内部记录,可能暴露最终答案中省略的信息,并帮助他人复现该模型的能力。公司在公告中表示:"这种操纵并非 OpenAI 模型独有的漏洞。"

手法颇为新颖。操作者先从一个对话中复制加密的推理,再让另一个对话中的模型对这段隐藏推理进行解密和转写。独立安全研究人员也通过负责任披露程序报告了跨模型攻击和对话压缩环节的漏洞,OpenAI 确认他们发现的攻击路径确实存在。

规模随日期逐步显现。活动于 7 月 1 日以较低频率开始,7 月 24 日和 25 日,4,000 多名用户集中发出了 1.6 万次带有提取模式的请求。进一步调查发现,相关提示词模式已扩散到一个超过 1.5 万名用户的群体中,OpenAI 于 7 月 28 日前将其完全阻断。公司在脚注中说明,这些数字指的是尝试提取,而不一定是成功提取。公司还写道,尚不清楚所观察到的所有操作者是否来自同一行为者。

应对措施分为三方面。OpenAI 封禁或限制了欺诈账号,加强了注册和基础设施管控,并扩大了对关联网络的监测。公司堵住了一条允许已持有他人加密推理的人通过重放恢复其内容的路径,并新增检查,用以检测并拦截可能暴露推理的流式输出。当相关活动通过第三方服务进行时,公司与这些服务商合作找出并阻断涉事账号。相关发现已提交给前沿模型论坛和政府信息共享渠道。

OpenAI 将此事界定在使用条款层面。据报道,OpenAI 战略性国家安全政策项目负责人 Caroline Zier 表示:"我们关注的是违反使用条款的行为,而不是开源模型或正当的蒸馏。"与此同时,公告也指出了安全和国家安全风险:被提取的推理可能在不保留原模型安全措施的情况下被用于训练其他模型,而大规模蒸馏可能成为在没有同等安全投入的情况下转移先进能力的通道。

从法律角度看,这份公告的分量落在合同与证据上。OpenAI 所追究的并非黑客攻击,而是以条款所禁止的方式进行的大规模使用,其提出的依据是日期、请求数和用户数等运营记录。归属表述也很谨慎。公司只把核心群体而非全部活动归于与月之暗面相关的个人,并选择了"与该公司相关的个人"而非月之暗面公司本身的措辞。违反使用条款可以通过封禁账号和阻断访问来应对,但向境外开发商追责的手段仍依赖业界信息共享和政府渠道。

月之暗面并非首次被点名。METAL 此前曾报道 Anthropic 发布报告披露七家中国 AI 公司未经授权的蒸馏行为,据报道 Anthropic 此前也曾对月之暗面提出类似指控。据报道,白宫科技政策办公室主任 Michael Kratsios 在 7 月下旬表示,美国政府掌握月之暗面利用 Anthropic 模型蒸馏 Kimi K3 的"信息";本月美国当局发布的一份通告列出了六家中国公司及其各自针对的美国模型。中方驳斥该通告为毫无根据的指责。

也有反对声音。据报道,曾在特朗普政府中主管 AI 政策的 David Sacks 一直批评此类报告是在推动美国禁止竞争对手的开源模型。月之暗面在国内同样承受压力,本月有报道称中国监管机构正在调查深度求索和月之暗面。

METAL 查阅的 OpenAI 公告将此次行动描述为开始而非终点。公司预计,随着前沿模型不断进步,对抗性蒸馏的尝试也会越来越复杂;合作方托管的部署同样需要与自有服务相同的保护,针对工具输出的攻击则需要审视普通可见文本之外内容的防御。公告还警告,支持可移植或可重放推理产物的系统可能面临类似风险。接下来的重点有三:更强的防提取技术保护、更好地检测和处置有组织活动,以及业界与政府之间更深入的威胁信息共享。此案留给业界的课题是:仅仅隐藏推理还不够,还必须把隐藏的推理可能流向何处也纳入设计考量。

评论