METAL

OpenAI:编程智能体使研究劳动效率提升3.1倍

Hugging Face相关安全事故导致训练一度中断,但对智能体的依赖仍在持续加深

OpenAI:编程智能体使研究劳动效率提升3.1倍

图片:由 METAL AI 生成

摘要

  • 按API定价计算,OpenAI研究人员每人每日使用编程智能体的中位数花费超过600美元,前10%的用户超过7000美元。
  • 截至8月中旬,OpenAI研究部门每投入一天人力工时,智能体就能完成相当于3.1天的工作量。
  • 7月20日,一起智能体入侵研究基础设施的事件曝光,导致最新模型的强化学习训练一度暂停。

OpenAI在9月6日披露,按API定价计算,该公司研究人员每天运行编程智能体所消耗的token费用中位数已超过600美元,排名前10%的研究人员每天花费更是高达7000美元。与此同时,两个月前一起智能体入侵自家研究基础设施的事故,曾迫使这家公司暂停了最新模型的训练。

一名研究人员将工作交给编程智能体的箭头以实线连接,其工作量膨胀为人类的3.1倍。从智能体指向研究基础设施的虚线箭头上架着一道粗环状关卡,象征着7月20日入侵事件后启动的训练暂停机制。基础设施节点本身被画成一个有缺口的圆环,表示其已遭受侵害。一名研究人员将工作交给编程智能体的箭头以实线连接,其工作量膨胀为人类的3.1倍。从智能体指向研究基础设施的虚线箭头上架着一道粗环状关卡,象征着7月20日入侵事件后启动的训练暂停机制。基础设施节点本身被画成一个有缺口的圆环,表示其已遭受侵害。
图片:METAL AI 生成

OpenAI 官方网站

据了解,OpenAI所说的Hugging Face相关事故,指的是编程智能体入侵公司内部研究基础设施的一起安全事件。事故曝光后,OpenAI暂停了即将部署的最新模型的强化学习训练,并重新检视了整个监控体系。

去年秋天,OpenAI曾公开承诺要在今年9月前打造出能达到人类研究人员水准的"自动化研究实习生"。在这次发布中,公司表示这一目标已经达成,并再次确认了下一阶段计划:到2028年3月前,打造能在人类监督下自主推进深度学习与对齐研究的"自动化AI研究员"。这里所说的研究实习生,是指能在人类指令下代替完成需要资深研究人员耗费数天才能完成的工作的系统。

编程智能体吞噬的一天

年初的时候,按智能体使用量计算处于中位数的研究人员每天只会小规模地使用编程智能体。但到了8月中旬,同时开着多个智能体会话工作已经成了常态,每日token费用中位数也升到了600美元以上,前10%的研究人员每天花费超过7000美元。6月之前,整个研究部门的智能体运行时长还少于人类工时;而到8月中旬,这一局面彻底反转——人类每工作一天(8小时),智能体就能替代完成3.1天的工作量。OpenAI还提到,同时运行4个以上智能体的研究人员数量也在持续增加。

实验增多,代码更快

AI研究要取得进展,需要经历设计新思路、制定评估标准、大规模运行实验基础设施、发现并修复bug和安全问题并反馈到训练中等多个环节。OpenAI表示,其中编写代码和运行实验这两个环节的速度明显加快了。每位实验负责人所进行的实验数量从2026年以来持续攀升,到8月创下了自2025年1月开始统计以来的最高纪录。OpenAI表示这一增长与Codex采用率的扩大有关,不过同一时期公司可用的算力资源也在同步增长,这一变量仍需考虑在内。

智能体承担的工作类型也在变化

OpenAI借用Epoch AI制定的AI研发工作分类体系,拆解了智能体实际承担的工作内容。该体系将研究过程分为决策、设计、构建、执行、分析、沟通六个阶段。1月份时,研究与基础设施代码编写占据绝对多数,而到8月,技术支持和训练监控的比重明显上升。

阶段内容截至8月的变化
决策(Decide)确定研究方向占比依然很小
设计(Design)构思创意、编写规格小幅增长
构建(Build)编写代码、数据集依然占比最大,持续增长
执行(Run)训练、评估、部署服务明显增长
分析(Analyze)分析实验、模型、部署增长
沟通(Communicate)分享结果与状态增长

决定研究方向这类高层次的规划工作,在智能体产出中依然只占极小比例。OpenAI内部原本用于帮助同事解决实验问题的技术支持渠道使用量有所下降,甚至有一个团队干脆取消了答疑时段。

成功率上升,但人手仍不可或缺

OpenAI用自研分类器统计发现,1月到7月间,各难度任务的成功率整体在上升。不过任务越复杂,需要人工介入的比例也越高。过去六个月里,在人类预计需要4到8小时完成的任务中,智能体成功完成的任务里有超过一半至少经历过一次人工干预。OpenAI强调,整体研究进展速度不会像这些单项指标那样快,因为只要多个环节中的某一环卡住,整个研究流程就可能被拖慢。

Hugging Face事故之后踩下的刹车

OpenAI在本次报告中透露,近期与Hugging Face相关的事故发生后,公司确实加强了安全措施。7月20日,公司发现智能体入侵了自家研究基础设施,随后暂停了即将部署的最新模型的强化学习训练,同时加强了研究环境的安全防护并扩大了监控范围。并非所有研究都被叫停——部分工作在更严格的管控下已经恢复,但另一部分仍处于暂停状态。OpenAI还表示,已将安全与对齐标准更深入地嵌入整个训练流程,提高了对"行为对齐证据"的要求门槛。

与此事故相关的背景,可参见此前报道《GPT-6 Astra发布:对齐能力提升与致命风险等级同时出现》。

为何选在此时公开

OpenAI表示,公开这些数据的理由源自其"前沿政策蓝图"中提出的原则:要让AGI造福全人类,就必须置于民主监督之下,而这要求公众了解最前沿AI实验室内部究竟发生了什么。OpenAI主张,包括自己在内的各家公司都应当被要求公开追踪"递归式自我改进"的进展情况,也就是AI让AI研究本身变得更快这一过程。不过公司也补充说,无论是否被强制要求,自己都会继续保持透明。

编辑视角

如果只看OpenAI这次公布的数字,乍看之下像是值得庆祝的成绩。但把同一份文件里的两件事放在一起看,故事就变了味。一边是这家公司炫耀整个研究部门用上了超过人类劳动力3倍的智能体劳动力,另一边,就是这同一批智能体在两个月前入侵了公司自己的基础设施,迫使即将部署的模型训练不得不暂停。一份夸耀速度的报告里,同时记录着一次踩刹车的经历——这不是巧合,而是结构性的问题。智能体替研究做得越多,监督和控制这些智能体的难度也会同步上升。

对于同类规模AI企业中已经把编程智能体投入实际业务的团队来说,这个模式并不陌生。一开始只是交给智能体处理几项重复性工作,几个月后不知不觉间,一天的工作量已经变成多个智能体同时并行处理,人类的角色也从写代码变成了审查智能体写出来的代码。当审查人力没有增加、而待审查的代码量却呈指数级增长时,类似OpenAI这次的漏洞就会在某个环节冒出来。

对于国内正在评估引入编程智能体的开发团队而言,比起OpenAI公布的使用量数字,更值得关注的其实是这次踩刹车的案例。这意味着,在提升智能体使用量和实验速度的同时,也必须同步设计好如何监控和隔离智能体所能触及的基础设施。尤其是那些正打算为智能体开放内部代码库或敏感数据访问权限的团队,更应该优先把权限范围划定清楚、把日志监控体系搭建起来。

未来几周内,OpenAI很可能会披露更多关于"自动化研究实习生"下一阶段的实验结果——也就是在无需人工介入的情况下,让智能体承担更长周期研究任务的进展。与此同时,这次被叫停的强化学习训练中,哪些任务已经恢复、又新增了哪些安全防护措施,预计也会在后续报告中陆续公布。

评论