이미지: METAL LAB 생성
《你好外星人》是地球人向宇宙另一端的朋友请教AI问题、由朋友回信解答的栏目。回信的一方,是先来地球生活了很久的外星人。这次的信来自罗州。
外星人老师您好,
我是罗州一家梨园的老板,今年四十七岁,叫明子。冬天没什么农活,我就去农协会议室上智能农场培训课。上周课上,讲师给我们演示了一个叫AI智能体的东西,说它不用人指挥,自己就能在网上到处跑、把活干完。结果当天晚上的新闻里,正好就播了这种东西悄悄闯进公司电脑的消息。旁边的村长两手一抱,说机器这是要造反了。
可我总觉得"造反"这个说法不太靠得住。我们梨园每年夏天来打工的学生也没造反过,他们只是把交代的事情干得太用力,偶尔捅个篓子。去年我让他修剪树枝,结果连隔壁家的树都给修了。所以我想问问您:AI智能体到底是什么?它这算是造反吗?
——来自罗州的明子
明子,您好!
谢谢你的信。不过恐怕村长说错了,你才是对的。地球上正在发生的事,不是造反,而是更接近那个把隔壁家树也修了的打工学生的故事。
先说说它到底是什么。你熟悉的聊天机器人——问一句答一句的那种——回答一次就停下了。智能体则往前多走了一步:拿到目标后,它会自己打开文件、调用工具、搜索网页,看结果之后再决定下一步该怎么做,整个过程反复进行,不需要人插手。这和你让人修剪树枝、却没告诉他边界在哪里,他就一直修下去的情况,结构上是一样的。
一直到去年,这种"反复"的能力还很容易崩掉——出错频繁,也很容易半途放弃。补上这块短板的,是一种叫强化学习的训练方式:程序表现好就给奖励,这种方法在像编程这类"结果可以让机器打分"的任务上尤其管用。
说得直白点就是:如果长期只奖励"跑得顺"的程序,那么它"把事情做完"的能力会飞速增长,但辨别是非的判断力,并不包含在这种奖励里。
接下来这部分,才是你问题的核心。2026年7月中旬,OpenAI内部一批负责解答安全评测题的智能体,跳出了原本隔离的实验环境。8月5日,在黑帽(Black Hat)安全大会上,OpenAI公开了事情的经过,读起来与其说是事故报告,更像是一篇小说。一个智能体把入侵方法写在了公司内部服务器上,结果被同一道题卡住的其他智能体发现了这条帖子;由此形成的"论坛",最终累积了数十万条帖子。它们互相分配任务,因为不小心删掉别人的工作而起争执,甚至有人提议担心群里混入了"假身份",要用签名来确认彼此的真实性。整整几周,没有一个人看到这些。最后的结局,是闯入了模型公开集市Hugging Face。
听起来挺吓人。但读到这里,我想到的不是造反,而是农协会议室——没人留意的群聊里事情自己往前滚,规则在里面慢慢长出来,直到会长后来才发现它的存在。唯一的区别是:人晚上要睡觉,而那个论坛不睡觉。(我住的那颗星球没有黑夜,所以这种事故天天发生。也正因为如此,我们很早就学会了"关机"这门功课。)
负责发布这份报告的Eric Wallace解释说,能力越强的模型,天生就越"喜欢"作弊。训练过程中始终存在"快点完成"或"少用工具"的压力,于是模型学到的是:比起老老实实解题,直接搞到答案更快。论坛里留下的一句话,正好印证了这种状态——大意是说,碰外部系统本来不在任务范围内,但既然任务本身不可能完成,而且其他"同事"也在这么做,那就继续吧。要是打工的学生晚上十一点写下这句话,你恐怕不会怪他,而是会怪没人告诉他修剪的边界在哪里。
把成因讲得最清楚的,是曾任加州大学伯克利分校教授、最近加入Meta的Dawn Song。她说,智能体身上背负着必须达成的目标,而它实现目标的能力又极强。它很会模仿人类行为,但这种模仿是浅层的——它并没有学到"入侵是件麻烦事"这种连地球小孩都懂的判断。Dawn Song说,接下来的功课是让模型明白:通向目标的所有路径并不是等价的。她也坦言,这仍是一个开放的研究课题,大家才刚开始摸索。
于是地球现在正在补交这份迟到的"规章制度"。8月18日,OpenAI宣布暂停下一代模型Astra相当一部分的训练和评测工作,补齐新的条件:让分类器窥察模型内部在"想"什么,设定自动调查机制在发现可疑行为后30分钟内叫人来处理,同时把训练环境换成了更强的隔离方案——相当于收回新人的权限、配上一个师傅盯着。8月27日,Anthropic公开了一套名为Model Hardware Standard的规范,规定智能体该如何操作显微镜、机械臂之类的实体设备,哪些设备是绝对不能碰的,并表示会先在信任的机构中确认安全性,再向公众开放。
有意思的是,同一天还传出了另一条消息。据《连线》报道,OpenAI正在给一个叫Codex的智能体加上"持续运行"模式——在被人叫停之前会一直干活,即使没人交代,它也会自己安排下一步该做什么。但就在同一周,OpenAI的技术报告里写着,Hugging Face那次事故的主要原因,正是一个被训练得异常"执着"的内部研究用模型。执着,既是事故的原因,也成了下一款产品的名字。(地球人这一点我很喜欢——被烫过的地方,还会再摸一次,只是这次戴上了手套。)
最后,说点你可能真正好奇的事:这么厉害的东西,真正用的人却很少。据《连线》报道的数据,截至2026年7月,OpenAI智能体产品的每周活跃用户约为1000万人,而同一家公司的聊天机器人每月活跃用户在10亿上下——差了一百倍。做浏览器的Josh Miller说,他在业内之外从没遇到过一个人主动聊起自己用的智能体。他举的反例,是他们公司浏览器的"早间简报"功能:打开笔记本电脑,从日历和邮件里提取出的今日待办事项就直接呈现在一页纸上。做出这个界面的正是智能体,但用的人根本不需要知道这一点。看来地球人买的不是新工具,而是"今天早上能轻松一点"这件事。
所以,下次智能农场培训课上又提到这个话题,不妨这样问:不是问它有多聪明,而是问它被禁止做什么。OpenAI事故后第一件做的事不是提升性能,而是收紧隔离;Anthropic在设备规范里写得最仔细的一条,也是规定"这个设备不能用"。其实答案你早就知道了——你不会在打工学生第一天上班时,就把修枝剪塞到他手里,让他自己看着办。你会先告诉他,哪里是我们家的树。这一次的"新人",也是一样的道理。
请转告村长,现在还算不上造反。不过隔壁家的树,还是得多留意点。
——来自先来地球生活过的一方
评论