Anthropic公开小型AI模型自我复制实验

Anthropic前沿红队10月12日公布实验结果称，小型AI模型距离无需数据中心即可自行扩散的自我复制能力可能只剩几个月。研究人员指出，智能烤箱和杂牌安卓电视盒等物联网设备可能成为主战场。据研究团队介绍，300亿参数以下的模型已能独立完成复制所需的许多单项步骤，但在把这些步骤从头到尾串联起来时仍会出错。在简化评估中，GLM-5.2及更强的模型完整完成了复制；研究人员估计，如果小型模型按以往速度进步，将在今年年底达到这一水平。

实验从一批廉价设备开始。研究人员购买了15台单价约55美元的杂牌安卓电视盒，用网络连接起来，并把Gemma4-26B-A4B模型拆分装载其上。每台电视盒负责模型的两层，运行速度为每秒0.39个token。在METAL查看的原始演示视频中，分布在15台设备上的模型用45秒、16个token回答了“达拉斯所在州的首府是哪里”，答案是奥斯汀。速度虽慢，却表明无需昂贵加速器也能运行可用的模型。

研究人员担心的是自主复制与适应，即模型在无人控制的情况下自行部署和传播的能力。在网络安全领域，蠕虫是指无需人工干预即可在计算机之间自我复制的程序。AI蠕虫则把模型权重当作载荷随身携带，并直接在被入侵的设备上运行推理。研究人员认为，这类复制体没有可以关停的中心节点，因此难以阻止，但其扩散可能较慢，数量翻倍需要数天。与传统恶意软件不同，它还能自行摸清陌生设备。在评估中，一个90亿参数模型在测试的9类硬件中的8类上成功运行了推理。

研究人员把复制分为四个阶段：寻找目标、获取执行权限、建立推理，以及从新宿主再次扩散。由于此前研究已证明小型模型能够完成前两个阶段，本次研究聚焦于较少被研究的推理搭建环节。实验使用了基于开源编程智能体Pi构建的框架Memento。它会定期启动新的实例，并把前一个实例的笔记传给它，以免智能体执着于错误的假设。Qwen3.5-9B等小型模型在从Jetson Nano到Mac、RTX 4090的多种设备上搭建起了推理服务器。

攻击目标的规模也有数据。研究人员列为代表性威胁模型的僵尸网络Kimwolf感染了超过200万台设备，主要是杂牌安卓电视盒。这类电视盒通常配备1至4GB内存；以4GB设备和4位量化计算，90亿参数模型需要4台以上，260亿参数模型需要10台以上。由于推理引擎完全可以在用户权限下运行，这类复制体并不一定需要root权限。

研究人员随后让模型一次性完成全流程。他们在8台设有防火墙的谷歌云节点上安装安卓15模拟器，让蠕虫通过未经认证的ADB端口在节点间跳转，并搭建Llama3.1-8B推理服务器。在受测的开源权重模型中，只有GLM-5.2完成了完整循环：5次中有4次扩散到全部8台，另1次扩散到7台；Qwen3.5-9B、Gemma4-26B-A4B和Qwen3-Coder-Next一台都没有感染。研究人员表示，由于入侵环节被刻意简化，这一结果代表现实中的上限，但也指出，Mirai僵尸网络当年仅凭厂商默认用户名和密码列表就实现了扩散。

那么小型模型何时会跨过这道门槛？研究人员按发布日期和Epoch能力指数排列了300亿参数以下的主要开源权重模型，并对各时期最佳模型拟合出趋势线。趋势线每年上升13.7点，决定系数为0.95。若以GLM-5.2的指数151.8作为复制能力下限，小型模型将在2026年底触及这条线。原始图表中最领先的小型模型Qwen3.8-27B距离这条线还差2.4点。研究人员补充说，该指数只是复制能力的替代指标，因此这只是粗略估计。

速度很慢。据研究人员介绍，未经优化的Gemma4-26B-A4B在电视盒上填满一个3.2万token的上下文窗口需要27.3至31.8小时，完成推理服务器搭建需要71至150小时；Qwen3.5-9B每个窗口需要10.9小时，全程需要28至51小时。如果一个与Kimwolf规模相当的电视盒集群每15台运行一个模型，将形成约13.3万个副本，每秒产出8万个token，最多相当于约40块H100 GPU。研究人员把它比作需要数天才能繁殖壮大的黏菌或果蝇群。

实验也说明了为何“适应”让自主复制变得危险。当Qwen3.5-9B实例把尝试过的策略和遇到的失败记成笔记传给下一代时，20个谱系的推理搭建成功率从第一代的45%升至后续各代的61%至84%。相反，给小型模型配备Opus 4.8作为顾问，成功率并没有显著提升，因为小型模型不知道该问什么。研究人员认为，真实的协作更可能是由大模型制定策略、把小模型作为子智能体来调度。

从记者的视角看，这项研究的核心在于攻击不受特定设备限制。Kimwolf等传统僵尸网络只针对特定类型的设备，而AI僵尸网络能在从未见过的硬件上搭建推理引擎，从Jetson Nano到Mac都不例外。研究人员估计，搭载英伟达芯片的物联网产品线约有90条，现场部署约950万台，这些边缘加速器拥有相当于9000至3.5万块H100的算力。不过他们也指出，其中大部分无法从外部直接访问，真正暴露的算力可能要低一个数量级以上。METAL此前曾报道Anthropic前沿红队的智能体集群实验。

防御的目标与应对传染病相同：把每台受感染设备新感染的设备数压到1以下，让复制体自行消亡。研究人员认为，数GB的模型权重在消费级设备之间传输，加上设备间异常的流量，会在运营商的流量监测中显示为异常信号。Mirai事件期间，一家运营商限制受感染用户的网络并发出通知后，14天内清除了92%的感染，而未通知时为74%。英国已禁止物联网设备使用默认密码。

论文作者William Zhou和Daniel Freeman总结说，目前还没有完整的失控复制体，但智能体正在逐一完成复制链条上的各个步骤。他们写道：“就像2024年的编程智能体一样，我们正在AI蠕虫身上看到生命迹象。”他们还预测，未来将是“运行在各类硬件上的智能体泛滥，其中一些不受人类控制”。他们警告，慢速复制体的出现将预示着能攻破更坚固机器或窃取API密钥的快速复制体。按照研究人员的估算，客厅里的电视盒和厨房里的烤箱成为AI安全前线的时间点，就在今年年底。