Prime Intellect 发表智能体集群文章

开源 AI 基础设施公司 Prime Intellect 发表了一篇文章，提出将智能体集群作为 AI 智能体的下一种结构。这篇名为《On the Nature of the Swarm》的文章由公司研究员 Konstantin Dunas 撰写，他于10月6日先在个人博客发布，随后转载到公司博客的研究栏目。公司于9日在官方 X 账号上写道："推理扩展是有效的，但每个智能体最终都会面临同一个问题：上下文窗口会被填满。"并介绍了这篇文章。Dunas 的结论是，以可扩展方式解决上下文窗口问题的办法只有一个，而这条路直接通向集群。

出发点是上下文窗口的大小。据 Dunas 介绍，目前前沿模型的上下文窗口都停留在约100万 token，没有任何一个严肃的模型拥有1亿 token 的窗口。然而编程智能体每天都在完成看似无法在100万 token 内解决的任务。秘诀在于上下文压缩（compaction）。当窗口接近填满时，让智能体总结到目前为止的工作，再把摘要交给新的上下文继续工作。用这种方式，一个智能体会话可以持续数天，甚至数周。

Dunas 指出，上下文压缩并不能提供无限的上下文。它只是提高了他所命名的"总上下文容量"，即以一次性完成任务所需窗口大小来衡量的最大任务规模。他写道："每一次压缩都是一次押注。负责总结的智能体必须现在就决定以后什么重要。"根据他的经验，在大多数任务中，100万 token 的工作上下文可以相当好地压缩成1.6万 token 的摘要。但在调试这类任务中，第一天被当作噪音忽略的一行日志，到了第三天可能正是解开故障的关键，这时押注就会落空。

文章按两个维度划分扩展上下文的方式：状态是否得以保留，以及摘要是否在问题明确之后才写成。第一种方式是将细节写入文件系统或 REPL、摘要中只留下位置指引的磁盘卸载。问题从"需要记住什么"变成了"需要知道有什么存在"，但下一个智能体重新读取这些文件时又要消耗上下文。第二种是子智能体。主智能体把"找出重试逻辑在哪里"这样的任务交给新智能体时，子智能体可能消耗20万 token 去读文件，而主智能体的上下文只增加任务和答案，也就是几千 token。Dunas 解释说，这个答案同样是摘要，但关键区别在于它是在问题明确之后写成的。

这两种方式恰好在相反的地方存在空缺。Dunas 总结道："磁盘卸载能记忆，却不能思考。子智能体能思考，却不能记忆。"他填补的第四格是不销毁、而是保留下来的持久化智能体。已经读过代码、跑过测试的智能体第二天还能被问到另一个问题，因此压缩不再是一次性的押注。由于多个智能体的上下文并行存在，系统的总上下文容量大致按每个智能体一个窗口的幅度增长。

他反对把这称为一条新的扩展轴。压缩、磁盘、子智能体和持久化智能体都只是构建上下文的方法，他写道："我们仍然在扩展推理算力，只是以更结构化的方式进行。"代价是通信。要把一个智能体的上下文转给另一个智能体，就必须压进一条消息里，这一过程既消耗 token，也会丢失信息。他表示，如果任务中最难的部分需要把所有上下文集中在一处，拆分就毫无帮助。Dunas 还提到 OpenAI 称用1万个智能体解决了纳维-斯托克斯问题，并在脚注中注明这是 OpenAI 的说法，数学家仍在核查。

关于结构的讨论随后从树形转向网状。在根智能体生成子智能体、结果向上回流的树形结构中，所有对话都要经过根节点，一旦根节点的上下文被填满，同样的问题只是上移了一层。在文章的示意图中，问题要经过根节点走4跳才能到达另一分支上的前端专家智能体，而在围绕共享状态构建的网状结构中只需1跳。Dunas 认为，10个智能体时树形结构大概够用，但到了1万个，让彼此平等、能够互相找到并自行分工的结构要合理得多。

他借用了经济学中的一场古老争论。罗纳德·科斯在1937年提出，如果市场如此擅长协调，企业为什么还会存在；弗里德里希·哈耶克在1945年指出，运行经济所需的知识分散在众多人身上，无法全部汇集到中心。Dunas 写道："根智能体就是中央计划者。"他指出，要做好计划就需要全部上下文，而全部上下文恰恰是一个窗口装不下的东西。他提出的起点是模仿人类的组织方式：给智能体共享的 git 仓库、问题跟踪器和 Slack，让共享状态成为唯一的事实来源，再让智能体在解决问题的过程中自行改进结构本身。他称这是把理查德·萨顿的"苦涩的教训"重新引入的一条路。

这一主张与公司近期的工作相呼应。METAL 曾报道 Prime Intellect 用 Rust 重写编程智能体框架 Prime Agent，并让2000多个智能体迁移代码。公司于8月首次发布了自我改进型智能体框架 Prime Agent。METAL 核实的文章原文附有6张示意图和21条脚注，文末感谢 Sebastian Müller 和 Sami Jaghouar 的校对与反馈。截至收集时，公司的 X 帖子浏览量已超过6.6万次。

对构建智能体的人来说，这篇文章提出的问题不是模型窗口能扩大多少，而是上下文放在哪里、由谁重复利用。Dunas 强调"集群不是万能药"，智能体必须足够优秀，能够自行组织并避免重复分工，而且部分通信成本是结构性的。他表示自己也还不知道集群应该采用什么样的形态，并把答案留给了下一篇文章。