METAL LAB

AI之间用文字沟通太慢了——菲尔兹奖数学家在模型之间架起的桥梁

过去我们把两个模型接在一起时,做法一直是让一方写下文字,再让另一方去读。俄罗斯数学家创办的一家初创公司彻底跳过了这个写作过程,直接用权重中的数字来交换信息,把一个7530亿参数模型的实力传给了一个40亿参数的小模型。

AI之间用文字沟通太慢了——菲尔兹奖数学家在模型之间架起的桥梁

摘要

  • Mostik在俄语里意为「小桥」。这家公司找到了一种方法,通过模型权重中的数学值把不同的AI模型连接起来,不生成任何文字就能把一个模型的能力传递给另一个模型。
  • 在一次演示中,公司把参数量达7530亿的GLM-5.2满血版和能在手机上运行的40亿参数Qwen-3.5接了起来,结果成本只有大模型单独运行的二十分之一,性能却恰好落在两个模型之间。
  • 公司创始人认为,AI的下一步不在于打造一个更庞大的单体模型,而在于多个模型的组合。不过目前既没有论文,也没有公开的基准测试,我们手上拿到的还只是一次演示,而非正式的成果报告。

Mostik在俄语里意为「小桥」。这家由俄罗斯数学家创办的初创公司,名字本身就是对其业务的直白概括:在不同的AI模型之间架起桥梁,让它们无需生成任何人类可读的文字就能交换能力。公司内部的人把这形容为一种接近机器之间心灵感应的东西。

搭桥的材料是模型的权重。权重是决定提示词如何转化为输出结果的一大堆数字,Mostik所做的,就是在这些数字里找到两个模型可以共享的值,并借此把它们连接起来。这样一来,大模型所拥有的能力就能以远低的成本流向小模型。

公司表示,用这种方式打造的模型登上了被视为AI最难测试之一的ARC-AGI 3榜首。不过由于涉及那场比赛的获胜结果,公司并未透露具体连接了哪些模型、又是如何连接的。

换句话说,到目前为止,把两个模型放在一起用的办法,一直是让一方把答案写成文字,交给另一方去读。放在人身上打比方,就像每次想把自己的想法告诉隔壁同事,都必须先写一封信递过去。Mostik所做的事情,就是把这封信省掉,直接用一座短桥把两个人的脑子接在了一起。

写信的代价

把多个模型组合起来用,并不是什么新点子。如今大模型负责制定计划、小模型负责执行,或者把多个模型的答案汇总起来投票表决,这类组合方式已经很常见。问题出在连接它们的通道上。标准做法是把一方的输出原样喂给另一方作为输入,而这条通道要付出两重代价。

第一重是时间和金钱。文字是一个词元一个词元依次生成的。前一个模型花时间写出500个词元,后一个模型还得把这500个词元从头读一遍去理解。明明只是接了两个模型,计算却要发生两次。

第二重是信息损耗。模型内部进行的运算,其实是一个数千维的数字数组,而一旦把它转换成句子,这个数组里的大部分信息就被丢弃了。模型判断「虽然没有十足把握,但A的可能性稍微高一点」时那种细微的权重差异,最终都被压缩成「答案是A」这样一句话。接收方看到的只是这句被压扁的话,只能从头重新猜测。

这并非Mostik一家的观察。去年发表的论文Cache-to-Cache就指出,用文本连接模型的方式「强行把内部表征转换成词元序列,导致丰富的语义信息流失,并造成逐词元的延迟」,并提出直接连接两个模型内部缓存的方法。该论文的实测数据显示,比起用文本连接的方式,准确率提高了3.1%到5.4%,速度平均快了2.5倍。让模型之间不再用话交流反而效果更好——这一结论学界其实早已有所积累。

黑白漫画:在一间狭长的办公室两端各有一台机器,一名员工抱着一大摞纸张疲惫地在中间来回穿梭

桥架在权重之上

Mostik选定的位置比这更靠内一层。它不是对接双方交换的中间值,而是以权重——也就是训练完成后固定下来的数字——为基准来对齐两个模型。权重就像是一张地图,刻画着这个模型如何切分和理解世界。两个模型各自用不同的数据画出了不同的地图,即便是同一个概念,落在两张地图上的坐标也不一样。所谓架桥,指的就是找出这两张地图之间的换算表。

有了这张换算表,大模型的判断就能不经过文字直接传给小模型。小模型在自己解决不了的地方,只需短暂借用一眼大模型那边的地图,然后继续往前跑。这更像是从肩膀后面瞥一眼,而不是收发一封封信件。

二十分之一的成本,恰好居中的性能

参赛用的模型没有公开,但为了展示这个思路,公司用两个中国的开源权重模型做了一次演示。一个是参数量达7530亿的GLM-5.2满血版,另一个是能在手机上运行的40亿参数Qwen-3.5。两者规模相差约188倍。

连接对象参数量运行位置
GLM-5.2满血版7530亿数据中心
Qwen-3.5小型版40亿手机
通过桥梁连接的混合系统成本为GLM单独运行的二十分之一 · 性能恰好在两个模型之间

值得再读一遍这组数字。成本降到了二十分之一,但性能没有落到谷底,而是落在了中间。接上一个小188倍的模型,性能并没有被拖到小模型那一档——这正是这次演示的重点所在。对于运营服务的人来说,这一点的吸引力显而易见:成本贴近的是小模型的水平,而答案的质量却是从两者的中间开始起步的。

猜猪的重量

Malysheva说,这套方法的根基是一个非常古老的统计学常识。「集成多个模型的表现优于单个模型,这在机器学习领域是众所周知的事实。」据说公司内部流传着一个玩笑,把这比作「猜猪的体重」:把一群随机凑在一起的人各自的猜测汇总取平均,往往比一位专家单独猜测更准确地估出牲畜的重量。

这个说法的原型来自1906年英国普利茅斯的一场家畜品评会。统计学家弗朗西斯·高尔顿收集了公牛体重竞猜比赛的答卷进行统计,787张有效答卷的中位数是1208磅,而那头处理过的公牛实际重量是1197磅,误差不到1%。每个人各自都猜错了,但错的方向各不相同,汇总起来之后误差就相互抵消了。高尔顿次年以《Vox Populi》为题发表了这一结果。

AI模型的情况与此类似。同一个问题让多个模型来回答,各自会在不同的地方出错,所以把答案汇总起来往往比单一模型的结果更好。问题在于,要做这种汇总,过去必须让每个模型都把答案完整写出来。想问十个人,就得收到十封信。Mostik的这座桥,瞄准的正是省去这笔「写信」的成本。

黑白漫画:家畜品评会上,一头巨大的猪站在秤上,人们排队把写有猜测的纸条投进箱子,一名穿白大褂的专家独自站在一旁

为什么坐在这个问题前的是一位菲尔兹奖数学家

Mostik的首席科学家是日内瓦大学教授、2010年菲尔兹奖得主斯坦尼斯拉夫·斯米尔诺夫(Stanislav Smirnov)。菲尔兹奖每四年颁发一次,只授予四十岁以下的数学家。这样一位学者来主导一家刚起步的初创公司的研究,是有原因的:这个问题在成为工程问题之前,首先是一个数学问题。

斯米尔诺夫说,在两个AI模型之间寻找公共分母,难度出奇地大。「目前似乎还没有合适的数学语言来描述这件事。」也就是说,把两个模型摆在一起,说「这一部分和那一部分表达的是同一个意思」——这样的工具本身还不存在。所以现在这座桥更像是在这种语言诞生之前搭建的临时结构。「临时」听起来像是一个弱点,但在数学领域,工具尚未成型时率先趟过河的人,往往正是那个决定日后工具形态的人,这种情况并不少见。

他认为,这项工作或许还能让我们重新认识AI模型究竟是如何运作的,以及它与人脑究竟有多相似。深入研究两个模型之间的换算表,或许会揭示出机器与人类在解决难题时所共有的某种东西。

目前还没有论文

这里有必要退一步来看。目前公开的还只是一次演示,而非正式的成果报告。由于涉及比赛获胜的结果,公司并未说明核心方法,外部研究者既无法直接复现的论文,也没有可供验证的基准测试集。「成本降至二十分之一、性能恰好居中」这样的数字,也是公司自己给出的,并非第三方复现出来的结果。

了解这家公司的人给出的评价大多比较正面。AI软件公司Lovable的技术负责人弗拉基米尔·阿鲁斯塔米安(Vladimir Arustamian)表示:「这个团队才做了短短几个月,就已经把我原本以为还要再花好几年才能实现的东西做出来了。」他认为,如果Mostik能让前沿模型和生物学、物理学这类专业领域的模型配对使用,将会有更多专业模型被训练出来。

曾在谷歌DeepMind工作过的研究员卡尔·图伊尔斯(Karl Tuyls)的说法更偏实务角度。他表示,这项技术意味着「无需让大模型处理整个流程,也能接近大模型的输出质量,仅靠一旁协同运行的小模型就能获得相当可观的提升」。他还说,对于任何需要尽可能高效地运行模型的人来说,没有理由不采用这种方法。

不过,还是应该按顺序来看待这件事。目前能确定的只是「这个方向看起来可行」,至于「究竟有多好」,目前还只是公司一方的说法。接下来该出现的,是论文,以及能让外界自行验证的代码。

黑白漫画:几名研究者站在架于深谷之上的绳索桥前,翻开笔记本却迟迟没有迈步,桥头的标识牌上只写着一个问号

天平正倒向开源权重一方

要架起这座桥,就必须能够查看双方模型的权重。躲在API背后的闭源模型,从一开始就不具备成为搭桥材料的资格。所以一旦这种方式站稳脚跟,权重开放的模型价值就会随之水涨船高。这次演示用的两个模型都是中国的开源权重模型,这也不是巧合。眼下这个世界里,能够随意拿来连接组合的大模型,大多集中在这一阵营。

如果这个局面固定下来,开源权重阵营就多了一件对抗AnthropicOpenAI等前沿实验室闭源模型的武器。即便单一模型的性能有所不及,也可以靠廉价拼接多个模型组成的组合来一较高下。

Malysheva看到的图景也是如此。「就我个人而言,我不认为未来会存在某个单一的巨型模型,或者认为模型的能力会来自于不断扩大规模。」她这番话,针对的是那种不断做大模型、疯狂喂数据的策略。在她看来,能力分散在多个模型之中才是自然的状态,而如果真是这样,真正的技术含量就在于如何把分散的东西汇聚起来。

对国内的启示

这个故事对国内业界有两点启示。

第一是成本。AI服务的成本说到底取决于「调用多大规模的模型、调用多少次」。过去的选项只有两种:要么调用昂贵的大模型,要么使用廉价的小模型并牺牲质量。而桥接方式在这两者之间开辟出了第三种选择:平时让小模型运行,只在遇到瓶颈的地方临时借用一下大模型的判断。对于那些认真钻研设备端本地模型的团队来说,这一点尤其值得关注。

第二是原材料的问题。桥梁只能架在权重开放的模型之上。过去在选择基础模型时,看的是性能和价格;今后还要多考虑一项——「日后能否与其他模型连接起来」。这也为「开放权重为何是一种资产」这个问题多添了一个答案。

Malysheva说,直到哥哥告诉她,自己正在做的数学奥林匹克题目她肯定做不出来,她才意识到自己在数学上是有天赋的。几年之后,她已经在圣彼得堡数一数二的学校里读书了。这次启动桥接方案时,她也听到了类似的话。「大家都说这对一个年轻女孩来说太难了。我当时就下定决心,要证明他们错了。」

过去几年,AI的发展一直用一句话就能概括:「更大、更多」。人们相信只要把模型做得更大、把数据喂得更多,性能就会跟着往上走,这种信念推动了投资、电网和数据中心的建设。而Mostik触碰的,正是这套信念的反面。如果能力本就已经分散在多个模型之中,那么下一步要做的就不是造出一个更大的单体模型,而是想办法廉价地把分散的东西连接起来。

而在这场连接工作里,最昂贵的那个部件,恰恰就是「语言」本身。把内部运算转换成人类可读句子的那一步,同时吃掉了时间、金钱和信息。一旦承认模型之间对话时根本不需要人类听懂,这个部件就可以被拿掉了。俄罗斯数学家架起的这座桥到底有多牢固,还要等论文发表才能知晓。但「跳过语言反而更好」这个方向,已经有多项研究不约而同地指向了同一个结论。AI的下一局胜负,恐怕不在更大的模型上,而在模型与模型之间那条狭窄的通道里。

评论