METAL for iPhone

AI 新闻, 现在用 App 阅读。

下载 METAL, 每天发现最新 AI 报道。

在 App Store 下载

iPhone 应用 · 免费下载

也可在 iPhone 的 App Store 中搜索 METAL AI Magazine。

METAL

AI 术语词典ㄹ报道中常见的技术词

Router

在混合专家(MoE)结构模型中,负责当场决定每个输入该唤醒哪些专家来计算的内部装置

简单来说

路由器(Router)就像模型内部的一个问询台。如果把整个模型想象成一家大医院,里面有内科、外科、儿科等各自负责不同工作的科室,每一个科室就相当于一个专家。每当有一位患者,也就是一个输入值进来时,路由器就要当场判断该把它送到哪个科室。

采用这种结构的模型,整体规模可以非常庞大,但实际每时每刻真正工作的科室只是其中一部分。就像医院整体医护人员很多,但给一位患者看病时,真正亮灯的诊室却只有几间。路由器针对每个输入调用多少个专家、调用得多频繁,直接决定了那一刻实际产生的计算成本。

问题在于,路由器究竟依据什么标准挑选专家、实际挑选了多少个,往往只有公司内部才清楚。总规模(总参数量)在发布时常被大方公开,但每次实际工作的人数规模(激活参数量)却常常不公开。

在报道中是这样出现的

文中提到,Qwen3.8-Max 自称激活参数是指“处理特定输入 token 时,通过路由器选择的部分专家实际用于计算的参数规模”。容易被误解的一点是:路由器并非随意挑选科室,而是依据训练过程中学到的、哪种输入适合哪个专家的判断结果来决定。

亲手试一试

可以向已知采用混合专家结构的 AI 聊天机器人这样提问:“你是混合专家结构吗?如果是,你知道每次回答时路由器会挑选多少个专家吗?”大多数情况下,它会回答不知道确切数字,或者说开发公司也没有公开这一信息。这样的回答本身就是理解这个概念的一个很好的例子。

相关词条

出现过这个词的报道

浏览全部词条