Router
在混合专家(MoE)结构模型中,负责当场决定每个输入该唤醒哪些专家来计算的内部装置
简单来说
路由器(Router)就像模型内部的一个问询台。如果把整个模型想象成一家大医院,里面有内科、外科、儿科等各自负责不同工作的科室,每一个科室就相当于一个专家。每当有一位患者,也就是一个输入值进来时,路由器就要当场判断该把它送到哪个科室。
采用这种结构的模型,整体规模可以非常庞大,但实际每时每刻真正工作的科室只是其中一部分。就像医院整体医护人员很多,但给一位患者看病时,真正亮灯的诊室却只有几间。路由器针对每个输入调用多少个专家、调用得多频繁,直接决定了那一刻实际产生的计算成本。
问题在于,路由器究竟依据什么标准挑选专家、实际挑选了多少个,往往只有公司内部才清楚。总规模(总参数量)在发布时常被大方公开,但每次实际工作的人数规模(激活参数量)却常常不公开。
在报道中是这样出现的
文中提到,Qwen3.8-Max 自称激活参数是指“处理特定输入 token 时,通过路由器选择的部分专家实际用于计算的参数规模”。容易被误解的一点是:路由器并非随意挑选科室,而是依据训练过程中学到的、哪种输入适合哪个专家的判断结果来决定。
亲手试一试
可以向已知采用混合专家结构的 AI 聊天机器人这样提问:“你是混合专家结构吗?如果是,你知道每次回答时路由器会挑选多少个专家吗?”大多数情况下,它会回答不知道确切数字,或者说开发公司也没有公开这一信息。这样的回答本身就是理解这个概念的一个很好的例子。
