Spectrum-X

Spectrum-X是一种把多台GPU连接成如同一台电脑般协同运作的通信网络。它本身不是GPU,而是拓宽GPU之间数据往来'道路'的技术。

即便多位厨师各自切菜的速度都很快,但如果传递食材的通道太窄,整个厨房的效率也只能受限于这条通道。AI基础设施也是同理。就算买来成千上万块GPU并连接在一起,如果GPU之间传输运算结果的连接速度太慢,GPU数量的增加也无法带来相应的速度提升。Spectrum-X的作用,就是通过改进以太网这一现有网络方式来优化这一连接环节,减少瓶颈。

因此,Spectrum-X从不单独出现,总是伴随大规模GPU集群建设的消息一起被提及。因为决定推理和训练速度的,不是堆了多少块GPU,而是这些GPU之间实际协作得有多好。

在文章中,它常与GPU名称并列出现,比如"将B300专用集群与Spectrum-X网络相结合的架构"。这里常见的误解是把Spectrum-X当成某种GPU,但实际上它并非GPU,而是连接GPU的网络技术。换句话说,B300是负责运算的部件,而Spectrum-X则是在GPU之间传输运算结果的通信方式。