RDMA over Converged Ethernet (RoCE)

这是一种通信方式:当多台计算机通过线缆连接在一起时,它能让数据从一台机器的内存直接传送到另一台机器的内存,而不必经过任何一方CPU的处理。

通常,计算机之间交换数据的过程,很像信件经过邮局投递。发送方的CPU要先把数据打包装入信封,接收方的CPU再拆开信封确认内容,然后才能把它转交到需要的地方。每一步都要花时间,而且CPU本来可能在做别的运算,却得停下来处理这些打包和确认的工作。这种通信方式直接跳过了邮局这一环节,把数据从发送方计算机的内存直接搬到接收方计算机的内存里。在这期间,CPU可以专心处理其他任务。

在把多台计算机用线缆连接起来、当作一台机器来用的架构中,计算机之间的数据传输速度往往决定了整体工作的速度。这种方式即便在常见的以太网线缆和设备上也能实现这种直接传输,因此不需要更昂贵的专用硬件也能获得快速的数据传输。

文章提到,DGX Spark的一个端口在Linux系统中会显示为两个以太网接口,再加上对应的两个RoCE接口,一个端口就会呈现出四个网络接口。容易让人误解的一点是,RoCE并不是另外的线缆或设备,而是运行在同一条以太网线缆之上的一种通信方式。物理上插的是同一条线缆,但在其上,普通以太网通信和直接内存传输通信可以同时进行。