高带宽内存(HBM)

HBM内存是紧贴在GPU旁边、负责高速搬运数据的内存。普通内存通常平铺在芯片旁边的电路板上,而HBM则把多片内存芯片像公寓楼层一样层层堆叠起来,再以最短距离与GPU相连。堆叠层数增加、距离缩短之后,单次能够传输的数据量也大幅提升。

打个比方,普通内存就像四通八达却狭窄的道路网,而HBM则像是直接建在目的地旁边的高速物流枢纽。在训练或运行AI模型时,GPU需要不断读写海量数字,如果这条“物流通道”太慢,无论GPU本身运算速度多快,整体工作都会被卡住。因此,几乎所有最新的AI加速器都会配备HBM。

不过,HBM的制造工艺复杂、产能有限,一旦AI服务器需求激增,它往往比GPU本身更早出现短缺。