Extreme Co-design

Extreme Co-design 指的是,构成一台计算机的多个部件——负责运算的处理器、让各部件互相传输数据的网络、专门负责快速生成结果的加速单元——不是分别造好之后再组装起来,而是从一开始就设计成彼此紧密咬合、如同一体的系统。可以用交响乐团来类比:不是让每位演奏者各自练到最强,而是指挥从一开始就统筹考虑整体合奏,把每个声部安排妥当。

之所以需要这种方式,是因为现在的AI不再是一次性给出答案就结束,而是持续进行推理、调用工具、与其他AI交换信息,并长时间持续完成任务。在这个过程中,即使每个部件单独看起来都很快,只要彼此配合不好,整体的响应速度反而会变慢。所以从设计阶段就把角色分好:负责运算的处理器承担保存海量对话内容的任务,而专门的加速单元则承担持续实时生成答案的任务。

文章中出现的句子类似于:"NVIDIA强调的不是把各个部件分别单独优化,而是Extreme Co-design。"这里容易被误解的一点是,这并不只是把多个部件塞进一个机箱里那么简单,而是指处理单元、网络以及负责生成答案的专用单元,从设计阶段就彼此分工、共同打造出来的成果。