Nemotron 3.5 Lightning

Nemotron 3.5 Lightning是NVIDIA发布的开放模型,整体上储备了大量知识,但在生成答案时只会调用其中一小部分。

打个比方,就像建了一座巨大的图书馆,每次有人提问,只点亮相关的一两排书架的灯。图书馆整体规模很大,但实际点亮的区域小得多,所以答案出得快,计算机承受的负担也更小。NVIDIA表示,凭借这种结构,该模型生成答案的速度最高可比同等规模的其他模型快4倍。

这种特性尤其适合的场景,不是人与之直接对话的聊天机器人,而是全天候不停重复处理同一任务的自动化程序。人只需问一次、得到一次答案就结束了,但自动化程序为了完成一项任务,可能要调用同一个模型几十甚至几百次。哪怕单次调用耗时只增加一点点,整体作业时间也会大幅增加,因此这款模型的设计目标就是尽可能快地处理这种重复调用。

文章中会这样出现:"Factory在DGX Spark上运行Nemotron 3.5 Lightning,打造出代码不外流公司的开发环境。"名字里带有'Lightning'并不代表模型本身规模小。它的整体知识量很大,只是生成答案时只截取实际用到的那一小部分来使用,所以速度才快。