dynamic VRAM offloading
当显卡内存不足以装下整个模型时，只搬运当下需要的部分来运行的方法
简单来说
动态VRAM卸载是指显卡内存不够用时，把模型的一部分暂时移到电脑的其他内存中的方式。就像桌子太小放不下整本书,只把正在读的那一页放在桌上,其余的先塞进旁边的抽屉,需要时再拿出来换页。
显卡内存(VRAM)速度快但容量小,电脑的常规内存速度慢但容量大。如果模型比显卡内存还大,就无法一次性全部加载,这时只把当前计算需要的部分送到显卡,其余部分暂时放在别处,这样大模型也能在小显卡上运行。
不过这并非没有代价。就像开关抽屉也要花时间,搬运内存的过程本身会拖慢计算速度。所以用这种方式运行出的结果,通常比用专用大显卡运行得慢。
在报道中是这样出现的
文章中常见这样的表述:"在RTX 4070笔记本上运行了330亿参数规模的模型"。这时常见的误解是"笔记本显卡性能变得这么强了",但实际上很可能并非把整个模型都装进了内存,而是只搬运需要的部分来运行。也就是说,很多时候不是性能提升了,而是用了节省内存的方法。
亲手试一试
在本地运行大模型的工具中,可以查看是否有offload或CPU offload相关设置。打开这个选项后,可以直接对比显卡内存占用减少、但生成速度变慢的情况。