Sparse Attention

稀疏注意力是指AI模型在阅读长文本或长对话时,不用把之前出现的全部内容逐字逐句重新过一遍,而是只挑出需要的部分来参考。这有点像审阅一份很厚的会议记录时,不从头到尾重新读一遍,而是看目录或索引,只翻阅相关的那几页。

在常规方式中,句子里的每一个词都要和其他所有词逐一核对关系,文本越长,计算量就会像滚雪球一样越滚越大。稀疏注意力只保留其中真正重要的关系,其余的则跳过不算。这样一来,模型就能处理更长的文本,同时大幅节省计算资源和响应时间。

不过,具体挑选哪些部分、跳过哪些部分的规则,不同模型各不相同。这套规则设计得好不好,决定了速度与准确度之间的平衡。

文章提到,MiniMax旗下模型M3能够处理长达100万token的超长上下文,同时还能快速响应,原因就在于其自研的稀疏注意力技术'MSA(MiniMax Sparse Attention)'。据介绍,这项技术只挑选必要的键值(key-value)块进行运算,使其能在Modular Cloud上处理每分钟数十亿token规模的流量。与常见的误解不同,稀疏注意力并不是靠牺牲模型性能(准确度)来换取速度的技术,实际上,它的设计重点在于减少不必要的计算,从而在处理长输入时依然保持性能。