미니맥스 희소 어텐션
MiniMax Sparse Attention
AI가 문장을 이해할 때 모든 단어 쌍을 다 비교하지 않고 관련 있는 부분만 골라 계산해 속도를 높이는 기법.
쉽게 말하면
미니맥스 희소 어텐션은 AI 모델이 글을 읽을 때 필요한 부분만 골라서 보는 방식이다. 책을 읽을 때 모든 페이지를 처음부터 끝까지 다시 훑는 대신, 미리 붙여둔 인덱스 태그만 골라 필요한 곳만 펼쳐보는 것과 비슷하다.
기존 방식은 AI가 문장 하나를 이해할 때 그 안의 모든 단어를 서로 다 비교한다. 문장이 길어질수록 비교해야 할 쌍이 급격히 늘어나 계산량이 폭증한다. 이 문제를 줄이려고 정말 관련 있어 보이는 부분만 골라 계산하고 나머지는 건너뛰는 방식이 나왔는데, 이런 접근을 통틀어 희소 어텐션이라 부른다.
MSA는 미니맥스가 자사 모델 M3에 적용한 자체 구현이다. 100만 토큰에 이르는 긴 글을 다뤄야 하는 상황에서 필요한 키-값 블록만 골라 연산량을 줄여, 실시간 서비스에서도 감당할 수 있는 속도를 낸다.