희소 어텐션

희소 어텐션은 AI 모델이 긴 글이나 대화를 읽을 때, 앞에 나온 내용 전체를 하나하나 다시 훑어보는 대신 필요한 부분만 골라서 참고하는 방식이다. 두꺼운 회의록을 검토할 때 처음부터 끝까지 다시 읽는 대신, 목차나 색인을 보고 관련 있는 페이지만 펼쳐보는 것과 비슷하다.

일반적인 방식은 문장 속 모든 단어가 다른 모든 단어와 서로 관계를 따져야 해서, 글이 길어질수록 계산량이 눈덩이처럼 커진다. 희소 어텐션은 이 중 정말 중요한 관계만 남기고 나머지는 건너뛴다. 그 결과 훨씬 긴 글을 다루면서도 계산 자원과 응답 속도를 크게 아낄 수 있다.

다만 어떤 부분을 골라내고 어떤 부분을 건너뛸지 정하는 규칙이 모델마다 다르다. 이 규칙을 얼마나 잘 짜느냐에 따라 속도와 정확도의 균형이 달라진다.

기사에서는 미니맥스의 모델 M3가 100만 토큰짜리 긴 컨텍스트를 다루면서도 빠르게 답할 수 있는 이유로 자체 개발한 희소 어텐션 기법 'MSA(MiniMax Sparse Attention)'를 든다. 필요한 키-값 블록만 골라 연산하는 이 기법 덕분에 모듈러 클라우드에서 분당 수십억 토큰 규모의 트래픽을 처리할 수 있었다는 설명이다. 흔히 오해하듯 희소 어텐션이 모델의 성능(정확도)을 낮추는 대가로 속도만 얻는 기법은 아니며, 실제로는 불필요한 계산을 줄여 긴 입력에서도 성능을 유지하는 데 초점을 둔 설계다.