어텐션

어텐션(Attention)은 AI가 문장을 읽을 때 「어디에 주의를 기울일지」를 계산하는 장치입니다. 비유하면 형광펜 — 긴 문장에서 지금 중요한 단어에 형광을 칠하고, 덜 중요한 단어는 흐리게 두는 방식으로 맥락을 파악합니다.

「Attention Is All You Need」라는 2017년 논문이 이 장치를 AI의 중심에 놓으면서, 그 전까지 쓰이던 복잡한 구조를 한 방에 대체했습니다. 이 논문에서 나온 구조가 바로 트랜스포머이고, 지금 세상의 거의 모든 대형 언어 모델(LLM)이 이 위에 서 있습니다.

뉴스에서 「어텐션 메커니즘」이 나오면, AI가 문맥을 이해하는 핵심 부품 이야기입니다. 최근에는 문장이 아주 길어지면(수십만 토큰) 어텐션 계산이 폭증하는 문제가 있어, 이를 줄이는 효율화 연구가 활발합니다.

「어텐션 연산량을 줄여 긴 문서 처리 비용을 낮췄다」 — 모델의 핵심 부품인 어텐션의 효율을 개선했다는 뜻입니다.