트랜스포머

2017년 구글 연구진이 「Attention Is All You Need」라는 논문으로 발표한 신경망 구조입니다. 문장을 한 단어씩 순서대로 읽던 이전 방식과 달리, 문장 전체를 한꺼번에 놓고 단어들끼리 서로 얼마나 관련 있는지(어텐션)를 계산합니다.

이 구조가 병렬 계산에 딱 맞아 GPU로 거대하게 키울 수 있었고, 그 결과가 지금의 언어 모델들입니다. GPT의 T가 Transformer — 챗GPT·클로드·제미나이 모두 이 뼈대 위에 있습니다. 「트랜스포머를 대체할 새 구조」 기사가 종종 나오는데, 아직 왕좌는 그대로입니다.