K-EXAONE-2.0-750B-A37B-FP8

K-EXAONE-2.0-750B-A37B-FP8은 LG AI연구원이 만들어 공개한 대형 언어모델이다. 이름에 붙은 숫자들이 이 모델의 특징을 그대로 보여준다.

먼저 750B는 이 모델이 가진 지식과 능력의 총 규모를 뜻한다. 아주 큰 백화점을 떠올려보자. 매장 안에는 수천 명의 전문 직원이 있지만, 손님 한 명이 오면 그 사람의 질문에 맞는 몇 명의 전문가만 불려 나와 응대한다. K-EXAONE도 마찬가지다. 전체 규모는 7500억이지만, 하나의 답을 만들 때 실제로 움직이는 건 370억(A37B) 수준뿐이다. 그래서 크기는 크지만 매번 그 전부를 계산에 쓰지는 않는다.

뒤에 붙은 FP8은 이 방대한 모델을 더 가볍고 빠르게 쓸 수 있도록 압축한 방식을 가리킨다. 고해상도 사진을 용량이 작은 파일로 저장하듯, 모델이 담고 있는 수치 정보를 더 단순한 형태로 줄여서 저장한 것이다. 덕분에 성능은 크게 잃지 않으면서 컴퓨터에서 더 적은 자원으로 돌릴 수 있다.

기사에서는 "LG AI연구원이 K-EXAONE-2.0-750B-A37B-FP8을 허깅페이스에 공개했다"는 식으로 등장한다. 여기서 흔한 오해는 750B라는 숫자를 보고 매번 그만큼의 연산이 이뤄진다고 생각하는 것이다. 실제로 답변 하나를 만들 때 움직이는 규모는 A37B, 즉 370억 수준에 그친다.