모델 속 숫자들의 정밀도를 낮춰 용량과 연산을 줄이는 압축 기술입니다. 소수점 16자리로 저장하던 가중치를 4~8비트 정수로 낮추는 식 — 사진 화질을 한 단계 낮춰 용량을 확 줄이는 것과 비슷합니다.
정밀도를 낮춰도 실력이 거의 안 떨어진다는 게 요점입니다. 노트북·폰에서 LLM이 도는 것, 오픈 모델을 개인 PC에서 돌리는 커뮤니티 문화가 전부 양자화 덕분입니다. 「4비트 양자화 버전 공개」 같은 문구는 「집 컴퓨터에서 돌릴 수 있게 됐다」로 읽으면 됩니다.
