GGUF

모델의 가중치(두뇌 파일)를 하나의 파일로 담는 형식 중 하나로, 개인 PC에서 AI를 돌리는 「로컬 모델」 생태계의 표준 포장재입니다. 로컬 실행 도구의 원조 격인 llama.cpp 프로젝트에서 나왔습니다.

핵심은 양자화와의 짝입니다 — 숫자 정밀도를 낮춰 모델 몸집을 줄이는 압축을 거쳐, 같은 모델도 Q4·Q8 같은 여러 GGUF 버전으로 배포됩니다. 숫자가 작을수록 가볍지만 조금 덜 똑똑해지는 트레이드오프가 있어, 「내 그래픽카드 메모리에 맞는 버전 고르기」가 로컬 사용자의 첫 관문입니다.

새 모델이 공개되면 커뮤니티가 며칠 안에 GGUF 버전을 만들어 올리는 것이 관례입니다. 「GGUF 언제 나오나」가 모델 공개 소식마다 달리는 첫 댓글일 정도로, 이 단어가 보이면 「집 컴퓨터에서 돌려 보려는 사람들」의 이야기라고 읽으면 됩니다.

「신모델 공개 직후 커뮤니티 GGUF 변환 러시」 — 오픈 웨이트 모델 기사 아래에는 늘 로컬 실행 이야기가 따라붙고, 그 중심에 이 파일 형식이 있습니다.