LM Studio

LM Studio는 내 컴퓨터 안에 AI를 데려와 직접 돌려볼 수 있게 해주는 프로그램이다. 평소 우리가 쓰는 챗봇들은 회사의 거대한 서버에 접속해 대화를 주고받는 방식인데, LM Studio는 그 서버 역할을 내 노트북이나 데스크톱이 대신하게 만든다.

비유하자면 매번 도서관에 가서 책을 빌려보는 대신, 그 책을 통째로 사서 내 방 서재에 꽂아두고 언제든 꺼내 보는 것과 비슷하다. 인터넷 연결이 끊겨도 쓸 수 있고, 대화 내용이 바깥 서버로 나가지 않는다는 장점이 있다. 다만 서재 크기, 즉 내 컴퓨터의 메모리 용량에 따라 어떤 책(모델)을 꽂아둘 수 있는지가 달라진다. 메모리가 넉넉하지 않으면 크고 무거운 최신 모델을 감당하지 못해, 상대적으로 작고 가벼운 모델을 찾아 써야 한다.

최근에는 이 작고 가벼운 모델군의 신작이 뜸해졌다는 이용자들의 아쉬움도 나온다. 개발사들이 성능 경쟁을 벌이면서 크고 무거운 모델 위주로 신작을 내놓다 보니, 보급형 컴퓨터로 로컬 AI를 쓰는 사람들은 오래된 모델을 계속 쓰거나 감당하기 버거운 모델에 맞춰야 하는 상황에 놓이기도 한다.

기사에서는 "LM Studio에서 돌릴 만한 신형 8B~12B 모델이 안 보인다"는 레딧 이용자의 불만이 소개됐다. 여기서 LM Studio는 AI 서비스 자체가 아니라, 다양한 회사가 만든 모델들을 내 컴퓨터에서 골라 실행하는 실행 프로그램이라는 점을 헷갈리지 않아야 한다. 모델을 만드는 곳과 그 모델을 돌려보는 프로그램은 서로 다른 주체다.

1. LM Studio를 내려받아 설치한다.
2. 프로그램 안의 모델 검색 기능에서 내 컴퓨터 메모리에 맞는 크기의 모델을 찾는다. 숫자 뒤에 B가 붙은 크기 표시(예: 8B, 12B)가 작을수록 가벼운 모델이다.
3. 원하는 모델을 내려받은 뒤 대화창을 열고 "오늘 날씨와 상관없이 기분 좋아지는 문장 하나만 써줘" 같은 프롬프트를 입력해본다.
4. 답변 속도와 품질을 보면서 내 컴퓨터가 감당할 수 있는 모델 크기를 감을 잡는다.