맥북 안에서 미니 LLM을 처음부터 키우는 오픈소스 앱 나왔다

1. 터미널에서 swift build 명령으로 소스를 빌드한다. MLX용 라이브러리를 처음 받는 과정이라 시간이 걸릴 수 있다.
2. swift run LabLLM으로 앱을 실행하면 애니메이션 배경의 웰컴 화면과 튜토리얼 오버레이가 뜬다.
3. 모델 빌더에서 tiny·small·medium·large 프리셋 중 하나를 고르거나 직접 레이어·차원을 조정한다. 이 단계에서 파라미터 수, 예상 메모리·디스크 사용량이 실시간으로 표시된다.
4. 데이터 브라우저에서 허깅페이스 데이터셋을 검색해 미리보기 후 가져오거나, 로컬의 TXT·JSON·JSONL·CSV·아이메시지 대화 기록을 직접 임포트한다.
5. 문자·바이트·학습형 BPE 중 토크나이저 방식을 고른다. Simple 모드에서는 자동으로 구성된다.
6. 훈련 대시보드에서 사전학습을 시작하면 파란색 훈련 손실, 주황색 검증 손실 곡선과 처리량, 실시간 샘플 출력이 함께 표시된다. 중간에 일시정지·재개·중단이 가능하다.
7. 체크포인트를 저장한 뒤 이를 불러와 이름을 바꾸거나 양자화하고, LoRA·DPO로 추가 파인튜닝을 진행한다.
8. 완성된 모델은 X-Ray 토큰 인스펙터로 내부를 들여다보거나, 로컬 서버로 열어 오픈AI 형식 엔드포인트로 다른 도구와 연결할 수 있다.

누가 쓸 수 있나 — macOS 14 이상, M1 이상 애플 실리콘 맥이 필수 조건이다. 인텔 맥이나 윈도우·리눅스에서는 동작하지 않는 것으로 알려졌다. 계정 가입이나 구독료 없이 무료로 쓸 수 있으며, MIT 라이선스로 배포된다.

무엇을 해볼 수 있나 — 예를 들어 개인 아이메시지 대화 기록을 데이터로 넣고 소형 모델을 파인튜닝하면, 자신의 말투를 흉내 내는 챗봇을 로컬에서 만들어볼 수 있다. 또는 허깅페이스의 특정 도메인 텍스트만 골라 사전학습부터 처음 돌려보면, 대형 모델이 어떤 과정을 거쳐 '말'을 배우는지 손으로 만져보며 이해할 수 있다.

기능 구성 한눈에 보기

영역	지원 내용
모델 설계	GPT 스타일 디코더 프리셋, 검증, 파라미터·메모리 추정
데이터	허깅페이스 탐색, 로컬 임포트, 데이터셋 믹싱, 행 수·비율 조절
훈련	사전학습·SFT·LoRA·DPO, 실시간 지표, 체크포인트, 일시정지·재개
실행	샘플링, 챗, 토큰 인스펙션, 임베딩, 로컬 서버, 양자화 내보내기

배경: MLX와 온디바이스 학습이 만나는 지점

MLX는 애플이 자사 실리콘 칩에서 딥러닝 연산을 빠르게 돌리도록 만든 오픈소스 프레임워크다. 대형 언어 모델 훈련은 보통 클라우드의 대규모 GPU 클러스터가 필요한 작업으로 여겨져 왔지만, MLX는 통합 메모리 구조를 가진 애플 실리콘 위에서 상대적으로 작은 모델을 로컬 훈련할 수 있는 길을 열었다. LabLLM은 이 MLX 위에 그래픽 인터페이스를 얹어, 코드를 직접 짜지 않고도 모델 설계·데이터 준비·훈련·평가·배포까지 한 화면에서 처리하도록 만든 사례다.

에디터의 시선

LLM을 다루는 방식은 지난 몇 년 사이 크게 두 갈래로 갈렸다. 하나는 오픈AI나 앤스로픽 같은 곳이 만든 거대 모델을 API로 빌려 쓰는 길이고, 다른 하나는 라마나 큐원 같은 오픈 웨이트 모델을 받아 자기 서버에서 돌리는 길이다. LabLLM은 이 두 갈래 어디에도 속하지 않는 세 번째 선택지를 보여준다. 아예 처음부터, 랜덤하게 초기화된 가중치에서 시작해 모델이 학습해가는 전 과정을 개인 노트북 안에서 지켜보는 방식이다. 이건 실무용 대안이라기보다 학습용 실험실에 가깝다. 실제로 프로젝트 이름부터 'Lab(실험실)'이다.

큰 모델을 API로 호출해본 사람은 많아도, 트랜스포머가 실제로 손실 곡선을 그리며 '말을 배우는' 순간을 눈으로 본 사람은 드물다. 클라우드 GPU 클러스터를 빌리는 비용과 설정 부담 때문이다. LabLLM처럼 맥북 한 대로 tiny 사이즈 모델을 처음부터 훈련시켜 보면, 파라미터 수를 늘릴 때 메모리 요구량이 얼마나 급격히 뛰는지, 데이터 품질이 나쁘면 손실 곡선이 어떻게 요동치는지를 직접 체감하게 된다. 이 체감이 없으면 '토큰 수'나 '파라미터 수' 같은 숫자는 그저 기사 속 단어로 남는다.

국내에서 AI 교육이나 사내 워크숍을 준비하는 팀이라면 이런 도구를 눈여겨볼 만하다. 서버 비용 없이, GPU 클러스터 승인 절차 없이 노트북 한 대로 '모델이 학습한다는 것'을 실습시킬 수 있기 때문이다. 다만 베타 단계 소프트웨어라는 점, 그리고 tiny·small급 모델은 실제 업무에 쓸 만한 언어 능력을 갖추기 어렵다는 점은 분명히 해야 한다. 여기서 나온 결과물을 그대로 제품에 넣겠다는 기대는 이르다 — 이건 배우는 도구지 배포하는 도구가 아니다.

앞으로 몇 주 안에 이런 로컬 훈련 실험실 형태의 오픈소스 프로젝트가 몇 개 더 나올 가능성이 높다. 애플이 MLX를 계속 다듬고 있고, 온디바이스로 할 수 있는 일의 범위가 매 분기 넓어지고 있어서다. 다음 관전 포인트는 이런 도구가 tiny 모델 실습을 넘어, 실제로 쓸 만한 크기의 모델까지 로컬에서 파인튜닝할 수 있는 수준으로 커지느냐다.