jundot/omlx
메뉴바에서 켜고 끄는 맥용 로컬 LLM 서버, oMLX
oMLX는 애플 실리콘 맥에서 거대언어모델을 직접 돌리는 서버를 메뉴바 앱으로 관리하게 해주는 오픈소스 프로젝트다. 여러 요청을 한꺼번에 처리하는 연속 배치 처리와, 자주 쓰는 계산 결과를 램과 SSD 두 단계에 나눠 저장하는 캐시 구조를 갖췄다. OpenAI, Anthropic API와 호환되어 기존 도구를 그대로 연결해 쓸 수 있다.
무엇을 하는 레포인가
- 텍스트 생성 모델뿐 아니라 이미지까지 이해하는 비전언어모델, OCR, 임베딩, 리랭커 모델까지 한 서버에서 관리한다.
- 대화 중 문맥이 바뀌어도 이전에 계산한 값을 램(빠른 저장소)과 SSD(느리지만 큰 저장소)에 나눠 보관해 재활용하고, 서버를 재시작해도 디스크에서 복원해 다시 계산하지 않는다.
- 여러 대의 맥을 네트워크로 묶어 메모리가 다른 기종끼리도 하나의 큰 모델을 나눠 처리하는 실험적 분산 추론 기능을 제공한다.
- GLM-5.2, MiniMax M3 같은 모델은 전용 가속 코드를 켜면 M3 Ultra 기준 초당 845토큰으로, 꺼진 상태의 약 29토큰 대비 약 30배 빠르게 처리된다.
- 관리자 대시보드에서 모델 다운로드, 채팅, 성능 측정, 모델별 세부 설정까지 클릭 몇 번으로 끝난다.
왜 중요한가
맥에서 로컬로 LLM을 돌리려는 개발자나 연구자가 터미널 명령 없이도 메모리 관리와 성능 최적화를 손쉽게 할 수 있게 해준다. 특히 코딩 보조 도구와 연동할 때 이전 대화 맥락을 다시 계산하지 않아 응답 속도와 비용 면에서 실질적인 이득이 있다.
이 레포의 용어
- 연속 배치 처리(Continuous Batching) · 여러 사용자의 요청을 하나씩 순서대로 처리하지 않고 동시에 묶어 효율적으로 처리하는 방식
- KV 캐시 · 모델이 이전에 계산한 내용을 저장해 같은 계산을 반복하지 않게 해주는 임시 저장 공간
- 애플 실리콘 · M1, M2, M3, M4 등 애플이 만든 맥용 자체 칩
- MCP(Model Context Protocol) · AI 모델이 외부 도구나 데이터에 연결할 수 있게 해주는 표준 통신 방식
- LRU 제거 · 가장 오랫동안 안 쓰인 것부터 자동으로 메모리에서 내리는 방식
레포 원문 소개 (영문)
managed from the macOS menu bar
GitHub에서 보기주목받는 레포
- cathrynlavery/diagram-designAI 코딩 도구가 그리는 다이어그램을 흔한 둥근 사각형 대신 잡지 느낌 편집 디자인으로 바꿔주는 스킬
- public-apis/public-apis세상의 모든 무료 API를 한곳에 모아둔 목록 저장소
- semantica-agi/semanticaAI 에이전트가 왜 그런 결정을 내렸는지 그래프로 증명하는 오픈소스 인프라
- cactus-compute/needle14메가바이트짜리 AI 모델로 스마트폰과 웨어러블에서 인터넷 없이 도구 호출하기
- unslothai/unsloth코딩 없이 내 컴퓨터에서 AI 모델을 돌리고 학습시키는 데스크톱 앱
- macro-inc/macro이메일, 채팅, 문서, 업무관리, CRM을 하나로 묶고 AI가 팀 전체 기억을 공유하는 업무 플랫폼
- harry0703/MoneyPrinterTurbo주제나 키워드 하나만 입력하면 대본, 영상 소재, 자막, 배경음악까지 자동으로 붙여 짧은 영상 하나를 완성해주는 오픈소스 도구
- basecamp/omarchyDHH가 만든, 미리 취향껏 세팅된 리눅스 배포판