AlexsJones/llmfit
내 컴퓨터에서 어떤 AI 모델이 돌아가는지 명령어 하나로 알려준다
llmfit은 터미널에서 실행하는 도구로 내 컴퓨터의 램, CPU, GPU를 자동으로 확인한 뒤 수백 개의 언어 모델 중 실제로 잘 돌아갈 만한 것을 순위 매겨 보여준다. 명령어 하나만 치면 화면에 표 형태로 결과가 뜬다. 다운로드해서 직접 실행해보고, 실측한 속도를 공유해서 다른 사람들의 예측치를 더 정확하게 만드는 기능도 있다.
무엇을 하는 레포인가
- 수백 개의 AI 모델과 여러 실행 프로그램(Ollama, llama.cpp, MLX 등)을 지원한다
- 하드웨어의 램, CPU, GPU/VRAM을 감지해 각 모델을 품질, 속도, 적합도, 처리 가능한 문맥 길이 네 가지 기준으로 점수 매긴다
- 메모리 대역폭에 기반한 계산식과 실제 사용자들이 측정한 데이터를 함께 써서 속도를 추정한다
- 사용자가 자기 기기에서 실제 속도를 측정해 프로젝트에 결과를 보내면 다음 버전부터 같은 하드웨어를 가진 사람에게 검증된 숫자로 보여준다
- 여러 개의 GPU를 쓰는 환경과 일부 파라미터만 활성화하는 MoE(전문가 혼합) 구조 모델도 지원한다
왜 중요한가
로컬에서 AI 모델을 돌리려는 사람은 어떤 모델이 자기 컴퓨터 사양에 맞는지 일일이 시행착오로 알아내야 했는데, 이 도구는 그 과정을 자동화해 시간을 아껴준다. 실제 사용자 측정치가 쌓일수록 추정이 아닌 검증된 성능 정보로 바뀌어 커뮤니티 전체에 도움이 된다.
이 레포의 용어
- TUI · 터미널 안에서 마우스나 키보드로 조작할 수 있는 화면 인터페이스
- MoE(Mixture-of-Experts) · 전체 파라미터 중 일부만 골라 쓰는 신경망 구조로, 실행 시 필요한 메모리가 전체 크기보다 작다
- VRAM · 그래픽카드(GPU)에 달린 전용 메모리
- tok/s · 초당 처리하는 토큰(글자 조각) 수, AI 모델의 속도 단위
- TTFT · 질문을 입력한 후 첫 답변 글자가 나오기까지 걸리는 시간
레포 원문 소개 (영문)
Hundreds of models & providers. One command to find what runs on your hardware.
GitHub에서 보기주목받는 레포
- cathrynlavery/diagram-designAI 코딩 도구가 그리는 다이어그램을 흔한 둥근 사각형 대신 잡지 느낌 편집 디자인으로 바꿔주는 스킬
- public-apis/public-apis세상의 모든 무료 API를 한곳에 모아둔 목록 저장소
- semantica-agi/semanticaAI 에이전트가 왜 그런 결정을 내렸는지 그래프로 증명하는 오픈소스 인프라
- cactus-compute/needle14메가바이트짜리 AI 모델로 스마트폰과 웨어러블에서 인터넷 없이 도구 호출하기
- unslothai/unsloth코딩 없이 내 컴퓨터에서 AI 모델을 돌리고 학습시키는 데스크톱 앱
- macro-inc/macro이메일, 채팅, 문서, 업무관리, CRM을 하나로 묶고 AI가 팀 전체 기억을 공유하는 업무 플랫폼
- harry0703/MoneyPrinterTurbo주제나 키워드 하나만 입력하면 대본, 영상 소재, 자막, 배경음악까지 자동으로 붙여 짧은 영상 하나를 완성해주는 오픈소스 도구
- basecamp/omarchyDHH가 만든, 미리 취향껏 세팅된 리눅스 배포판