Unswarm

언스웜은 컴퓨터 한 대에서 여러 개의 인공지능 모델을 마치 콜센터 교환원처럼 관리해주는 오픈소스 도구다.

집에서 그래픽카드 여러 장으로 서로 다른 모델을 굴리다 보면, 모델마다 켜는 방법도 다르고 동시에 몇 개까지 돌릴 수 있는지도 제각각이라 손이 많이 간다. 언스웜은 이런 모델들을 하나로 묶어두고, 요청이 들어오면 필요한 모델만 골라 깨우고 다 쓰면 다시 재워준다. 사용하는 사람 입장에서는 뒤에서 몇 개의 모델이 켜졌다 꺼졌다 하는지 몰라도, 마치 하나의 창구에 모든 모델이 항상 대기하고 있는 것처럼 느껴진다.

다만 언스웜은 모델을 더 똑똑하게 만들거나 학습시키는 도구는 아니다. 이미 잘 돌아가는 여러 모델을 편하게 오가도록 정리해주는 관리자에 가깝다. 대신 작업 도중에 모델을 바꾸면 이전에 처리해둔 내용을 다시 계산해야 해서 속도가 느려지는 단점은 감수해야 한다.

기사에서는 "로컬 LLM 여러 개 자동 전환하는 '언스웜' 공개"처럼, 여러 모델을 자동으로 오가게 해주는 도구로 언급돼요. 언스웜 자체가 새로운 인공지능 모델은 아니고, 이미 있는 모델들의 실행을 순서대로 관리해주는 소프트웨어라는 점을 헷갈리면 안 돼요.

1. 깃허브에서 언스웜 저장소를 내려받아 자신의 컴퓨터나 서버에 설치한다.
2. 평소 쓰던 실행 스크립트나 컨테이너를 언스웜에 하나씩 등록한다.
3. 어떤 모델들을 동시에 실행할 수 있는지 규칙을 정해둔다.
4. API 키를 만들어 평소 쓰는 코딩 도구에 언스웜을 하나의 모델 제공처로 등록한다.
5. 도구에서 모델을 선택해 메시지를 보내면, 언스웜이 필요한 모델을 자동으로 켜서 응답을 스트리밍으로 돌려준다.