미니맥스, 가사만 넣으면 5분 완곡 뽑는 음악모델 공개

MiniMax-Music3에 넣는 입력은 두 가지다. 하나는 가사인데, 각 줄에 [Intro], [Verse], [Pre-Chorus], [Chorus], [Post-Chorus], [Bridge], [Instrumental], [Solo], [Outro] 같은 구간 태그를 붙여 곡의 구조를 지정한다. 다른 하나는 구조화 캡션으로, 장르·분위기 같은 전역 정보(Global Metadata)와 보컬 특징(Vocal Details), 편곡 지시(Arrangement) 세 부분으로 나뉜다. 짧은 설명만 있어도 되는데, 미니맥스가 함께 내놓은 캡션 재작성 에이전트 스킬이 짧은 문장을 이 3단 형식으로 확장해준다.

안에서는 두 개의 LLM과 플로우 매칭이 움직인다

학습용 토크나이저는 8계층 잔차 벡터 양자화(RVQ)를 쓴다. 첫 번째 시맨틱 코드북이 16,384개 항목으로 곡의 핵심 구조를 담고, 나머지 7개 어쿠스틱 코드북은 각 1,024개 항목으로 세부 음향을 보완한다. 생성 단계에서는 8B 규모의 Global LLM이 프레임 단위로 첫 코드북을 예측해 장기 구조를 잡고, 0.6B Local LLM이 각 프레임 안의 나머지 코드북을 채운다. 이 두 모델의 조합을 미니맥스는 Hybrid-LM이라 부른다.

흥미로운 지점은 합성 단계다. 이산 토큰을 그대로 디코딩하지 않고, 두 LLM의 마지막 은닉 상태를 합쳐 2.4B 규모 플로우매칭 모듈에 넣고, 이를 MiniMax Speech에서 물려받은 123M Flow-VAE가 잠재공간으로 복원한다. 추론 시점에는 이산 토크나이저 디코더 자체를 아예 로드하지 않는다. 다만 베이스 체크포인트 표기는 문서마다 갈린다. 모델카드와 라이선스 문서는 Global LLM이 Qwen3-8B에서 초기화됐다고 적었지만, 미니맥스 리서치 블로그는 Qwen3.5-8B라고 밝혀 정확한 버전은 아직 확정되지 않은 상태다.

어떻게 써보나

실행 경로는 세 가지가 문서화돼 있다. 참조 서버인 SGLang-Omni는 GPU 두 장을 요구하는데, 한 장은 Qwen3 기반 RVQ 자기회귀 생성을, 다른 한 장은 플로우매칭과 디코딩을 각각 맡는다. Diffusers 모듈형 파이프라인은 완전 정밀도에서 VRAM 24GB 이하로 돌아가고, CPU 오프로딩을 쓰면 약 22GB, 리프 단위 그룹 오프로딩까지 쓰면 8GB까지 낮출 수 있다. ComfyUI에는 Comfy-Org가 재패킹한 FP16/INT8 가중치로 만든 네이티브 Text to Music 템플릿이 올라와 있다.

실행 경로	요구 사양	특징
SGLang-Omni	GPU 2장	참조 서버, GPU별 역할 분리
diffusers	24GB 이하(오프로딩 시 8GB)	모듈형 파이프라인
ComfyUI	FP16/INT8 리패킹 가중치	네이티브 템플릿 제공

실제로 곡을 만들려면 우선 Hugging Face나 GitHub에서 모델과 추론 코드를 내려받고, 위 세 경로 중 자신의 GPU 사양에 맞는 쪽을 고른다. 그다음 구간 태그를 붙인 가사와 3단 구조화 캡션을 입력하면 5분 이내 완곡이 WAV로 나온다. 짧은 설명만 있다면 캡션 재작성 스킬로 먼저 형식을 확장하는 편이 결과가 안정적이다. 게임 배경음악, 광고 사운드 브랜딩, 숏폼 영상용 배경 스코어링, 작곡가의 스케치 트랙 제작, 무드 기반 플레이리스트 생성처럼 곡당 API 비용이 걸림돌이었던 대량 생성 작업이 이 모델의 주된 활용 범위로 꼽힌다.

상업적으로 쓰려면 알아야 할 것

MiniMax-Music3 Community License는 상업적 이용을 허용하지만 조건이 붙는다. 제품 UI에 'MiniMax-Music3'라는 이름을 눈에 띄게 표시해야 하고, 이 모델을 쓴 제품에서 나오는 연매출 합계가 2,000만 달러를 넘는 조직은 미니맥스로부터 별도 서면 승인을 받아야 한다. 제3자에게 생성 서비스를 호스팅하는 경우에는 저작권 침해 결과물을 막는 안전장치도 직접 구축하고 유지해야 한다.

에디터의 시선

이 발표에서 눈여겨볼 대목은 곡 길이가 아니라 파이프라인을 하나로 합친 방식이다. 그동안 AI 작곡 도구 대부분은 멜로디 생성, 보컬 합성, 믹싱을 따로 처리했다. MiniMax-Music3는 이산 토큰을 만들어놓고도 정작 디코딩 단계에서는 그 토큰을 버리고 두 LLM의 은닉 상태를 플로우매칭으로 바로 흘려보낸다. 이건 이산 표현이 구조를 배우는 데는 유용해도 자연스러운 음향을 만드는 데는 병목이라는 판단이 깔린 설계다. 같은 회사가 영상모델 H3에서도 영상·오디오·립싱크를 한 번의 추론으로 합쳤던 걸 떠올리면, 미니맥스는 모달리티마다 3단 파이프라인을 1단으로 줄이는 전략을 음악에도 그대로 적용한 셈이다.

오픈웨이트 음악 생성 모델을 실제로 붙여보면 결론이 항상 비슷했다. 짧은 루프나 배경음은 그럴듯하게 나오지만, 보컬이 들어간 완곡에서 구간 전환이 어색하거나 발음이 뭉개지는 경우가 많았다. 이번 모델이 구간 태그와 3단 캡션이라는 두 겹의 통제 장치를 붙인 이유도 여기 있을 것이다. 다만 24GB급 GPU가 있어야 편하게 돌릴 수 있다는 사양은 여전히 개인 창작자에게는 진입 장벽이고, 8GB까지 낮추는 그룹 오프로딩 옵션이 실제로 속도를 얼마나 희생시키는지는 써봐야 알 수 있다.

국내 게임사나 광고 대행사, 숏폼 콘텐츠 제작팀이라면 지금 당장은 데모 트랙 제작이나 배경음 대체 용도로 시험해볼 만하다. 다만 연매출 2,000만 달러가 넘는 조직이라면 UI 표시 의무와 별도 승인 절차를 미리 검토해야 한다. 저작권 침해 방지 안전장치를 직접 구축해야 한다는 조항도 가볍게 볼 대목이 아니다. 제3자에게 생성 서비스를 되파는 SaaS 형태의 사업 모델이라면 이 조항이 실질적인 운영 비용으로 이어질 수 있다.

몇 주 안에 ComfyUI 커뮤니티에서 이 모델을 활용한 워크플로가 쏟아질 가능성이 높다. 미니맥스가 영상, 코딩, 이제 음악까지 모달리티별로 오픈웨이트를 빠르게 풀어내는 속도를 감안하면, 다음 차례는 이 세 모델을 하나로 묶은 통합 창작 도구일 것이다.