이미지: 영상 갈무리
요약
- 텐센트 훈위안이 음성 생성과 편집을 한 모델에 합친 AuK를 오픈소스로 공개했어요. 파라미터는 15억개, 라이선스는 MIT이고 코드와 가중치를 함께 열었어요.
- 자연어 지시문과 참조 오디오라는 입구 하나로 제로샷 합성, 내용 편집, 감정과 음색 변경, 잡음 제거와 음악 분리까지 16가지 과제를 처리해요.
- 학습에는 지시문과 오디오를 짝지은 사례 30억 3천만건과 감독 데이터 195만 시간이 들어갔고, 경량판 AuK-Flash는 네 단계 추론으로 약 4.5배 빨랐어요.
- 공개
- 텐센트 훈위안 AuK — 오픈소스 음성 생성·편집 파운데이션 모델 · MIT 라이선스 · 코드와 가중치 동시 공개(깃허브·허깅페이스·모델스코프)
- 규모
- 파라미터 15억개 · 학습 데이터 지시문-오디오 사례 30억 3천만건 · 유효 감독 195만 시간 · 기술 보고서 저자 33명
- 기능
- 5개 과제군 16개 과제 — 음성 생성(제로샷·지시 기반), 내용 편집, 음향 편집(높낮이·속도·크기), 준언어 편집(감정·음색·억양 제거·속삭임 변환), 향상 및 분리(잡음 제거·화자 분리·음악 분리·특정 화자 추출)
- 구조
- 멀티모달 언어 모델(의미) + 말·오디오·음악 공동 학습 VAE(음향) + 하이브리드 정류 흐름 트랜스포머(이중 스트림 MMDiT 뒤 단일 스트림 DiT) · 생성 선행 학습 뒤 생성·편집 공동 사전학습
- 경량판
- AuK-Flash — 증류 뒤 4단계 추론 · 분류기 프리 가이던스 미사용 · 동일 조건 벽시계 시간 기준 약 4.5배 빠름
- 인정한 한계
- 제로샷·지시 기반 생성과 지시 편집에서는 선두 성능을 주장하나, 신호 수준 복원 과제에서는 경쟁력 있는 수준을 유지한다고만 기술
텐센트 훈위안이 목소리를 만드는 일과 고치는 일을 하나로 묶은 모델 AuK를 오픈소스로 공개했어요. 코드와 가중치를 깃허브 저장소에 함께 올렸고 라이선스는 MIT예요. 파라미터는 15억개로, 요즘 나오는 대형 모델과 견주면 작은 축에 들어요.
이번 공개에서 눈여겨볼 대목은 성능 순위가 아니라 입구를 하나로 줄였다는 데 있어요. 지금까지 오디오 작업은 도구를 갈아 끼우는 일이었어요. 문장을 소리로 읽히려면 음성 합성기를, 잡음을 걷어내려면 복원 모델을, 노래에서 반주와 목소리를 떼려면 분리 모델을 따로 불러야 했어요. AuK는 자연어로 쓴 지시문과 참조 오디오만 주면 이 일을 전부 같은 자리에서 처리해요. 회사는 공식 계정에서 이 모델을 "오디오를 위한 나노 바나나"라고 소개했어요.
실제로 붙어 있는 기능은 16가지고, 다섯 갈래로 묶여 있어요. 처음 듣는 목소리를 짧게 듣고 따라 하는 제로샷 음성 합성과 지시문으로 말투를 정하는 합성이 첫 번째예요. 녹음된 말의 내용을 바꿔 끼우거나 가사를 고치는 내용 편집이 두 번째고, 높낮이와 속도와 크기를 조절하는 음향 편집이 세 번째예요. 감정과 음색을 바꾸고 억양을 지우고 말이 아닌 소리를 걷어내고 보통 말을 속삭임으로 바꾸는 준언어 편집이 네 번째, 잡음 제거와 화자 분리와 음악 분리와 특정 화자 추출이 다섯 번째예요.
학습에 들어간 양은 기술 보고서에 그대로 적혀 있어요. 지시문과 오디오를 짝지은 사례가 30억 3천만건, 실제 학습에 쓰인 감독 데이터가 195만 시간이에요. 연구진은 이 자료를 앞서 말한 다섯 과제군에 걸쳐 직접 구성했다고 기술 보고서에 밝혔어요. 보고서에는 저자 33명이 이름을 올렸어요.
구조는 세 덩어리를 이어 붙였어요. 말의 뜻을 잡는 자리에는 멀티모달 언어 모델을 두고, 소리의 질감을 잡는 자리에는 사람 말과 일반 오디오와 음악을 함께 학습한 VAE를 뒀어요. 그 위에서 하이브리드 정류 흐름 트랜스포머가 두 갈래로 나뉘어 흐르는 블록을 지난 뒤 한 갈래로 합쳐 소리를 만들어요. 학습 순서도 나눠 뒀는데, 생성만 먼저 익힌 다음 생성과 편집을 함께 배웠고, 마무리에는 사람의 선호를 반영한 최적화를 편집 쪽에, 보상 기반 강화학습을 생성 쪽에 따로 붙였어요.
같이 나온 경량판 AuK-Flash가 실제 작업에서는 더 중요할 수 있어요. 원래 모델을 증류해 네 단계 만에 답을 내는데, 결과를 다듬으려고 붙이던 분류기 프리 가이던스 절차를 아예 생략했어요. 같은 조건에서 잰 벽시계 시간이 원본보다 약 4.5배 빨랐다고 연구진은 밝혔어요. 편집 한 번에 기다리는 시간이 줄면 마음에 들 때까지 여러 번 돌려 보는 작업 방식이 가능해져요.
회사가 이기지 못했다고 적은 대목도 함께 실려 있어요. 연구진은 제로샷 합성과 지시 기반 생성, 지시로 하는 편집에서는 앞선 성능을 보였다고 하면서, 신호 수준 복원 과제에서는 "경쟁력 있는 수준을 유지합니다"라고만 적었어요. 잡음을 걷어내고 끊긴 소리를 되살리는 전통적인 영역에서는 그 일만 하도록 만들어진 전용 모델을 아직 넘어서지 못했다는 뜻이에요.
만드는 사람 입장에서 조건이 달라지는 지점은 라이선스예요. MIT는 상업적으로 써도 되고 고쳐서 다시 배포해도 되는 조건이라, 영상 편집 도구나 팟캐스트 서비스에 그대로 얹을 수 있어요. 연구진은 보고서에 "재현성과 후속 연구를 뒷받침하기 위해 소스 코드와 모델 가중치를 모두 공개합니다"라고 적었고, 가중치는 허깅페이스와 모델스코프 양쪽에 올려 뒀어요. 성우를 부르거나 스튜디오를 빌리던 자리에 무엇을 넣을지 재던 팀에게는 시험해 볼 선택지가 하나 늘어난 셈이에요.
같은 시장에서 반대편 길을 고른 회사도 있어요. 메탈은 수노가 v6를 워너와 BMG의 정식 음원으로 다시 학습시켰다고 밝힌 일을 보도한 바 있으며, 그쪽이 권리 관계를 정리한 폐쇄형 서비스로 갔다면 이번 공개는 가중치를 열어 두는 쪽 끝에 서 있어요. 목소리를 다루는 기술에서 권리와 개방이 갈리는 지점이 점점 또렷해지고 있어요.
공개 순서도 짧았어요. 기술 보고서는 9월 8일 arXiv에 올라왔고, 이틀 뒤 회사 공식 계정이 코드와 가중치와 데모가 모두 살아 있다면서 써 보고 의견을 달라고 알렸어요. 논문을 먼저 내고 가중치는 한참 뒤에 푸는 방식이 흔한데, 이번에는 셋을 같은 주에 붙여 내놨어요. 쓰는 쪽에서는 성능 주장을 문서로만 읽는 대신 자기 데이터로 바로 돌려 보고 확인할 수 있다는 뜻이에요. 오픈소스로 낸 모델의 값어치는 발표문의 수치보다 그 확인이 얼마나 빨리 되느냐에서 갈려요.
메탈이 확인한 공식 소개 영상은 1분 53초 길이이고, 말소리 없이 화면만 이어지는 구성이에요. 지시문을 넣으면 소리가 어떻게 달라지는지를 차례로 보여 줘요. 저장소에는 공개 직후 별 218개가 붙었어요.
텐센트 훈위안은 목소리를 만들고 고치는 일을 인터페이스 하나로 합친 모델을 가중치까지 열어 내놨어요. 무엇을 새로 할 수 있느냐보다, 그동안 여러 도구를 이어 붙여 하던 일을 한 자리에서 지시문으로 처리하게 됐다는 점이 이 발표의 무게예요. 다음에 확인할 것은 두 가지예요. 신호 복원 쪽 전용 모델과의 격차가 다음 판에서 좁혀지는지, 그리고 MIT로 열어 둔 가중치를 실제 제품에 얹은 서비스가 언제 나오는지예요.
댓글