목소리 없이도 캡션 한 줄로 배우를 만들고, 나중엔 그 목소리를 그대로 재사용하는 통합 음성·오디오 생성 모델
arXiv:2608.020232026-08-02
SwanTale: Unified Multi-Speaker Speech and Audio Generation for Instruct and Zero-Shot Tasks
목소리 없이도 캡션 한 줄로 배우를 만들고, 나중엔 그 목소리를 그대로 재사용하는 통합 음성·오디오 생성 모델
SwanTale은 참조 음성이 있을 때(제로샷)와 없을 때(자연어 캡션만 있는 지시형) 모두를 하나의 모델로 처리해, 배경음·효과음까지 포함한 여러 화자의 음성을 한 번에 생성한다. 이를 위해 자체 데이터 파이프라인 SwanData-Caption으로 약 7천만 건의 다층 캡션 데이터를 만들고, SwanVAE라는 전용 오디오 인코더와 Unified MoE 구조를 도입했다. 실험에서 제로샷·지시형 여러 지표에서 앞서고 두 과제 모두에서 표현력 점수가 가장 높았다고 보고한다.
METAL LAB 해설 도표
SwanTale 전체 구조 흐름
증거 상태측정 결과와 예정된 검증이 함께 있음
데이터 파이프라인 SwanData-Caption실제 미디어 오디오 정제 + 고령자/짧은 발화/난발음 표적 합성 데이터 추가 후, 환경·화자·세부내용 3단 캡션을 자동 주석하고 SwanVerifier 등으로 정제
SwanVAE48kHz 오디오를 96차원, 25Hz 잠재벡터로 압축하는 인코더-디코더, 국소적 파형 복원에 집중하고 장거리 구조는 다운스트림 모델에 맡김
플로우 기반 Transformer(DiT)캡션·텍스트·화자 조건, 보상 조건부 품질 제어, Engram 조건화를 결합해 잠재 오디오 궤적을 생성
Unified MoE작업 라우터가 샘플 단위로 제로샷/지시형 전문가를 고르고, 오디오 라우터가 프레임 단위로 Top-P 라우팅을 수행
커리큘럼 학습 + GRPO 후처리제로샷 능력 -> 캡션 조건 생성 -> 전체 혼합 학습 -> 고품질 미세조정 순으로 학습한 뒤 GRPO로 발음·안정성·화자속성 제어를 강화
METAL LAB이 원문을 바탕으로 재구성한 해설 도표이며, 논문 저자의 원문 figure가 아닙니다.
무엇을 했나
애니메이션 더빙, 오디오 드라마, 광고, 게임, 팟캐스트 등에서는 참조 녹음 없이 목소리를 새로 설계하고 자연어로 스타일을 지정해야 하는 경우가 많아, 이를 위한 통합 모델 SwanTale과 전용 데이터 파이프라인 SwanData-Caption을 만들었다.
데이터 쪽에서는 실제 미디어 음성·오디오 데이터를 정제하고, 고령자 발화·짧은 발화·다음자어(폴리포닉) 같은 발음 난이도가 높은 표적 합성 데이터를 추가한 뒤, 환경·화자·세부 내용 세 항목으로 구성된 다층 캡션을 자동 주석했다.
모델 쪽에서는 48kHz 오디오를 96차원 잠재벡터로 압축하는 SwanVAE, 보상 조건부 품질 제어, Engram 조건화, 그리고 제로샷 과제와 지시형 과제·여러 오디오 모달리티를 함께 다루는 Unified MoE(작업 라우터+오디오 라우터) 구조를 설계했다.
커리큘럼 학습(제로샷 능력 학습 -> 캡션 조건 생성 -> 전체 혼합 학습 -> 고품질 미세조정)과 GRPO 후처리 학습을 통해 발음 정확도, 생성 안정성, 캡션 기반 화자 속성 제어를 단계적으로 강화했다.
화자 성별·연령 라벨의 신뢰성을 확인하기 위해 WavLM 기반의 경량 검증기 SwanVerifier를 만들어, 파형에 근거해 캡션의 인구통계 라벨이 그럴듯한지 확인하고 애매하면 자동 판단을 보류하도록 했다.
Figure 1: Overview of the four-stage SwanData-Caption data processing pipeline, including coverage design, SwanData-Speech preprocessing, caption annotation, and data refinement.
Table 1: Output-field definitions used in the caption annotation schema.
Field
Description
Environment
Scene-level environment and recording context, including location or place description, sound-field impression, room or recording-space cues, microphone characteristics, reverberation, background music, crowd murmur, traffic, wind, rain, electrical hum, keyboard tapping, appliance noise, distant footsteps, or other persistent background sound or effects that function as the scene bed.
Speakers
The inventory of actually speaking subjects. Each speaker is described by perceived gender, age range, persona or role when audible from delivery, stable timbre, articulation, loudness tendency, speaking rate, accent, habitual style, and stable affective tendency.
Content
A chronological content field and fine-grained local style description. Speech is wrapped by speaker tags such as <S1> and </S1>; local audio effects are wrapped by <Audio> and </Audio>. Fine-grained local style, including changes in emotion, volume, pace, pause, emphasis, hesitation, interruption, code-switching, and nearby effect context, is described around the tagged spans.
Figure 2: Overview of SwanTale. Figure (a) shows the architecture of SwanTale, and Figure (b) shows Unified MoE. In (a), the zero-shot path supplies reference audio, while both tasks share text and caption. In (b), a task router selects experts at the sample level, while an audio router applies Top-P routing over frame-level audio and null experts.
Table 3: Reconstruction quality on the speech and singing voice test sets. Bold and underlined values indicate the best and second-best results among the compared systems within each domain, respectively.
Model
PESQ ↑
STOI ↑
MCD ↓
ViSQOL ↑
Speech
DAC [60]
4.1178
0.9693
1.1963
4.1585
EnCodec [19]
3.1872
0.9297
1.5147
3.5035
WavTokenizer Large Unify [48]
2.1423
0.8428
2.9393
2.3787
VoxCPM2 AudioVAE V2 [118]
3.9987
0.9690
1.2222
4.0340
MegaTTS 3 WaveVAE [51]
3.5968
0.9507
1.5130
4.2348
SwanVAE (Ours)
4.1683
0.9680
0.9638
4.1248
Singing Voice
DAC [60]
3.7872
0.8627
1.9293
3.6681
EnCodec [19]
2.6464
0.8166
2.2392
3.3841
WavTokenizer Large Unify [48]
1.9226
0.6613
5.1885
1.6018
VoxCPM2 AudioVAE V2 [118]
3.7088
0.8838
1.9335
3.6734
MegaTTS 3 WaveVAE [51]
3.5727
0.8620
2.0310
4.0013
SwanVAE (Ours)
3.9821
0.9001
1.5661
3.7085
Figure 3: Overview of SwanVAE. (a) The anti-aliased convolutional encoder, Gaussian variational bottleneck, and local Transformer decoder. (b) Generative alignment through flow matching and causal latent prediction. (c) Energy, multi-scale chroma, and multi-band energy readouts with waveform-derived targets. The decoder receives posterior samples 𝐳, while the alignment objectives operate on the posterior mean 𝝁ϕ exclusively during the SwanVAE training stage and do not enter the downstream generator at inference time.
Table 4: Reconstruction quality on the general audio and music test sets. Bold and underlined values indicate the best and second-best results among the compared systems within each domain, respectively.
General Audio
Model
ViSQOL ↑
LSD ↓
DAC [60]
4.0198
0.9589
EnCodec [19]
4.1140
0.9761
WavTokenizer Large Unify [48]
2.8595
1.0967
Stable Audio Open 1.0 [23]
4.0355
0.9358
SAME-L [76]
3.7541
1.0372
SwanVAE (Ours)
4.1269
0.9455
Table 6: Instruct TTS results on InstructTTSEval. Results for all models other than SwanTale are taken from the VoxCPM2 paper [118]. Bold and underlined values indicate the best and second-best results.
Model
Chinese (ZH)
English (EN)
APS ↑
DSD ↑
RP ↑
APS ↑
DSD ↑
RP ↑
Parler-TTS-large [69]
–
–
–
60.0
45.9
31.2
VoxInstruct [117]
47.5
52.3
42.6
54.9
57.0
39.3
VoiceSculptor [39]
75.7
64.7
61.5
–
–
–
MiMo-Audio-7B-Instruct [106]
75.7
74.3
61.5
80.6
77.6
59.5
Qwen3-TTS-12Hz-1.7B-VD [79]
85.2
81.1
65.1
82.9
82.4
68.4
MOSS-VoiceGenerator [42]
78.0
80.0
74.0
68.2
82.0
68.7
VoxCPM2 [118]
85.2
71.5
60.8
84.2
83.2
71.4
SwanTale (Ours)
86.1
80.1
64.1
84.2
79.2
63.6
Table 8: Results on SwanBench-Caption. All metrics are scored on a 1–5 scale by gemini-3.5-flash; higher is better. 32B CE replaces the default Qwen3.0-Instruct-8B caption encoder with Qwen3.0-Instruct-32B [99].
Setting
Instruction Accuracy ↑
Acoustic Quality ↑
Overall Expressiveness ↑
SwanTale w/o MoE
3.02
4.09
3.56
SwanTale
3.39
4.31
3.82
SwanTale w/ 32B CE
3.70
4.34
3.98
Table 9: Condensed style matrix for animation-style captions.
Aspect
Condensed rule
Typical triggers
Animation, cartoon, anime, dubbing, role-playing voices, and other clips whose delivery follows a character-dubbing convention.
Stable speaker profile
Describe perceived gender, approximate age, an audible vocal archetype when useful, stable timbre, and habitual delivery, in that order. Archetypes such as an energetic lead, a restrained mature speaker, or a comic supporting voice require clear evidence in the vocal performance.
Local delivery
Record exaggerated reactions, abrupt emotional shifts, punch-line timing, shouts, laughter, hesitation, and changes in pace, loudness, or arousal in the chronological Content field.
Acoustic evidence
Ground descriptions in cues such as habitual pitch range, brightness, breathiness, energy, attack strength, pausing, and the degree of restraint or exaggeration.
Representative distinctions
Action-oriented clips favor larger loudness dynamics, faster pace, and stronger bursts; romance favors finer emotional control, breathiness, and pauses; suspense favors restrained, clear delivery; historical or courtly settings favor formal diction and measured expression.
Table 10: Condensed style matrix for short-drama and film/TV-drama-style captions.
Aspect
Condensed rule
Typical triggers
Short drama, micro drama, vertical drama, scripted short video, web drama, film, TV drama, and other dialogue-heavy staged media.
Stable speaker profile
Describe perceived gender, approximate age, a role or social identity supported by spoken dialogue or vocal delivery, stable timbre, and habitual delivery.
Local delivery
Record interruption, conflict, emotional escalation, reversal, pleading, threat, command, hesitation, and relationship-driven changes in pace, loudness, or tone in the chronological Content field.
Acoustic evidence
Use audible properties such as pacing, diction, theatrical coloring, controlled pauses, coldness, ingratiating delivery, and abrupt changes in intensity to describe delivery. Character identity requires supporting dialogue or role evidence.
Describe perceived gender, approximate age, a persona type supported by the speech function, voice-style class, timbre, and habitual product-pitch delivery. Persona labels such as host, product recommender, lecturer, or service worker require evidence from the spoken content or delivery.
Local delivery
Record selling-point emphasis, urgency, price or discount emphasis, calls to action, question hooks, trust-building explanations, conversational softening, and changes in excitement in the chronological Content field.
Acoustic evidence
Ground descriptions in audible properties such as friendliness, authority, energy, technical density, conversational warmth, cadence regularity, pause timing, emotional range, and script-like phrasing. Synthetic-voice judgments require direct audible artifacts.
Representative distinctions
Representative groups include product recommenders and livestream hosts, health or education explainers, finance or business speakers, and service roles; matching styles range from conversational sharing and storytelling to energetic sales and structured explanation.
Table 12: Utterance-level accuracy (%) of SwanVerifier on the held-out labeled split.
캡션 인코더를 8B에서 32B(Qwen3.0-Instruct)로 키우면 세 지표가 각각 3.70, 4.34, 3.98로 상승했으며 Instruction Accuracy 증가폭이 가장 컸다.
SwanBench-Scene 평가에서 comic drama와 general scenes 등 다양한 장면에서 높은 점수를 받았고, comic drama의 Audio Fullness 항목에서만 전체 시스템 중 2위를 기록했다.
InstructTTSEval, InstructTTSEval 기반 비교 등 세 가지 지시형 평가에서 APS 지표는 선두, 중국어 DSD에서는 강세를 보였으나 영어 DSD와 RP에서는 상대적으로 경쟁력이 낮았다.
어디에 쓸 수 있나
참조 녹음이 없는 신규 캐릭터의 목소리를 자연어 설명만으로 설계하고, 이후 동일 목소리를 참조 음성으로 재사용하는 더빙·오디오드라마 제작
여러 화자와 배경 효과음·환경음이 섞인 장면을 하나의 파형으로 함께 생성해야 하는 광고나 게임 컷신 제작
대규모 음성·오디오 데이터에 다층 캡션(환경/화자/세부 내용)을 자동으로 부여해야 하는 데이터 구축 파이프라인 설계
캡션에 담긴 화자의 성별·연령 라벨이 실제 음성과 맞는지 자동으로 걸러내는 데이터 품질 관리 절차
한계와 남은 검증
복잡한 배경음악, 특히 감정 변화에 따라 종류나 전개가 바뀌어야 하는 음악 생성은 여전히 어렵다고 저자들이 밝혔다.
2분을 넘는 다중 화자 장면에 효과음까지 포함된 장문 지시형 생성은 아직 어려운 과제로 남아 있다.
특정 화자의 연속적인 감정 변화, 강세·리듬의 정밀 제어, 정확한 타이밍의 휴지·효과음 삽입 등 세밀한 로컬 스타일 제어는 데이터 주석과 모델 설계 양쪽에서 여전히 도전 과제다.
SwanVerifier는 성별·연령 같은 거친 인구통계 라벨만 확인하는 선택적 검증기이며, 페르소나·역할·표현 스타일 같은 세밀한 속성은 다루지 않고 애매한 경우 자동 판단을 하지 않는다.
영어 DSD와 RP 지표에서는 상대적으로 경쟁력이 낮다고 보고되어, 언어·지표별로 성능 편차가 존재한다.
왜 중요한가
목소리가 아직 존재하지 않는 캐릭터도 자연어 설명만으로 만들고, 필요하면 그 목소리를 나중에 참조 음성으로 재사용할 수 있다는 점은 애니메이션·광고·게임 등 실제 콘텐츠 제작 워크플로우에 바로 맞닿아 있다. 또한 SwanData-Caption 같은 데이터 파이프라인과 SwanVerifier 같은 검증 장치는 대규모 캡션 데이터를 만들 때 발생하는 라벨 오류 문제를 다루는 참고 사례가 된다.
이 논문의 용어
제로샷(Zero-shot) 음성 합성 · 짧은 참조 음성 하나만으로 그 화자의 목소리를 흉내 내어 새로운 문장을 합성하는 방식
지시형(Instruct) 음성 합성 · 참조 음성 없이 환경·화자 스타일·내용을 설명하는 자연어 캡션만으로 음성을 생성하는 방식
MoE(Mixture of Experts) · 입력에 따라 여러 전문가 서브네트워크 중 일부만 선택적으로 활성화하는 신경망 구조
VAE(변분 오토인코더) · 오디오 파형을 압축된 잠재벡터로 인코딩하고 다시 복원하도록 학습하는 생성 모델 구성요소
GRPO · 강화학습 계열의 후처리 학습 기법으로, 여기서는 발음 정확도와 생성 안정성을 높이는 데 사용됨
