알리바바 큐원, 실시간 동시통역 모델 공개

구조부터 바뀌었어요. Interleave 아키텍처라고 이름 붙인 이 방식은 동시통역을 오디오와 텍스트가 한 줄로 엮인 단일 스트림으로 다시 짜요. 이미 들은 오디오와 이미 내놓은 번역을 캐시에 두고 다시 쓰기 때문에, 품질이 올라가면서도 평균 지연을 뜻하는 LAAL 값이 이전 세대의 2.8초에서 2.3초로 내려갔어요. 모델은 Hybrid-MoE 를 바탕으로 한 Thinker 와 Talker 두 모듈로 짜였고, Thinker 가 영상과 오디오, 원문, 번역을 시간 순서대로 하나의 인과 시퀀스에 배열하면 Talker 가 번역과 원본 오디오를 합쳐 화자의 음색을 살린 음성을 만들어요.

새로 붙은 기능은 세 가지예요. 첫째는 실시간 화자 분리인데, 여러 사람이 번갈아 말할 때 화자를 구분해 문장마다 주인을 붙이고 번역된 음성이 각자의 음색을 더 안정적으로 지키게 해요. 둘째는 원문과 번역의 동시 표시예요. 통역 중에 두 언어를 나란히 맞춰 보여 주기 때문에 바로 이해하면서 원문을 대조할 수 있고, 자막 표시와 내용 정리, 검색 같은 후속 기능의 바닥이 돼요. 셋째는 장문맥 중의성 해소로, 앞서 나온 문장과 대화 이력을 끌어와 고유명사나 지칭이 헷갈리는 자리를 정리해 표현을 일관되게 유지해요.

성능은 두 벌의 평가로 제시됐어요. 여러 화자가 나오는 긴 오디오를 다루는 Omnilingua-MSpeaker 에서는 14개 언어 방향을 두고 번역의 충실도와 유창성, 간결성에 화자 분리 오류율을 더한 네 축에서 현행 주류 실시간 통역 시스템을 앞섰다고 밝혔어요. 공개 음성 테스트셋 FLEURS 에서는 70개 언어 방향을 평가해 번역 품질과 평균 지연, 음성 인식 정확도, 음성 합성 품질 네 축에서 이전 세대와 주류 시스템을 모두 앞섰다고 적었어요.

지원 폭은 입력과 출력이 달라요. 오디오를 듣고 텍스트로 옮기는 쪽은 60개 언어, 음성으로 말하는 쪽은 29개 언어예요. 메탈이 확인한 큐원 공식 블로그의 지원 언어 표에는 중국어와 영어, 한국어, 일본어부터 아스투리아스어와 세부아노어, 타지크어까지 이름이 하나씩 적혀 있어요.

쓰는 방법은 웹소켓 한 줄로 요약돼요. 모델을 부르는 실시간판 이름은 qwen3.8-livetranslate-flash-realtime 이고, 마이크에서 받은 16kHz PCM 오디오를 서버로 흘려보내면 24kHz PCM 음성이 돌아와요. 화자 분리와 원문 동시 출력은 세션 설정에서 켜고, 서버가 화자 식별자와 원문 텍스트를 번역과 함께 돌려주기 때문에 음성 인식 API 를 따로 부를 필요가 없어요. 고유명사가 많은 자리에서는 핫워드를 등록해 정확도를 올릴 수 있고, 이미지 프레임을 함께 올려 화면에 보이는 것을 통역의 단서로 쓸 수도 있어요.

데모는 서유기 대화 두 편과 동음이의어 묶음으로 짜였어요. 22초와 28초, 12초짜리 세 편이 화자 지목과 보이스 클로닝, 원문과 번역의 동시 출력, 맥락과 시각 정보가 중의성을 푸는 장면을 차례로 보여 줘요.

콘텐츠를 만드는 쪽에서 보면 이 발표의 무게는 속도가 아니라 이름표예요. 그동안 실시간 자막은 말의 내용은 옮겨도 누가 말했는지는 흘려보냈고, 대담이나 좌담처럼 화자가 자주 바뀌는 포맷에서는 자막만 보고는 대화가 재구성되지 않았어요. 문장마다 화자가 붙고 목소리의 결까지 따라가면, 라이브 방송과 웨비나, 다국어 회의 기록이 편집 없이도 쓸 만한 원본이 돼요. 원문과 번역이 한 화면에 함께 뜬다는 점도 검수 비용을 직접 깎아요.

메탈은 오픈AI가 듣는 동시에 말하는 음성 모델을 내놓은 일을 보도한 바 있으며, 그때 경쟁의 축은 끊김 없는 대화였어요. 이번 발표는 같은 실시간 음성 영역에서 축을 하나 더 세웠어요. 얼마나 빨리 말하느냐 옆에, 누구의 말인지 얼마나 정확히 붙이느냐가 나란히 놓였어요.

큐원 팀이 적은 다음 목표는 세 가지예요. 듣는 순간과 옮기는 순간의 간격을 한계까지 좁히는 일, 같은 프로젝트와 같은 사람들 사이에서 세션을 넘어 기억을 이어 가는 일, 그리고 롱테일 언어와 지역 방언으로 범위를 넓히는 일이에요. 실시간 통역이 다루는 단위가 문장에서 대화로, 대화에서 관계로 옮겨 가고 있어요.