이미지: YouTube — 일레븐랩스 영상 갈무리
요약
- 일레븐랩스가 실시간 음성 대화에 최적화한 'Eleven v3 Conversational' 모델을 정식 출시(GA)했다
- 오디오 태그로 감정·억양을 세밀하게 조절할 수 있고 70여개 언어를 지원하며 ElevenAgents·ElevenAPI에서 바로 쓸 수 있다
- 기반이 되는 Eleven v3는 지난 2월 알파를 벗어나 GA됐고, 당시 숫자·기호 읽기 오류율을 15.3%에서 4.9%로 낮췄다
- 모델명
- Eleven v3 Conversational
- 발표일
- 2026년 8월 20일(유튜브 공식 채널)
- 지원 언어
- 70여개 언어
- 제공 채널
- ElevenAgents, ElevenAPI
- 강세 언어
- 독일어·스페인어·프랑스어·포르투갈어·힌디어
- 기반 모델 GA 시점
- Eleven v3, 2026년 2월 2일 알파 종료 후 GA
- 기반 모델 정확도 개선
- 27개 카테고리·8개 언어 기준 오류율 15.3%→4.9%(68% 감소)
실시간 대화형 음성모델, 정식 출시
챗봇이 답변 도중 살짝 웃거나 말끝을 흐려도 부자연스럽지 않게 들리는 음성을, 지연 없이 그 자리에서 만들어내는 모델이 나왔다. 일레븐랩스는 8월 20일 공식 유튜브 채널을 통해 'Eleven v3 Conversational'이 알파 단계를 벗어나 일반 출시(GA)됐다고 밝혔다. 회사는 이 모델을 "실시간 음성을 위한 가장 표현력 있는 모델"이라고 소개했다.
이 모델은 텍스트를 음성으로 바꾸는 과정에서 문장에 오디오 태그를 삽입해 감정이나 억양, 말하는 속도 같은 디테일을 세밀하게 조절할 수 있도록 설계됐다. 지원 언어는 70여개이며, 그중에서도 독일어·스페인어·프랑스어·포르투갈어·힌디어에서 강점을 보인다고 회사는 밝혔다. 스트리밍 방식으로 음성을 순차 생성하는 실시간 대화 상황에 맞춰 최적화했다는 점이 이번 모델의 핵심이다.
컨버세이셔널은 기반 모델과 무엇이 다른가
일레븐랩스라는 이름이 낯선 독자를 위해 짚으면, 이 회사는 텍스트를 사람 목소리로 바꿔주는 음성 합성 서비스를 개발자와 기업에 API 형태로 제공해온 곳이다. 이번에 GA된 'v3 Conversational'은 이 회사의 기존 텍스트투스피치 모델 'Eleven v3'를 실시간 대화용으로 따로 조정한 버전이다. 기반 모델인 Eleven v3 자체는 이번에 처음 나온 게 아니다. 지난 2월 2일 알파 딱지를 떼고 먼저 GA됐다.
당시 회사 블로그에 따르면 알파 버전과 정식 버전을 비교한 사용자 선호도 테스트에서 정식 버전이 72%의 선택을 받았다. 개선의 핵심은 숫자·기호·전문 표기를 문맥에 맞게 읽어내는 정확도였다. 예를 들어 전화번호 "+49 170 9876543"을 알파 버전은 큰 자릿수의 숫자로 잘못 읽었지만, 정식 버전은 자리마다 끊어 읽는 올바른 방식으로 고쳐졌다. 화학식 "SO₂"를 뭉개서 읽던 문제도 "S O 투"로 정확히 읽도록 수정됐고, 스포츠 스코어 "102-98"도 뺄셈이 아닌 경기 점수로 해석하게 됐다.
회사는 27개 카테고리·8개 언어를 아우르는 자체 벤치마크에서 전체 오류율이 15.3%에서 4.9%로 줄었다고 밝혔다. 화학식과 전화번호, ISBN 항목의 오류율은 각각 99%, 99%, 100% 줄어 사실상 해소됐다.
| 카테고리 | 알파 오류율 | 정식판 오류율 | 감소율 |
|---|---|---|---|
| 화학식 | 45.6% | 0.6% | 99% |
| 전화번호 | 16.9% | 0.6% | 99% |
| URL/이메일 | 45.6% | 3.9% | 91% |
| ISBN | 17.9% | 0.0% | 100% |
| 번호판 | 14.4% | 1.2% | 91% |
| 수식 | 23.8% | 6.9% | 71% |
| 지리 좌표 | 46.2% | 17.5% | 62% |
이번에 GA된 'Conversational' 버전이 이 정확도 개선 수치를 그대로 물려받았는지는 이번 발표 자료에서 별도로 확인되지 않았다. 다만 같은 v3 계열을 실시간 대화 상황에 맞춰 조정한 만큼, 숫자·기호 읽기 개선이 기반이 됐을 가능성이 크다.
어떻게 써보나
Eleven v3 Conversational은 별도의 신규 앱이 아니라 일레븐랩스의 기존 두 플랫폼에서 바로 쓸 수 있게 열렸다. 하나는 음성 에이전트를 만드는 'ElevenAgents'이고, 다른 하나는 개발자가 직접 API를 호출해 자신의 서비스에 붙이는 'ElevenAPI'다. 이미 이 두 플랫폼 계정이 있는 개발자라면 모델 목록에서 v3 Conversational을 선택하는 것만으로 실시간 음성 생성에 적용할 수 있다.
활용 예를 들면, 고객센터 음성봇에 이 모델을 붙이면 상담원이 대답 중간에 자연스러운 억양 변화를 주는 것처럼 들리게 만들 수 있다. 또는 여러 언어를 쓰는 이용자를 상대하는 서비스라면, 오디오 태그로 감정 표현을 지정한 뒤 70여개 언어 중 필요한 언어로 같은 톤을 유지하며 실시간 응답을 만들 수 있다.
직접 소리를 들어보고 싶다면 일레븐랩스 텍스트투스피치 API 페이지에서 체험할 수 있다.
경쟁 구도: 스트리밍 TTS 시장
실시간 스트리밍 음성 합성 시장에서는 최근 다른 업체의 움직임도 두드러졌다. 카르테시아의 스트리밍 TTS 모델 'Sonic-3.6'은 아티피셜 애널리시스의 두 음성 리더보드에서 동시에 1위를 기록한 바 있다.
일레븐랩스가 기반 모델의 텍스트 해석 정확도를 다듬은 데 이어 이번에 실시간 대화 전용 변형을 내놓은 것도, 스트리밍 음성 생성 품질을 두고 벌어지는 이런 경쟁과 무관하지 않아 보인다.
에디터의 시선
음성 AI 업계에서 지난 1년의 화두는 '얼마나 사람 같은가'에서 '실시간으로도 사람 같은가'로 옮겨갔다. 텍스트를 미리 다 받아서 한꺼번에 합성하는 것과, 대화 도중 한 문장씩 끊어서 즉시 소리로 내보내는 것은 완전히 다른 기술 문제다. 후자는 지연시간을 줄이면서도 감정 표현이 뭉개지지 않아야 하는데, 이번 v3 Conversational이 겨냥한 지점이 바로 여기다.
이 크기의 음성 모델을 실제 상담봇이나 음성 에이전트에 붙여 보면 늘 같은 지점에서 걸린다. 미리 녹음한 데모에서는 감정 표현이 풍부해 보이다가도, 실시간 스트리밍으로 전환하면 억양이 뚝뚝 끊기거나 숫자·기호를 이상하게 읽는 문제가 튀어나온다. 일레븐랩스가 기반 모델의 숫자·기호 오류율을 먼저 손보고 나서 실시간 대화용 변형을 낸 순서는, 이 문제를 알고 있었다는 뜻으로 읽힌다.
국내에서 음성봇이나 AI 상담원을 준비하는 팀이라면 이번 발표에서 눈여겨볼 지점은 오디오 태그다. 감정과 억양을 코드가 아니라 문장 안에 태그로 지정할 수 있다면, 시나리오 작가나 서비스 기획자가 개발자 도움 없이도 톤을 직접 조정할 수 있는 여지가 생긴다. 다만 한국어가 70여개 지원 언어 중 어느 수준의 품질을 보이는지는 이번 자료로는 확인되지 않으므로, 실제 도입 전에는 한국어 샘플을 직접 들어보는 절차가 필요하다.
앞으로 몇 주 안에는 카르테시아·일레븐랩스 양쪽이 서로의 벤치마크 결과를 겨냥한 후속 발표를 내놓을 가능성이 크다. 실시간 스트리밍 음성 품질 경쟁이 텍스트투스피치 시장의 다음 전선이 될 것이다.
댓글