더빙 2.0

더빙 2.0은 하나의 영상을 다른 언어로 바꿀 때 목소리만이 아니라 화면 속 인물의 입 모양까지 그 언어에 맞게 다시 그려주는 기능이다. 외국 영화 더빙판을 볼 때 배우 입은 다른 말을 하는데 소리만 우리말로 나와 어색했던 경험이 있을 텐데, 더빙 2.0은 그 어긋남을 줄이는 데 초점을 맞췄다.

기존 더빙이 자막을 음성으로 옮겨 붙이는 수준이었다면, 이 기능은 새로 입힐 언어의 발음 모양대로 입술 움직임 자체를 다시 만들어 낸다. 마치 그 인물이 처음부터 그 언어로 말한 것처럼 보이게 하는 셈이다. 여기에 지원 언어를 130개로 늘려, 교육 영상 하나를 여러 나라 지사에 각각 자연스러운 버전으로 내보낼 수 있게 했다.

신테시아가 공개한 7월 업데이트 목록에는 "더빙 2.0 | 130개 언어, 원어 화자 입 모양에 맞춘 립싱크"라는 항목이 있다. 여기서 더빙 2.0은 새로운 AI 모델의 이름이 아니라, 기존 더빙 기능을 손봐 내놓은 신테시아 제품 안의 업그레이드판을 가리킨다.

1. 신테시아에서 영상을 하나 완성한다.
2. 그 영상을 더빙 기능으로 넘겨 원하는 언어를 고른다.
3. 결과물에서 목소리뿐 아니라 인물의 입 모양이 선택한 언어 발음에 맞게 바뀌었는지 확인한다.
4. 여러 언어권에 배포할 영상이라면 필요한 언어 수만큼 반복해 다국어 버전을 만든다.