립싱크

립싱크는 영상 속 사람의 입 모양을 목소리에 딱 맞춰주는 기술이다. 외국 영화를 더빙판으로 볼 때 배우 입술은 영어로 움직이는데 목소리는 한국어로 나오면 어색하게 느껴진다. 립싱크는 이 어긋남을 없애서, 어떤 언어로 목소리를 바꿔도 입 모양이 그 말을 실제로 하는 것처럼 보이게 만든다.

예전에는 성우가 원어 입 모양에 맞춰 대본을 조정하며 녹음했지만, 지금은 AI가 음성 파형을 분석해 그에 맞는 입 모양 영상을 자동으로 만들어낸다. 기업 교육 영상을 여러 나라 언어로 만들 때, 사람이 등장하는 AI 아바타 영상을 다국어로 뽑아낼 때 이 기술이 쓰인다. 다만 립싱크는 얼굴을 통째로 바꿔치기하는 기술과는 다르다. 목소리와 입 모양만 맞추는 것이므로 얼굴이나 표정 자체는 원본과 같다.

다만 립싱크가 정교해질수록 실제로 하지 않은 말을 한 것처럼 보이게 조작하는 데 쓰일 위험도 함께 커진다는 점은 짚어둘 만하다.

신테시아는 더빙 기능을 다국어로 확장하며 '원어 화자의 입 모양에 맞춘 립싱크'라고 표현했다. 즉 단순히 목소리만 번역해 입히는 게 아니라, 새 언어로 말할 때의 입 모양까지 자연스럽게 다시 만든다는 뜻이다. 립싱크는 얼굴 자체를 바꾸는 기술이 아니라 입 모양과 소리를 맞추는 기술이라는 점에서, 얼굴을 통째로 합성하는 딥페이크와는 구분해서 봐야 한다.