메타, Muse Realtime Avatar 공개

메타가 9월 23일(미국 시간) 연례 행사 메타 커넥트 2026에서 개인 AI 에이전트 Muse에 얼굴과 몸짓을 붙이는 실시간 영상 모델 Muse Realtime Avatar를 공개했어요. 마크 저커버그 최고경영자가 기조연설 무대에서 직접 소개했고, 메타 슈퍼인텔리전스 랩이 만든 이 모델은 Muse의 음성 모델 Muse Realtime Voice를 표정과 동작이 있는 대화형 아바타로 바꿔요. 메타에 따르면 첫 쓰임새는 Muse 앱의 실시간 대화예요.

아바타의 모습은 사용자가 고른 참조 이미지에서 나와요. 메타의 연구 블로그에 따르면 인물 사진은 미묘한 표정으로 반응하고, 전신 일러스트는 말하면서 손짓을 하고 자세를 바꾸며, 동물이나 일상 사물도 저마다의 특징을 잃지 않고 표정을 얻어요. 회사는 대화가 몇 차례 오가도 한 장면씩 아바타의 생김새와 버릇이 일관되게 유지된다고 밝혔어요.

저커버그는 무대에서 "대화하는 동안 당신의 Muse를 즐겁게 움직이는 완전히 새로운 최첨단 실시간 모델을 학습시켰다"며 "이런 디테일이 경험을 만든다"고 말했어요. 메타가 X에 올린 2분 2초짜리 시연 영상에서 월계관을 쓰고 토가를 두른 아바타 아그리파는 청중에게 인사한 뒤, 저커버그와 함께 열쇠고리에 달고 다닐 작은 기기 Project Charm의 마감 소재와 부품 배치를 논의해요. 메타는 같은 날 Muse와 대화하도록 만든 주머니 크기 기기 Muse Charm을 예고하며 자세한 내용은 연내에 내놓겠다고 밝혔어요.

기술의 핵심은 목소리와 영상이 같은 흐름을 나눠 쓰는 구조예요. 메타에 따르면 Muse Realtime Voice는 무엇을 말하는지와 어떤 억양으로 말하는지를 함께 담은 음성 토큰을 흘려보내고, 오디오 디코더가 이 토큰을 소리로 바꾸는 동안 Muse Realtime Avatar는 같은 토큰을 받아 영상을 만들어요. 한 흐름을 공유하기 때문에 목소리와 입 모양, 표정이 어긋나지 않는다는 게 회사의 설명이에요. 모델은 음성으로 움직이는 확산 트랜스포머로, 영상을 짧은 조각 단위로 만들고 직전 조각의 최신 결과만 다음 조각의 동작 맥락으로 넘겨 대화가 길어져도 계산량이 일정하게 묶여요.

속도는 증류에서 나왔어요. 메타는 조각 하나를 만드는 데 40단계 확산에 세 갈래 분류기 없는 가이던스를 걸어 모델을 120번 돌려야 하는 큰 교사 모델을, 가이던스 없이 2단계로 끝내는 학생 모델로 줄였다고 밝혔어요. 연산 횟수는 60분의 1로 줄었고, 사람 평가자의 선호도는 학생 45%, 교사 55%로 거의 반반에 가까웠어요. 학생이 스스로 만든 맥락으로 훈련하는 셀프 포싱 기법이 긴 대화에서 오류가 쌓여 영상이 틀어지는 현상을 막는다고 회사는 설명했어요.

메타는 상용 아바타 서비스와의 비교 결과도 내놨어요. 평가자들은 런웨이의 Runway Characters, 헤이젠의 HeyGen LiveAvatar와 각 제품의 실시간 통화 화면에서 같은 아바타 모습으로 2~3분씩 대화한 뒤 경험을 비교했어요. 전체 선호도에서 Muse Realtime Avatar는 Runway Characters를 상대로 78%, HeyGen LiveAvatar를 상대로 88%를 얻었어요. 세부 항목에서는 표정 표현력이 93%와 92%, 립싱크가 78%와 94%였고, Runway Characters와의 버릇 비교는 56%로 통계적으로 대등과 구분되지 않았다고 메타는 밝혔어요.

서비스 수치도 구체적이에요. 메타에 따르면 이 모델은 448x768 세로 영상을 초당 25프레임으로 내보내고, 사용자가 말을 마친 순간부터 음성과 영상이 함께 담긴 응답의 첫 바이트가 도착하기까지 약 870밀리초가 걸려요. 엔비디아 GB200 한 장에서 세션 하나를 돌리면 생성 한 단계가 20밀리초 만에 8프레임, 재생 시간으로 320밀리초 분량을 만들어요. 4비트 양자화 인식 훈련과 엔비디아와 함께한 최적화로 처리량을 2단계 BF16 기준 대비 8배로 늘려, GB200 한 장이 실시간 세션 12개를 동시에 감당한다고 회사는 설명했어요.

안전장치로는 워터마크를 넣었어요. 메타는 Muse Realtime Avatar가 만든 영상 전체에 자사 기술 Meta Video Seal로 눈에 보이지 않는 지워지지 않는 워터마크를 지연 없이 심는다고 밝혔어요. 회사는 블로그의 예시가 모델의 능력을 보여 주는 것이고 모두 Muse 앱에서 쓸 수 있는 아바타는 아니라고 적었고, Muse는 18세 이상만 쓸 수 있어요. 앱에 언제 들어오는지는 밝히지 않았어요.

아바타는 이날 쏟아진 Muse 발표의 한 조각이었어요. 메타는 원하는 목소리를 말로 설명해 설계하는 음성 모드, 몇 달 안에 AI 안경에서 이름을 부르면 깨어나는 Muse, Muse 전용 이메일 주소, 맥에서 앱을 직접 조작하는 컴퓨터 사용 기능, 월마트와 베스트바이, 세포라 등 쇼핑 연결을 함께 발표했어요. 보도에 따르면 저커버그는 기조연설에서 "우리가 만드는 것의 중심은 Muse"라고 말했고, "Muse를 아주 많은 토큰까지 무료로 제공하고, 시간이 지나면 거래에서 작은 수수료를 받아 이익을 낼 것"이라고 밝혔어요.

Muse는 이제 막 몇 주 된 서비스예요. 메탈은 메타가 9월 초 개인 에이전트 Muse를 출시했다고 보도한 바 있으며, 메타는 이번 발표문에서 출시 뒤 반응이 "놀라웠다"고 적었어요. 앱, 왓츠앱, 웹, 맥 데스크톱에 이어 안경과 전용 기기로 창구를 넓히는 흐름이에요.

메탈이 확인한 시연 영상과 연구 블로그를 함께 보면 메타가 파는 것은 모델 성능보다 존재감이에요. 870밀리초 안에 표정과 입 모양까지 맞춰 답하는 얼굴은 에이전트를 도구가 아니라 상대처럼 느끼게 만들고, 메타는 그 얼굴을 무료 토큰과 거래 수수료라는 사업 모델 위에 올려놓았어요. 비교 평가는 메타가 직접 설계한 것이고 앱 출시 시점은 정해지지 않았지만, GB200 한 장에 세션 12개라는 수치는 이 기능을 수십억 명 규모로 풀겠다는 계산이 이미 서 있다는 뜻으로 읽혀요.