구글 딥마인드, 월드 모델 Genie 4 공개

구글 딥마인드가 실시간 상호작용 월드 모델 Genie 4를 연구 프리뷰로 공개했다. 딥마인드는 10월 27일 Genie 4가 "전례 없는 사실감"을 열고 실시간 상호작용 시뮬레이션을 끌어올린다고 밝혔다. 이용자가 키보드로 카메라를 움직이고 글로 지시를 넣으면, 모델은 세계가 어떻게 반응하고 어떤 소리를 내며 그 안의 사람이 어떻게 움직이고 말하는지를 이어서 그려 낸다. 이번 판의 핵심은 소리와 사람, 그리고 제미나이가 장면을 감독하는 구조다.

Genie 4는 제미나이 모델군의 능력을 끌어다 쓴다. 메탈이 확인한 딥마인드 발표문에 따르면 제미나이 옴니(Gemini Omni)가 시뮬레이션을 실제 세계의 겉모습과 움직임에 붙들어 두고, 다른 제미나이 모델이 장면의 일관성과 연속성을 유지하는 추론을 맡는다. 이용자는 실행 중인 시뮬레이션에 날씨를 바꾸거나 카메라를 옮기거나 새 인물과 물체를 넣으라고 자연어로 지시할 수 있다. 제미나이는 그 지시를 주변 장면에 맞게 고쳐 넣고, 입력이 없는 사이에도 장면을 지켜보며 세계가 어긋나지 않게 끌고 간다.

소리는 Genie 4가 처음으로 직접 만든다. 딥마인드는 Genie 4를 "오디오를 기본으로 생성하는 첫 실시간 월드 모델"이라고 설명했다. 숲의 바람 소리나 해변의 파도 소리 같은 주변음이 세계마다 따라붙고, 발표문 데모 영상의 소리도 전부 Genie 4가 만들었다. 딥마인드가 "진짜 최전선"이라고 부른 대목은 사람의 말이다. 등장인물이 이용자의 입력이나 세계 안의 사건에 맞춰 실시간으로 대화하고 반응한다. 물리 묘사도 넓어져 공기역학과 충돌 같은 상황을 시뮬레이션하고, 사람 캐릭터는 환경에 자연스럽게 반응하며 실시간으로 조종된다.

보도에 따르면 Genie 4는 한 장면을 최대 2분까지 일관되게 유지해 전작의 두 배를 버틴다. 전작 Genie 3는 1년 남짓 전에 연구 프리뷰로 나왔다. 테자스 쿨카르니(Tejas Kulkarni) 구글 연구 디렉터는 브리핑에서 "앞으로 점점 더 보게 될 것은 하이브리드 월드 모델"이라며 "제미나이가 코드와 글을 쓰고, Genie가 그것을 실시간으로 받아 여러 추상화 수준에서 현실을 시뮬레이션하는 조합"이라고 말했다. 발표문도 앞으로의 방향으로 코드·언어 모델의 구조적 추론과 픽셀 단위 시뮬레이션의 감각적 표현을 합친 하이브리드 월드 모델을 꼽았다.

제미나이를 감독으로 앉힌 실험도 공개됐다. 발표문에 따르면 제미나이 3.8 플래시(Gemini 3.8 Flash)가 루프 안의 안내 에이전트로 들어가, Genie 4가 세계를 그리는 동안 장면을 계속 관찰하고 목표를 단계로 쪼개며 새 프레임마다 각 단계가 성공했는지 확인한다. 딥마인드는 제미나이 로보틱스와 함께 제미나이 4 아르곤(Gemini 4 Argon)이 이용자의 과제를 단계로 나눠 Genie 4에 글 캡션으로 넘기는 실험도 소개했다. 예시는 앱트로닉의 휴머노이드 아폴로가 체커를 두는 장면과 유니버설 로봇의 UR5 팔이 피펫으로 실험 접시에 액체를 넣는 장면이다. 실제 세계에 로봇을 내보내기 전에 가상 세계에서 시나리오를 시험하는 길이라는 설명이다.

시험 사용자 반응은 영상 제작 쪽에 몰렸다. 딥마인드는 창작, 저널리즘, 교육, 게임, 엔지니어링 분야 시험 사용자 집단과 함께 Genie 4를 써 왔다. 영화 제작자는 실시간 시뮬레이션 안에 들어가 카메라 각도와 조명, 대사, 동작을 바꿔 가며 여러 테이크를 찍어 보고, 사진기자는 오래된 2D 기록 사진 한 장을 몇 초 만에 그 장소의 시뮬레이션으로 바꿔 본다. 게임 개발자는 엔진 코드를 한 줄도 쓰기 전에 아이디어를 탐험 가능한 시제품으로 만든다. 디에고 리바스(Diego Rivas) 구글 딥마인드 엔지니어는 "실시간성은 창작에서 몰입 상태를 유지하는 것이 중요한 영역에서 가장 큰 가치를 낸다"며 "아이디어 단계나 스토리보드 단계처럼 빠른 발상이 필요한 때"라고 말했다.

공개 범위는 아직 좁다. Genie 4는 신뢰할 수 있는 시험 사용자에게 연구 프리뷰로 먼저 풀렸고, 곧 프로젝트 Genie의 구글 AI 울트라 구독자와 제미나이 API·구글 AI 스튜디오 조기 접근 파트너에게 열린다. 딥마인드는 내부 안전성 평가를 거쳤고, Genie 4가 만든 영상과 소리에는 모두 보이지 않는 디지털 워터마크 SynthID가 들어간다고 밝혔다. 발표문은 세션이 길어지거나 복잡한 지시가 여러 번 들어가면 시각 세부와 사물의 지속성이 흔들릴 수 있고, 복잡한 물리 상호작용과 실시간 오디오의 정확도, 읽을 수 있는 글자 렌더링, 공간 정확도, 장기 일관성은 아직 연구가 진행 중인 영역이라고 적었다. 보도에 따르면 리바스는 최종 제품 경험이 어떤 모습일지 아직 분명하지 않다고 강조했다.

월드 모델 시장은 빠르게 재편되고 있다. 보도에 따르면 런웨이는 몇 달 전 오디오를 생성하는 두 번째 월드 모델 GWM Worlds 2를 내놨고, 페이페이 리의 월드랩스는 AMD에 인수되는 중이며, 아마존은 디카르트 인수를 협상하고 있고, 리비안은 자율주행 시험용 시뮬레이션 역량을 들이려 서드 디멘션을 인수했다. 딥마인드의 X 공개 영상은 조회수 325만 회와 좋아요 2만 3천여 개를 기록했다. 메탈은 사카나AI가 소개한 왕립학회 세계 모델 특집호를 보도한 바 있다. 그때 학술지 특집으로 정리되던 월드 모델이 이번에는 소리와 대화, 로봇 과제까지 실시간으로 다루는 제품 후보로 나왔다.

결국 Genie 4가 보여 준 변화는 화면을 그리는 모델과 계획을 세우는 모델의 분업이다. Genie는 세계가 어떻게 보이고 들리고 반응하는지를 픽셀 단위로 만들고, 제미나이는 그 뒤에서 구조를 짜고 이야기의 시간표를 계획한다. 딥마인드는 세계를 이해하고 시뮬레이션하는 일이 범용 인공지능을 만드는 데 결정적이라고 봤다. 이 분업이 로봇 훈련 환경과 영상 사전 시각화에서 실제로 쓸모를 증명할지는 울트라 구독자와 API 파트너에게 열린 뒤에 드러난다.