영상 생성 AI에게 자연어 대신 '실행 가능한 블렌더 코드'로 물리 법칙을 미리 그려주게 한 연구

무엇을 했나

1. 기존 chain-of-thought 방식(텍스트 계획, 키프레임, 후보 영상 탐색)은 실행 불가능하거나 시간적으로 듬성듬성해 전체 물리 과정을 통제하기 어렵다는 문제를 지적한다.
2. 1단계 실행 시뮬레이션 엔진: 코딩 에이전트가 프롬프트를 받아 장면과 시간에 따른 변화를 명시하는 블렌더 파이썬 프로그램을 작성하고, 샌드박스에서 실행해 흰색 점토 스타일의 저품질이지만 매 프레임이 물리적으로 정합된 초안 영상을 렌더링한다.
3. 2단계 생성 영상 엔진: 지시 에이전트가 원 프롬프트와 초안 영상을 함께 읽어 외형(피사체, 재질, 조명, 촬영 스타일)에 초점을 둔 편집 지시문을 만들고, 이를 초안과 함께 영상 편집 모델에 넣어 사실적인 최종 영상을 생성한다.
4. 초안-지시-정답 삼중 데이터셋 VideoCoCo-3K를 자체 파이프라인과 고성능 교사 모델 Seedance 2.0으로 구축해 편집 모델이 흰색 점토 초안을 사실적 영상으로 바꾸는 법을 학습하도록 지도한다.
5. 편집 모델 적응 방식을 비교한 결과 튜닝 없이 초안만 넣어도 개선되었고(0.475→0.506), 저랭크 미세조정(LoRA)이 전체 파라미터 미세조정보다 더 좋은 성능(0.558 vs 0.535)을 보여 가벼운 조정이 오히려 유리했다.

실제로 확인된 결과

• PhyGenBench에서 VideoCoCo를 OmniWeaving에 추가하면 평균 물리 일관성 점수가 0.475에서 0.558로 올라 표에 실린 모든 시스템 중 최고치를 기록했고, 특히 재료(+0.133)와 열(+0.078) 부문에서 개선폭이 컸다.
• VBench-2.0에서는 OmniWeaving 단독 52.18%에서 VideoCoCo 적용 후 77.88%로 25.70포인트 상승했으며, 역학(92.31%)과 열역학(72.92%) 부문 최고 점수를, 재료 부문은 CogVideoX-1.5(83.19%)에 이어 2위를 기록했다.
• 편집 모델 적응 방식 소거 실험에서 튜닝 없이 초안만 사용해도 평균이 0.475에서 0.506으로 올랐고, 전체 미세조정은 0.535, LoRA 미세조정이 가장 높은 0.558을 기록했다.

어디에 쓸 수 있나

• 열역학적 변화(승화, 증발, 응고), 충돌·파손, 부력처럼 명시적 물리 과정을 요구하는 영상 콘텐츠 제작 파이프라인
• 프롬프트만으로 물리적으로 그럴듯한 시뮬레이션 초안을 먼저 만들고 검증한 뒤 사실적 영상으로 변환하는 워크플로 설계
• 교육·시각화 목적으로 물리 현상을 단계별로 재현하면서 중간 과정을 코드로 점검·수정할 필요가 있는 상황

한계와 남은 검증

• 난류 유체처럼 매우 복잡한 현상은 블렌더 시뮬레이터의 표현력 한계로 제로샷 합성이 어렵다고 저자들이 밝혔다.
• 초안 렌더링과 편집이라는 두 단계를 거치므로 기존 단일 단계 생성보다 추론 지연 시간이 늘어난다.
• 저자들은 향후 Taichi 같은 전문 물리 엔진 통합과, 실행 시점 시뮬레이션 없이도 물리 지식을 내재화하는 지식 증류 연구를 예정하고 있다고 밝혔다.

왜 중요한가

영상 생성 AI가 물리적으로 말이 되는 장면을 만들지 못하는 문제는 세계 모델이나 시뮬레이션 활용 콘텐츠 제작에 걸림돌이 되는데, 이 연구는 코드로 과정을 먼저 확정하고 나서 외형만 입히는 방식이 이를 상당히 완화할 수 있음을 보여준다. 코드, 초안 영상, 지시문이 모두 사람이 읽고 고칠 수 있는 형태라 결과를 검증하거나 재현하기도 쉽다.

이 논문의 용어

• Chain-of-Thought(CoT) · 결과를 한 번에 내지 않고 중간 추론 단계를 거치게 하는 방식
• Blender · 3D 장면과 물리 시뮬레이션을 만들 수 있는 오픈소스 프로그램
• 샌드박스(sandbox) · 프로그램을 안전하게 격리해서 실행하는 환경
• LoRA · 모델 전체가 아닌 일부 저랭크 파라미터만 학습시키는 경량 미세조정 기법
• OmniWeaving · 이 연구가 성능 비교의 기준으로 삼은 기존 영상 생성 모델

최신 논문

• AI 코딩 에이전트에게 과학 소프트웨어 수리를 시켜보니, 절반도 제대로 못 고쳤다AI 코딩 에이전트에게 과학 소프트웨어 수리를 시켜보니, 절반도 제대로 못 고쳤다arXiv:2608.197992026-08-21
• 논문 속 시연이 아니라 실제 서비스에 넣을 수 있는 희소 어텐션 만들기논문 속 시연이 아니라 실제 서비스에 넣을 수 있는 희소 어텐션 만들기arXiv:2608.197582026-08-21
• 고객상담 AI 상담원이 규정을 '한 번의 행동'이 아니라 '전체 절차'로 지키게 만드는 방법고객상담 AI 상담원이 규정을 '한 번의 행동'이 아니라 '전체 절차'로 지키게 만드는 방법arXiv:2608.198612026-08-21
• 로봇 팔에게 사람의 시연 없이 새 일 시키기, 말 잘하는 AI가 대신 가르친다로봇 팔에게 사람의 시연 없이 새 일 시키기, 말 잘하는 AI가 대신 가르친다arXiv:2608.198912026-08-21
• 에이전트 학습용 환경을 새로 만드는 대신, 기존 환경에 '패치 부품'을 씌워 그 에이전트의 약점에 맞게 바꾸는 방법에이전트 학습용 환경을 새로 만드는 대신, 기존 환경에 '패치 부품'을 씌워 그 에이전트의 약점에 맞게 바꾸는 방법arXiv:2608.198802026-08-21
• AI 비서가 뭘 기억할지 결정할 때, '물어봐야 할 순간'에 되레 세상에 확인하고 넘어간다AI 비서가 뭘 기억할지 결정할 때, '물어봐야 할 순간'에 되레 세상에 확인하고 넘어간다arXiv:2608.195642026-08-21
• 단어 뜻이 언제 어떻게 변했는지, 문법 구조까지 뜯어서 보여주는 오픈소스 도구단어 뜻이 언제 어떻게 변했는지, 문법 구조까지 뜯어서 보여주는 오픈소스 도구arXiv:2608.194722026-08-21
• AI로 주식 뉴스 요약해보니, 최신 검색보강 기법보다 오히려 단순 요약 방식이 더 정확했다AI로 주식 뉴스 요약해보니, 최신 검색보강 기법보다 오히려 단순 요약 방식이 더 정확했다arXiv:2608.195262026-08-21

METAL LAB 최신 기사

• 사카나AI, 일본 방위성과 정보분석 AI 실증 계약
• 헤르메스 에이전트, 쓸수록 스스로 스킬 만든다
• 저작권 책으로 AI 학습, 합법일까 불법일까 법정 공방
• 중국 그레이마켓, 앤스로픽 클로드 토큰 정가 10%에 유통
• AI 폭주 대응 계획, 5대 빅랩 중 최고점도 3점 그쳐