자기회귀 확산 모델

자기회귀 확산 모델은 이전 장면을 근거로 다음 장면을 한 칸씩 이어 그리면서, 각 장면 자체는 흐릿한 밑그림에서 점점 또렷하게 다듬어 완성하는 두 가지 방식을 합친 영상 생성 방법이다.

만화를 그릴 때 앞 칸을 보고 다음 칸의 구도를 정하는 화가를 떠올리면 된다. 그 화가는 한 칸을 그릴 때 스케치를 지우고 덧그리기를 반복하며 선을 다듬는다. 앞 칸을 참고해 다음 칸을 정하는 부분이 자기회귀이고, 한 칸을 흐릿한 상태에서 선명하게 다듬어 가는 부분이 확산이다. 이 둘을 합치면 장면이 끊기지 않고 계속 이어지면서도, 매 장면의 화질은 안정적으로 유지된다.

이 방식이 특히 쓸모 있는 곳은 사용자가 언제 어떤 행동을 할지 미리 알 수 없는 상황이다. 영화 한 편을 통째로 미리 계산해 두는 대신, 지금 이 순간의 카메라 위치나 사용자 입력을 참고해 바로 다음 장면만 그려 내면 되기 때문에, 정해진 러닝타임 없이 원하는 만큼 계속 이어서 체험할 수 있는 공간을 만들 수 있다.

기사에서는 런웨이의 GWM 월즈 2가 자기회귀 확산 모델로 720p·24프레임 영상과 48,000Hz 오디오를 함께 만든다고 소개해요. 확산 모델이라고 하면 흔히 영상 전체를 한 번에 뽑아내는 도구를 떠올리기 쉬운데, 여기서는 과거 장면을 창문처럼 기억하며 한 프레임씩 실시간으로 이어 그리는 방식이라 세션 길이 제한이 사실상 없다는 점이 다르다는 걸 짚어두면 좋아요.