디퓨전 트랜스포머

디퓨전 트랜스포머는 뿌옇게 노이즈로 뒤덮인 화면을 여러 단계에 걸쳐 조금씩 걷어내면서 완성된 이미지나 영상을 그려내는 신경망이다. 안개 낀 유리창을 손으로 여러 번 닦아내며 서서히 풍경을 드러내는 것과 비슷한데, 한 번에 닦아내는 게 아니라 여러 차례 반복해서 닦을수록 그림이 또렷해지는 식이다.

이름은 두 가지를 합친 것이다. 디퓨전(확산)은 노이즈를 단계적으로 제거해가는 방식을 뜻하고, 트랜스포머는 이미지나 문장의 각 부분이 서로 어떤 관계인지 파악하는 구조를 뜻한다. 이 둘을 합쳐 노이즈 제거 과정을 트랜스포머 구조로 처리하면 이미지뿐 아니라 영상, 오디오까지 만들어낼 수 있다.

다만 이 반복 횟수가 많을수록 결과물을 만드는 데 시간이 오래 걸린다는 게 문제다. 그래서 최근에는 원래 수십 번씩 반복하던 노이즈 제거 과정을 4번, 5번 정도로 확 줄이면서도 품질을 유지하는 가속 기법들이 잇따라 나오고 있다.

기사는 "영상 생성 모델은 보통 노이즈로 가득한 화면에서 시작해 디퓨전 트랜스포머(DiT)를 여러 차례 반복해 완성된 영상을 만든다"고 설명해요. 오해하기 쉬운 점 하나 — DiT는 특정 회사의 제품 이름이 아니라, 미니맥스 H3처럼 여러 영상·이미지 생성 모델이 공통으로 쓰는 신경망 구조를 가리키는 일반 용어예요.