애플, 확산모델과 자기회귀모델 성능 정면 비교했다

순서대로 생성하지 않는 모델을 뜯어봤다

Apple ML Research가 확산 언어모델(Diffusion Language Model, DLM)과 자기회귀 언어모델(Autoregressive Model, ARM)의 성능 차이를 정면으로 비교한 논문을 8월 공개했다. 서울대 김민서 연구원과 UC버클리 소속 연구진, 애플 연구진이 공동 저자로 이름을 올렸다.

논문은 두 방식의 트레이드오프를 이론 분석과 실측 프로파일링으로 나눠 살폈다. 결론은 명확했다. DLM은 토큰 위치를 동시에 처리해 산술 강도 — GPU가 데이터를 얼마나 효율적으로 계산에 쓰는지 나타내는 지표 — 를 높일 수 있지만, 문맥이 길어질수록 이 이점이 사라진다는 것이다. 연구진은 블록 단위 디코딩을 대안으로 제시했다. 문장 전체를 한번에 생성하는 대신 블록으로 쪼개 처리하면 산술 강도가 문맥 길이에 발목 잡히지 않는다는 설명이다.

ARM과 DLM, 왜 갈라졌나

GPT 계열로 대표되는 ARM은 앞선 단어를 모두 읽고 다음 단어 하나를 예측하는 방식이다. 한 글자씩 써 내려가는 셈이라 정확도는 높지만, 순서를 지켜야 해서 GPU를 병렬로 굴리기 어렵다는 구조적 한계가 있다. 반대로 DLM은 노이즈 낀 전체 문장에서 출발해 점진적으로 다듬어가며 문장을 통째로 완성한다. 이론적으로는 여러 위치를 동시에 계산할 수 있어 하드웨어 효율이 좋다.

애플이 이 비교에 공들이는 이유는 지난 8월 11일 공개한 다른 논문에서도 짐작할 수 있다. 애플 ML 리서치는 당시 17억 파라미터 규모의 흐름매칭 언어모델을 2.1조 토큰으로 학습하고, 이를 자기증류해 만든 Categorical Flow Map이 최소 4단계 추론만으로 텍스트를 생성한다고 밝힌 바 있다. 적은 연산으로 빠르게 답을 내는 모델은 아이폰 같은 온디바이스 환경에서 특히 값어치가 크다. 이번 성능 비교 논문은 그 방향이 실제로 어디까지 이득이고 어디서 한계에 부딪히는지를 검증한 후속 작업에 가깝다.

연구진은 배치 추론 — 여러 요청을 한꺼번에 묶어 처리하는 방식 — 에서는 결과가 뒤집힌다는 점도 확인했다. ARM은 배치 안의 여러 시퀀스를 동시에 처리하는 데서 이득을 더 크게 챙겨 처리량에서 DLM을 앞섰다.

그래서 무엇이 달라지나

이번 논문은 DLM을 무조건 미래 대안으로 띄우던 흐름에 제동을 건 셈이다. 연구진은 오픈소스 DLM이 ARM보다 빠른 응답 속도를 내려면 샘플링 스텝 수를 줄이는 게 관건이라고 짚었다. 실제로 애플이 같은 시기 내놓은 4단계 추론 모델은 이 방향을 그대로 따른 결과로 볼 수 있다. 문맥이 짧고 응답 속도가 중요한 온디바이스 작업에는 DLM이, 긴 문서 처리나 다중 요청을 한꺼번에 처리해야 하는 서버 환경에는 여전히 ARM이 유리하다는 밑그림이 이번 분석으로 좀 더 뚜렷해졌다.