언어·이미지 이해·이미지 생성을 한 모델에 같이 학습시킬 때 무엇이 서로 돕고 무엇이 서로 방해하는지 실험으로 밝힌 연구

무엇을 했나

1. 언어 데이터 비율을 늘리면 이미지 이해와 이미지 생성 성능이 모두 꾸준히 좋아지는 반면, 이미지 이해 데이터를 늘리면 이미지 생성은 크게 좋아지지만 순수 언어 성능은 약간 떨어진다.
2. 이미지 생성 데이터를 늘리는 것은 언어나 이미지 이해 성능에 뚜렷한 도움도 해도 주지 않고 소폭의 변동만 일으킨다.
3. CLEVR 합성 데이터로 색깔·모양 같은 저수준 속성과 공간관계·크기·개수 같은 구조적 개념을 나눠 특정 개념을 한쪽 모달리티 학습에서 빼는 실험을 했더니, 색깔과 모양은 이해와 생성 사이에 전혀 전이되지 않고, 구조적 개념은 이해에서 생성 쪽으로는 전이되지만 반대 방향은 대체로 실패했다.
4. 모델 구조에서 어텐션과 정규화는 공유하고 피드포워드 층만 모달리티별로 분리하면(split_ffn) 언어와 시각이 서로 방해하지 않으면서 시너지를 낼 수 있음을 확인했다.
5. 시각 데이터를 처음부터 언어와 함께 학습시키는 '조기 통합'이 나중에 시각을 붙이는 방식보다 우수하며, 늦게 붙이면 모델이 시각 쪽을 충분히 최적화하지 않고 언어 지식에만 의존하는 '시각 게으름' 현상이 나타났다.

실제로 확인된 결과

• 언어 비율을 0%에서 80%까지 늘리자 이미지 이해의 네 축(General, Knowledge, OCR&Chart, Vision-Centric) 성능이 모두 단조 증가했고, 이미지 생성의 조건부·비조건부 확산 손실도 함께 감소했다.
• 이미지 이해 데이터 비율을 늘리면 이미지 생성 지표와 확산 손실이 크게 개선됐지만, 순수 언어 벤치마크 점수와 퍼플렉시티는 소폭 악화됐다.
• 이미지 생성 데이터를 늘려도 언어 정확도·퍼플렉시티와 이미지 이해 네 축 성능은 뚜렷한 추세 없이 소폭 변동만 보였다.
• CLEVR 실험에서 색깔·모양은 이해↔생성 어느 방향으로도 전이되지 않아 노출이 없을 때 수준으로 성능이 떨어졌고, 공간관계·크기·개수는 이해→생성 방향으로는 전이됐지만 생성→이해 방향은 개수를 제외하면 대체로 실패했다.
• 모델 구조 실험에서 어텐션·정규화 공유+FFN만 분리(split_ffn)가 완전 공유(dense)의 성능 저하를 없애면서도 시너지를 냈고, 이 시너지는 RAE, Raw Pixels, CLIP+VAE, AR(UniTok) 등 네 가지 시각 토큰화 방식 모두에서 나타났으며, 순수 언어 사전학습 구간을 늘릴수록 시각 이해·생성 성능이 꾸준히 하락했고, 동시 학습(joint training)이 순차 학습(sequential training)보다 거의 모든 지표에서 우수했다.

어디에 쓸 수 있나

• 언어, 이미지 이해, 이미지 생성을 함께 학습하는 통합 멀티모달 모델을 설계할 때 데이터 배합 비율(예: 언어 70%, 이해 25%, 생성 5%)을 정하는 참고 기준으로 활용
• 트랜스포머 구조에서 어텐션·정규화는 공유하고 피드포워드 층만 모달리티별로 분리하는 설계를 검토하는 데 참고
• 시각 데이터를 언제부터, 어떻게(순차 대 동시) 도입할지 결정하는 학습 커리큘럼 설계에 참고

한계와 남은 검증

• 주요 통제 실험은 1.5B~2.3B 규모의 자체 백본 모델과 SSTK, DCLM 등 특정 데이터셋에서 수행되어, 다른 아키텍처·데이터 구성에 그대로 적용될지는 검증되지 않았다.
• CLEVR 기반 결론은 합성 3D 장면이라는 단순화된 환경에서 나온 것이라 실제 복잡한 이미지·언어 분포에도 동일하게 적용되는지는 별도 확인이 필요하다.
• 135B 규모 검증은 13.5B MoE 모델 2조 토큰 실험 한 건으로, 더 큰 규모나 다른 모델 계열에서의 재현 여부는 추가 실험이 필요하다.
• 생성 품질 판정에 Qwen3-VL-8B-Instruct라는 또 다른 모델을 심판으로 썼기 때문에 그 판정 자체의 편향 가능성은 별도로 검증되지 않았다.

왜 중요한가

지금 여러 회사가 언어와 이미지를 한 모델에서 같이 학습시키는 통합 멀티모달 모델로 가고 있는데, 어떤 데이터 비율과 구조가 서로 도움이 되고 방해가 되는지는 그동안 경험칙에 의존해 왔다. 이 연구는 그 설계 선택을 실험으로 검증해 실전에서 쓸 수 있는 데이터 배합비와 구조 원칙을 제시한다.

이 논문의 용어

• 통합 멀티모달 사전학습 · 텍스트 생성과 이미지 이해, 이미지 생성을 하나의 모델이 처음부터 함께 학습하는 방식
• 조기 통합(Early Unification) · 학습 초반부터 시각 데이터를 언어 데이터와 함께 넣어 두 모달리티가 같이 성장하도록 하는 방식
• 시각 게으름(Vision Laziness) · 시각 데이터를 늦게 넣으면 모델이 시각 부분을 충분히 학습하지 않고 언어 지식에 의존해버리는 현상
• split_ffn · 어텐션과 정규화는 공유하되 피드포워드 신경망만 모달리티별로 따로 두는 구조 설계
• CLEVR · 색깔, 모양, 개수, 위치 등을 정확히 통제해 만들 수 있는 합성 3D 장면 데이터셋

최신 논문

• AI 코딩 에이전트에게 과학 소프트웨어 수리를 시켜보니, 절반도 제대로 못 고쳤다AI 코딩 에이전트에게 과학 소프트웨어 수리를 시켜보니, 절반도 제대로 못 고쳤다arXiv:2608.197992026-08-21
• 논문 속 시연이 아니라 실제 서비스에 넣을 수 있는 희소 어텐션 만들기논문 속 시연이 아니라 실제 서비스에 넣을 수 있는 희소 어텐션 만들기arXiv:2608.197582026-08-21
• 고객상담 AI 상담원이 규정을 '한 번의 행동'이 아니라 '전체 절차'로 지키게 만드는 방법고객상담 AI 상담원이 규정을 '한 번의 행동'이 아니라 '전체 절차'로 지키게 만드는 방법arXiv:2608.198612026-08-21
• 로봇 팔에게 사람의 시연 없이 새 일 시키기, 말 잘하는 AI가 대신 가르친다로봇 팔에게 사람의 시연 없이 새 일 시키기, 말 잘하는 AI가 대신 가르친다arXiv:2608.198912026-08-21
• 에이전트 학습용 환경을 새로 만드는 대신, 기존 환경에 '패치 부품'을 씌워 그 에이전트의 약점에 맞게 바꾸는 방법에이전트 학습용 환경을 새로 만드는 대신, 기존 환경에 '패치 부품'을 씌워 그 에이전트의 약점에 맞게 바꾸는 방법arXiv:2608.198802026-08-21
• AI 비서가 뭘 기억할지 결정할 때, '물어봐야 할 순간'에 되레 세상에 확인하고 넘어간다AI 비서가 뭘 기억할지 결정할 때, '물어봐야 할 순간'에 되레 세상에 확인하고 넘어간다arXiv:2608.195642026-08-21
• 단어 뜻이 언제 어떻게 변했는지, 문법 구조까지 뜯어서 보여주는 오픈소스 도구단어 뜻이 언제 어떻게 변했는지, 문법 구조까지 뜯어서 보여주는 오픈소스 도구arXiv:2608.194722026-08-21
• AI로 주식 뉴스 요약해보니, 최신 검색보강 기법보다 오히려 단순 요약 방식이 더 정확했다AI로 주식 뉴스 요약해보니, 최신 검색보강 기법보다 오히려 단순 요약 방식이 더 정확했다arXiv:2608.195262026-08-21

METAL LAB 최신 기사

• 사카나AI, 일본 방위성과 정보분석 AI 실증 계약
• 헤르메스 에이전트, 쓸수록 스스로 스킬 만든다
• 저작권 책으로 AI 학습, 합법일까 불법일까 법정 공방
• 중국 그레이마켓, 앤스로픽 클로드 토큰 정가 10%에 유통
• AI 폭주 대응 계획, 5대 빅랩 중 최고점도 3점 그쳐