튜링상 서튼 "합성 데이터로는 AI 확장 못 시킨다"

서튼은 대형언어모델을 'Bitter Lesson'의 좋은 사례이자 나쁜 사례로 동시에 꼽는다. 좋은 사례인 이유는 인터넷 전체를 "들이마시듯" 학습해 연산량에 비례해 실제로 성능이 커졌기 때문이다. 나쁜 사례인 이유는 바로 그 지점에서 한계에 부딪혔기 때문이다. 인터넷은 유한하고, 현실 세계는 "우리가 인터넷에 저장한 모든 것보다 훨씬 크다." 인터넷이라는 자원이 소진되자 모델은 결국 인간이 만들어 둔 지식에 더 크게 의존하게 되고, 이것이 오히려 시스템의 발목을 잡는다는 것이 서튼의 진단이다.

합성 데이터가 이 병목을 뚫을 수 있느냐는 질문에 그는 두 가지 근거를 든다. 첫째는 자비드가 정식화하고 앨버타 연구팀이 오랫동안 다뤄 온 'Big World Hypothesis'다. 세계는 무한히 복잡해서 어떤 마음, 어떤 에이전트보다도 훨씬 크다는 전제다. 이 복잡한 세계를 흉내 낸 시뮬레이션은 아무리 정교해도 결국 "미시적인" 크기에 그친다. 작은 프로그램은 작은 세계밖에 만들 수 없고, 그 세계는 마찰값이 다르거나 로봇 모터의 움직임을 부정확하게 재현하는 식으로 현실과 어긋난다. 게다가 세계에는 다른 행위자들의 내면이 존재하는데, 이건 합성 데이터로 만들 수 있는 대상이 아니다. "다른 사람들의 마음에 대한 합성 데이터는 만들 방법이 없다"는 게 서튼의 지적이다.

두 번째 근거는 인간 병목이다. 어떤 합성 데이터가 좋고 나쁜지는 결국 사람이 판단해야 한다. 자비드는 박쥐처럼 반향정위로 움직이는 드론을 학습시키려면 먼저 그 분야 전문가를 고용해야 한다는 예를 든다. 결국 이 방식은 인간 전문가의 수에 의해 제한되고, 따라서 확장되지 않는다. 시뮬레이션으로 학습시키는 자율주행차도 마찬가지다. 시뮬레이션과 실제 도로 사이의 간극은 결국 사람이 손으로 메워야 한다.

스스로 배우는 에이전트라는 대안

서튼이 내놓은 해법은 인간을 그 고리에서 빼내는 것이다. 에이전트가 사람이 만들어 준 고정된 시뮬레이션 모델에 기대는 대신, 스스로 자기만의 세계 모델을 학습하고 계속 고쳐 나가야 한다는 주장이다. "시뮬레이터는 에이전트가 스스로 만드는 것"이라는 게 그의 표현이다.

그가 지적하는 또 하나의 문제는 지금의 언어모델이 훈련이 끝나면 학습을 멈춘다는 점이다. "가중치가 다시는 바뀌지 않는다." 서튼은 이 대신 진짜 지속학습이 필요하다고 말한다. 그의 관점에서는 이것이 그냥 '학습' 그 자체다. "모든 학습은 지속적"이어야 하고, 그러면서도 옛 지식을 지우는 '치명적 망각(catastrophic forgetting)'은 일어나지 않아야 한다. 서튼 연구팀은 이 문제를 부분적으로 풀 방법으로 네이처에 발표한 'Continual Backprop' 기법을 제시한 바 있다.

이런 비판에도 서튼은 언어모델 자체를 부정하지는 않는다. 그는 언어모델을 "놀라운 과학적 성과"라 부르면서도, 지능 전체에서 보면 "20%나 4분의 1 정도"에 불과하다고 선을 그었다.

지속학습을 둘러싼 최근 흐름

에이전트가 스스로 경험을 쌓아 진화해야 한다는 문제의식은 서튼 혼자만의 것이 아니다. 텐센트 훈위안, AI 에이전트 '자기진화' 검증하는 5단계 지도 공개 기사에서 다뤘듯, 텐센트 훈위안 연구진은 지난 8월 12일 에이전트의 자기진화가 신뢰할 만한지 검증하는 L0~L4 단계 프레임워크를 내놓았다. Oumi 역시 같은 시기 프로덕션 트래픽에서 모델이 스스로 재학습하는 플랫폼을 공개했고, 사카나AI는 물리 세계에서 스스로 개선하는 에이전트를 다음 연구 프론티어로 제시한 바 있다. 서튼의 발언은 이런 흐름과 결이 같지만, 그는 한발 더 나아가 지금 업계가 데이터 고갈의 해법으로 삼은 합성 데이터 자체를 근본적으로 틀린 접근이라 규정한다는 점에서 차이가 있다.

에디터의 시선

서튼의 발언이 무게를 갖는 이유는 그가 스케일링 법칙의 이론적 아버지에 가까운 인물이기 때문이다. 'The Bitter Lesson'은 지금 프론티어 랩들이 연산량만 밀어붙이면 결국 이긴다고 믿게 만든 근거였다. 그런 그가 정작 지금의 확장 전략 한 축인 합성 데이터를 정조준했다는 건, 스케일링 신앙 안에서도 균열이 생기고 있다는 신호로 읽을 만하다.

세대별로 보면 체감이 더 뚜렷하다. GPT-3 시절엔 인터넷 텍스트를 긁어모으는 것만으로 성능이 계속 올라갔다. 그런데 지금은 학습용 텍스트가 바닥나면서 각 랩들이 모델이 만든 데이터로 모델을 학습시키는 자기참조 구조에 의존하고 있다. 서튼의 지적대로 이 구조의 약점은 결국 그 데이터가 좋은지 나쁜지를 걸러내는 게 여전히 사람 몫이라는 데 있다. 데이터 생성은 자동화됐지만 품질 판단은 자동화되지 않았다는 뜻이고, 이게 바로 그가 말하는 '인간 병목'이다.

국내 팀 입장에서 이 논쟁이 주는 실무 교훈은 명확하다. 합성 데이터로 파인튜닝 데이터를 늘리는 접근은 여전히 유효하지만, 그 데이터의 품질 검증 공정을 자동화하지 않으면 데이터 양이 늘어도 성능은 정체된다. 지금 합성 데이터 파이프라인을 굴리는 팀이라면, 생성 단계보다 필터링·평가 단계에 인력과 예산을 더 투입하는 편이 서튼의 진단과 맞아떨어진다.

앞으로 몇 달 안에 벌어질 일은 예측 가능하다. 프론티어 랩들은 합성 데이터 비판에 정면으로 답하기보다는, 지속학습과 에이전트형 학습 루프를 언어모델 위에 얹는 하이브리드 접근을 속속 내놓을 것이다. 이미 Oumi나 텐센트 훈위안의 최근 연구가 그 방향을 가리키고 있고, 서튼의 Oak Lab도 조만간 이 논쟁에 구체적인 결과물을 들고 나올 가능성이 크다.