이미지: The Decoder
요약
- 필즈상 수상자 티모시 가워스와 수학자 피터 사르나크가 LLM의 수학적 창의성 한계를 지적했다
- 가워스는 LLM이 방대한 탐색공간에서 생산적 경로를 고를 직관이 없다고 진단했다
- 구글 딥마인드 연구자 톰 자하비는 'LLM은 점프하지 못한다' 논문에서 같은 결론에 도달했다
- 발언자
- 티모시 가워스(필즈상 수상자), 피터 사르나크
- 가워스 진단
- 기존 방법 조합·다중 경로 탐색엔 능하나 생산적 경로 선택할 직관 부족
- 사르나크 진단
- 기존 이론에서 결과 도출은 가능, 새 추상화 개발은 불가
- 관련 연구자
- 구글 딥마인드 톰 자하비
- 논문 제목
- LLMs Can't Jump
- 병목 개념
- manipulative abduction(언어적 선례 없는 새 기초 가정을 발명하는 능력)
- 제안된 대안
- 세계모델(world model)
- 출처
- 미국수학회(AMS) 인터뷰
계산은 되는데, 발상은 안 된다
새로운 정리를 증명하는 일은 계산이 아니라 '아무도 시도해 본 적 없는 첫 걸음'을 떠올리는 일에 가깝다. 필즈상을 받은 수학자 티모시 가워스와 수학자 피터 사르나크가 최근 미국수학회(AMS)와의 인터뷰에서 밝힌 진단이 바로 이 지점을 겨눈다. 두 사람은 대형 언어 모델(LLM)이 수학에서 상당한 능력을 보여준다는 점은 인정하면서도, 진짜 새로운 아이디어를 만드는 데는 근본적인 한계가 있다고 짚었다.
가워스는 현재 모델들이 이미 알려진 방법을 조합하고 여러 탐색 경로를 동시에 시도하는 데는 강하다고 평가했다. 문제는 그다음이다. 그는 모델이 방대한 탐색 공간 안에서 어떤 경로가 실제로 생산적인지 골라낼 직관이 없다고 지적했다. 인간 수학자가 수십 년의 훈련 끝에 얻는 '이 방향이 맞다'는 감각이 없다는 뜻이다.
사르나크는 조금 더 구체적인 사례로 설명했다. 그는 AI가 이미 확립된 이론에서 결과를 도출하는 일은 해낼 수 있지만, 아주 기초적인 질문에서 출발해 주요 증명을 떠받치는 새로운 추상화 개념을 스스로 만들어내지는 못한다고 말했다. 정수론의 큰 정리들이 처음 등장했을 때를 떠올리면 이 말의 무게가 더 분명해진다. 그런 정리들은 기존 도구를 잘 쓴 결과가 아니라, 그 이전에는 존재하지 않던 개념 자체를 만들어낸 결과였다.
딥마인드 연구자도 같은 결론
비슷한 진단은 업계 내부에서도 나왔다. 구글 딥마인드 연구자 톰 자하비는 자신의 논문 'LLMs Can't Jump'에서 이 병목에 이름을 붙였다. 그는 문제의 핵심을 '조작적 귀추(manipulative abduction)'라는 개념으로 설명한다. 언어적 선례가 전혀 없는 상태에서 새로운 기초 가정을 스스로 발명하는 능력을 뜻한다. 기존 문장을 재배열하거나 패턴을 확장하는 것과는 다른, 말 그대로 없던 것을 처음 만드는 작업이다.
자하비는 이 한계를 넘어설 후보로 세계모델(world model) — 언어가 아니라 시각·물리 정보 같은 실제 환경 구조를 학습하는 AI 모델 — 을 제시했다. 언어에 갇힌 학습 방식이 문제라면, 언어 바깥의 구조를 직접 배우는 모델이 대안이 될 수 있다는 논리다. 다만 이 제안이 실제로 수학적 창의성 문제를 해결할지는 아직 검증되지 않았다.
벤치마크는 오르는데 왜 창의성은 그대론가
이번 진단은 최근 업계 전반에서 반복되는 질문과 맞닿아 있다. LLM이 각종 시험 점수에서는 계속 신기록을 세우는데, 정작 실무나 연구 현장에서 체감하는 능력은 그만큼 늘지 않았다는 지적이다. 지난 15일 문샷 AI가 공개한 PerceptionBench 결과에서도 16개 프론티어 모델 중 순수 시각 인식 정확도 60%를 넘긴 모델이 하나도 없었고, 1위 모델도 59.7%에 그쳤다. 추론 능력을 자랑하는 모델들이 정작 이미지를 정확히 읽는 기초 단계에서부터 흔들린다는 뜻이었다.
가워스와 사르나크의 지적도 방향은 같다. 벤치마크 점수와 실제 창의적 능력 사이에 간극이 있고, 그 간극이 모델이 커진다고 저절로 메워지지 않는다는 것이다. 다만 두 수학자 모두 LLM의 계산·조합 능력 자체는 인정하고 있어, 이번 발언을 'AI가 쓸모없다'는 주장으로 읽는 것은 과장이다. 두 사람이 짚은 건 특정 영역 — 근본적으로 새로운 수학적 개념을 만드는 일 — 에서의 한계다.
에디터의 시선
이번 발언이 흥미로운 이유는 두 사람이 AI 회의론자가 아니라는 점이다. 가워스는 오랫동안 AI가 수학 연구를 도울 수 있다는 쪽에 가까운 입장을 취해온 인물이고, 사르나크 역시 계산 도구로서 AI의 쓸모를 부정하지 않는다. 그런 두 사람이 나란히 '창의성의 벽'을 언급했다는 사실 자체가, 이 벽이 낙관론자들 눈에도 보이기 시작했다는 신호로 읽힌다.
실무에서 LLM을 붙여본 사람이라면 이 이야기가 낯설지 않다. 알려진 정리를 응용하거나 증명의 특정 단계를 채우는 일에는 모델이 놀랍도록 빠르고 정확하다. 하지만 '이 문제를 애초에 다른 틀로 봐야 한다'는 식의 재구성은 잘 나오지 않는다. 코드 리뷰나 보고서 초안 작업에서도 비슷하다 — 기존 패턴을 조합해 그럴듯한 결과물을 빠르게 뽑아내지만, 문제 정의 자체를 뒤집는 제안은 드물다. 이건 모델이 게을러서가 아니라, 애초에 그런 재구성을 학습할 데이터 자체가 희소하기 때문일 가능성이 크다.
국내 연구·교육 현장에 주는 교훈은 명확하다. LLM을 '증명의 특정 단계를 채우는 조수'로 쓰는 건 지금도 유효하고 효율적이다. 하지만 '새로운 연구 방향을 제안해달라'는 식의 기대는 아직 과하다. 대학원 세미나나 R&D 기획 단계에서 AI 브레인스토밍을 그대로 채택하기보다, 알려진 방법을 빠르게 조합·검증하는 용도로 한정하는 편이 실패 확률을 줄인다.
앞으로 몇 달 안에 이 논쟁은 세계모델 계열 연구 발표와 맞물려 더 커질 것이다. 자하비가 제안한 대로 언어 바깥의 구조를 학습하는 모델이 실제로 '조작적 귀추'에 가까운 능력을 보여준다면, 이번 두 수학자의 진단은 오래가지 않는 잠정 결론이 될 수 있다. 반대로 그런 시도가 답보 상태에 머문다면, 'LLM은 계산기'라는 프레임이 당분간 업계의 기본값으로 굳어질 가능성이 높다.
