테렌스 타오, AI 시대 수학 2.0 경고

필즈상 수상자인 테렌스 타오 미국 UCLA 수학과 교수가 AI가 증명을 대량으로 쏟아내는 지금을 수학 2.0으로 규정하고, 수학계가 속도를 늦춰야 한다고 경고했다. 보도에 따르면 타오는 10월 9일 미국수학연구소(AIM)가 주최한 강연에서 2025년까지의 수학을 수학 1.0으로 부르며, 그 시대가 증명이 귀하다는 전제 위에서 돌아갔다고 설명했다. 증명은 논문 게재와 수상, 채용을 가르는 일종의 화폐였다. 그는 이제 그 지형이 증명 과잉으로 바뀌었고, 수학자들이 저품질 AI 증명의 바다에서 쓸 만한 것을 건져 올리는 처지가 될 것이라고 내다봤다.

강연 사흘 전인 10월 6일 오픈AI는 미해결 수학 문제에 기여하거나 이를 푼 결과 372건을 추가로 공개했다. 발표문에는 4,000개 문제를 시도했다는 내용이 짧게 들어 있었지만 크게 주목받지 못했다. 타오는 1년 전 강연을 요청받았을 때 정한 제목이 기계 보조 증명이었고 포스터에도 그렇게 인쇄됐지만, 기계가 증명을 돕는다는 발상이 더는 새롭지 않아 제목을 수학 2.0으로 바꿨다고 밝혔다. 그는 수학 2.0이 AI와 인간을 실제로 통합하는 방법을 찾아 새로운 과제의 경계를 여는 데서 나올 것이라고 말했다.

변화의 속도는 올해 들어 급격해졌다. 1월 GPT-5.2 Pro가 에르되시 문제 728번을 사실상 혼자 푼 것으로 보였고, 타오를 비롯한 수학자들이 그 증명을 검증했다. 5월 20일에는 오픈AI가 평면 위 점들 가운데 같은 거리를 이루는 쌍을 최대로 만드는 단위 거리 문제, 곧 에르되시 문제 90번의 증명을 공개했다. 1996년 83세로 세상을 떠난 헝가리 수학자 파울 에르되시는 평생 논문 약 1,500편을 냈고 미해결 문제 약 1,000개를 남겼으며, 수학자 토머스 블룸이 2023년 5월부터 이를 erdosproblems.com에 모아 왔다. 9월 8일에는 오픈AI가 클레이수학연구소가 2000년 내건 밀레니엄 난제 가운데 하나인 나비에-스토크스 방정식의 존재성과 매끄러움 문제를 풀었다고 발표했다.

사흘 뒤 캘리포니아공과대학(칼텍) 강연에서 타오는 "내 인생에서 가장 이상한 한 주였다"고 말문을 열었다. 그는 풀이가 설명 없이 공개되고 그 검증을 수학자들의 선의와 무급 노동에 기대고 있으며, AI가 만든 투고가 학술지와 데이터베이스를 뒤덮어 자원봉사로 유지되던 심사 생태계가 무너지고 있다고 진단했다. 그는 "속도를 늦춰야 한다. 지금 속도는 미쳤다"고 말했다. 새로운 문제는 어디서 오느냐는 청중 질문에는 풀이를 향해 가는 "느리고 숙고하는 과정"에서 나오며 "바로 그것이 파괴되고 있다"고 답했다.

타오의 어조 변화는 눈에 띈다. 31세에 필즈상을 받은 그는 2025년 과학·AI 연구재단을 공동 설립했고, 올해 오픈AI의 마크 첸과 대담에 나섰으며 구글 딥마인드 연구자들과 협업해 한때 AI 전도사로 불렸다. 2024년에는 수십 명의 전문·아마추어 수학자가 AI의 도움을 받아 약 4,500개의 고안된 법칙에서 나온 약 2,200만 개 귀결 관계의 참거짓을 가리는 방정식 이론 프로젝트를 시작했다. 최근 그는 AI 기업들이 "과정에서 인간성을 모두 걷어내는 방식으로 최적화했다"고 비판했다. AI를 쓰지 말자는 주장은 아니다. 그는 한 가지가 조금 좋으면 많을수록 더 좋다는 일차원적 사고가 대부분의 체계에서 통하지 않는다는 것이 수학의 교훈이라고 말했다.

반응은 결과를 내놓는 방식에 따라 갈렸다. 기오르디 윌리엄슨 호주 시드니대 교수는 앤스로픽 소속 수학자 레번트 알푀게가 내놓은 두 결과 가운데 하나를 "수학계 전체를 위한 아름다운 것", 다른 하나를 정원에 제초제를 뿌린 일에 빗댔다. 앞의 것은 87년 된 야코비안 추측이다. 알푀게는 7월 19일 X에 추측이 거짓이라고 올렸고, 반례를 찾아낸 것은 Claude Fable 5였다. 윌리엄슨은 "36시간 안에 수학자들이 반례가 어디서 왔고 왜 자연스러운지 이해했다"고 말했다. 타오는 7월 21일 블로그에 내용을 정리했고, 바너드칼리지의 세몬 레즈치코프는 7월 22일 고등학교 수준의 수학만으로 반례를 시각화했다.

뒤의 것은 하다마드 행렬이다. 1867년 처음 몇 개가 기술된 뒤 수십 년마다 돌파구가 나왔고 가장 최근 발견은 2004년이었다. 알푀게는 8월 12일 X에 더하기와 빼기 기호만 이어진 게시물로 다음 행렬을 올렸고, 그다음 행렬과 그 뒤의 행렬까지 한꺼번에 내놓았다. 앤스로픽은 풀이에 이른 과정을 보여 주는 기록을 공개하지 않았다. 윌리엄슨은 수학의 정원 하나가 통째로 죽은 느낌이었다며 "답은 42라고만 말해 주는 악몽 같은 시나리오"였다고 말했다.

나비에-스토크스 발표를 둘러싼 갈등도 새로 드러났다. 보도에 따르면 발표 전날 트리스탄 버크마스터 뉴욕대 교수는 알푀게와 함께 AI의 도움을 받아 풀이에 상당한 진전을 이뤘다는 성명을 냈다. 오픈AI는 수백만 달러어치 컴퓨팅을 들여 일주일이 안 돼 풀었다고 밝혔다. 버크마스터는 오픈AI가 자신의 작업에 접근했을 수 있다고 우려했고, 회사는 이를 부인했다. 버크마스터에 따르면 오픈AI 풀이 팀을 이끄는 세바스티앙 뷔베크는 알푀게를 빼는 조건으로 그에게 논문 공저자 자리를 제안했고, 그가 거절하고 대화를 공개하겠다고 하자 "왜 경력을 망치려 하느냐"고 되물었다.

메탈은 필즈상 수상자 25명이 공개서한으로 AI 회사에 선을 그은 소식을 보도한 바 있다. 타오도 서명한 이 서한은 "문제 풀이는 개념적 이해와 통찰이라는 일차 목표에 이르는 도구이자 대리물일 뿐"이라며 문제 풀이와 통찰이 분리되고 있다고 짚었다. 윌리엄슨은 서한이 나쁜 행동을 지적한 것은 옳았다면서도 "6개월 전에 이미 현실이었던 것을 반영한 서한"이라고 평가했다. 나비에-스토크스 풀이는 아직 사람의 검증을 거치지 않았고, 수학계는 그 풀이가 맞는지 합의하지 못했다.

클레이수학연구소에 나비에-스토크스 문제 설명을 쓴 찰스 페퍼먼 프린스턴대 교수는 "아마 맞을 것 같다"고 말했다. AI가 쓴 접근법은 그의 옛 제자 디에고 코르도바와 코르도바의 제자 루이스 마르티네스-소로아가 구상한 것이었다. 77세인 페퍼먼은 성공 확률 5%짜리 발상을 확인하는 데 평생이 아니라 이틀이 걸린다면 수학자들이 더 용감하고 상상력 있게 될 것이라고 내다봤다. 그는 독창성과 기술적 힘이 모두 필요했던 수학자의 조건에서 AI가 힘 쪽을 넘겨받을 것이라고 봤고, 수학자의 일은 새로운 방식에 적응하는 것이 될 것이라고 말했다.

존 우르셸 MIT 교수는 10년 동안 다듬은 가우스 소거법 연구 계획을 AI와 함께 마무리했다. 박사후연구원 리카브 샤가 이 분야 문제에 컴퓨팅이 투입되고 있다는 소문을 전하자 두 사람은 GPT-5.6 Sol과 Claude Fable 5를 썼다. AI는 처음에 문제를 풀 수 없고 전제도 사실이 아닐 것이라고 답했지만, 우르셸이 연구 단계를 하나씩 밀어 넣자 맞지만 "아주, 아주 못생긴" 결과를 내놓았다. 두 사람은 어느 단계가 사람만의 작업이고 어느 단계가 AI의 도움을 받았는지 미주로 밝힌 논문을 냈다. 미국프로풋볼 볼티모어 레이븐스에서 3년을 뛰며 박사 과정을 밟은 우르셸은 "분명히 말하겠다. 여기에 재미는 없었다"고 말했다. 그의 학생 가운데 AI를 쓰지 않겠다는 두 명을 그는 AI 비건이라고 불렀다.

사회 제도로서 수학을 보면 타오가 꼽은 가장 시급한 위기는 대학원생 교육이다. 그는 "가장 시급한 질문은 대학원생을 어떻게 훈련할 것인가"라고 말했다. 대학원생이 몇 달씩 붙들며 수학적으로 생각하는 법을 익히던 중간 크기 문제를 이제 AI가 몇 시간 만에 풀기도 한다. 수학자들이 증명 소화라고 부르는 과정, 곧 남의 증명을 이해하고 다시 세우는 일과 칠판 앞의 구전 전통이 이 분야의 지식을 다음 세대로 넘기는 통로였다. 타오는 사람이 쓴 증명이라면 그 사람과 이야기하며 어떤 경험이었는지, 무엇에서 영감을 얻었는지 물을 수 있고, 그 사람이 몇 년 뒤에도 공동체에 남아 학생들에게 전문성을 물려준다고 설명했다. 메탈이 확인한 장문 보도 전문에서 인터뷰에 응한 수학자 모두가 수학의 미래를 아무도 모른다고 답했다.

타오는 이 전환을 마차에서 자동차로 넘어간 도시에 빗대 왔다. 그는 "도시 전체를 자동차에 최적화되게 설계할 수는 없다. 그런 도시에서는 아무도 살고 싶어 하지 않기 때문"이라고 말했다. 칼텍 대학원 1년 차 학생이 자기 세대에게 줄 조언을 묻자 그는 정책에 참여하라고 한 뒤 "AI가 존재하지 않는 척하지 말라. 무엇을 할 수 있고 할 수 없는지 실제로 배우라"고 답했다. 증명이 넘쳐나는 수학 2.0에서 귀해지는 것은 답이 아니라 답을 소화하고 다음 질문을 만들어 내는 사람이라는 것이 타오와 동료 수학자들의 진단이다.