필즈상 수상자, AI의 수학 정복 앞에서 정체성 고민 토로

필즈상 수상자의 고백

제임스 메이너드는 옥스퍼드대 수학과 교수이자 필즈상 수상자다. 그는 더버지와의 인터뷰에서 지난 1년간 "제 분야의 미래를 놓고 고민을 거듭해왔다"고 말했다. 인터뷰 며칠 전 오픈AI(OpenAI)는 수십 년간 학계를 괴롭혀온 장기 미해결 수학 문제 10개의 해법을 내놓았다고 발표했다. 전통적으로 변화가 느린 학문인 수학이 AI 앞에서 서둘러 태세를 바꾸고 있다는 게 메이너드의 진단이다.

패턴 인식이 증명을 대신할 수 있나

생성형 AI가 글이나 이미지를 만들 때 방대한 데이터에서 패턴과 연관성을 학습하듯, 수학 문제를 푸는 AI도 기존 논문과 증명 과정에서 규칙을 뽑아내 새로운 문제에 적용하는 방식으로 작동한다. 문제는 수학이 다른 분야와 다르다는 점이다. 과학이나 의학에서는 그럴듯한 아이디어를 제시하는 것만으로도 가치가 있지만, 수학은 한 단계라도 논리가 어긋나면 증명 전체가 무너진다. 그래서 AI가 내놓은 해법이 실제로 엄밀한 증명인지, 아니면 그럴듯해 보이는 추론인지를 검증하는 일 자체가 수학자들의 새로운 과제로 떠올랐다.

이런 흐름은 오픈AI만의 이야기가 아니다. 앤스로픽(Anthropic)도 지난 8월 10일 외부에 공개되지 않은 연구용 Claude 버전으로 리만 가설에 도전했다고 밝혔다. 가설 자체를 증명하지는 못했지만, 리만 제타 함수의 영점 중 가설을 만족하는 비율의 하한을 기존보다 끌어올렸다고 주장했다. 세계 최고 수준의 AI 연구소들이 앞다퉈 순수수학의 난제에 모델을 투입하는 모습은 불과 1~2년 전만 해도 낯선 풍경이었다.

그래서 무엇이 달라지나

메이너드처럼 정상급 수학자가 공개적으로 정체성 고민을 털어놓는 것은, AI가 단순한 계산 보조 도구를 넘어 창의적 증명의 영역까지 넘보고 있다는 신호로 읽힌다. 오픈AI가 내놓은 10개 문제의 해법이 동료 검토를 거쳐 얼마나 인정받을지는 지켜봐야 할 대목이다. 하지만 분명한 건 수학자들이 이제 "AI가 낸 답을 어떻게 검증할 것인가"라는, 이전에는 없던 작업을 떠안게 됐다는 점이다. 느리게 움직이던 학문 하나가 AI 시대의 속도에 맞춰 스스로를 다시 정의해야 하는 국면에 들어선 셈이다.