테렌스 타오 "AI, 괴델 이후 수학 최대 위기 부를 수도"

타오는 자신의 작업 가설을 이렇게 요약했다. "AI 도구는 머지않아 연구 수준의 수학 과제 상당 부분을, 합리적인 성공률과 품질, 감독 수준, 비용으로 수행할 수 있게 될 것이다." 근거로 든 것이 퍼스트-프루프 프로젝트다. 2차 라운드 실험에서 아직 발표된 적 없는 연구 문제 10개를 AI 시스템 4개에 통제된 조건으로 풀게 했더니, 7개 문제가 적어도 하나의 시스템으로부터 통과 판정을 받았다. 사실상 흠 없는 풀이이거나 소폭 수정만 필요한 수준이었고, 비용은 문제당 수십에서 수백 달러였다.

타오는 수학의 여러 목표—문제 해결, 이론 구축, 공동체 형성, 다음 세대 훈련—가 원래 서로 긴밀히 얽혀 있었는데, AI가 이 연결을 끊어놓을 위험이 있다고 지적했다. 여기서 그가 끌어온 개념이 굿하트의 법칙이다. 측정 지표가 목표가 되는 순간 그 지표는 더 이상 좋은 척도가 아니라는 것인데, 생성형 AI는 실제 성과보다 좋아 보이는 결과를 좇는 경향이 강해 이 함정에 특히 취약하다고 봤다. AI 업계의 투자 구조 역시 수학자들이 오래전부터 깊은 목표의 대용물로 써온, 인용하기 좋고 벤치마크로 잴 수 있는 성과를 그대로 보상한다는 점에서 문제를 키운다.

증명이 쌓이는 속도, 검증이 못 따라간다

타오의 가설이 맞아떨어진다면 수학은 증명이 부족한 시대에서 증명이 넘쳐나는 시대로 넘어갈 수 있다고 그는 경고했다. 누구도 다 확인하거나 읽거나 소화하지 못할 속도로 AI가 만든 증명이 쌓이는 상황이다. 실제로 에르되시 문제 데이터베이스에는 어떤 전문가도 나서서 검증하지 않은 AI 생성 제출물이 이미 수십 건 쌓여 있다고 타오는 지적했다.

AI가 다듬은 증명에는 또 다른 문제가 있다. 사람이 쓴 증명은 어려운 대목에 자연스러운 마찰이 남기 마련이다. 공들여 쓴 보조정리, 표기법을 바꾼 흔적, 여러 번 고쳐 쓴 게 분명한 문단 같은 것들이다. 지나치게 다듬어진 AI 증명은 이런 잡음과 신호를 함께 지워버려서, "읽기는 쉽지만 거기서 배우기는 어려운" 글이 된다. 타오는 "인간이 쓴 설명의 '실수'는 독자에게 실제로 도움이 될 수 있다"고 썼다.

라이덴 선언과 타오의 판단 기준

구체적인 지침으로 타오는 2026년 6월 공개돼 국제수학연맹의 지지를 받은 라이덴 선언을 제시했다. 그 자신이 세운 원칙도 명확하다. "저자가 자신의 결과에 대해 정확하고 제대로 공로를 밝힌, 전문가 수준의 명료한 발표를 할 수 있다는 것을 설득력 있게 보이지 못한다면, 그 결과는 발표되어서는 안 된다"는 것이다. 형식적으로 검증된 증명이라도 어떤 사람도 제대로 설명하지 못한다면 미완성으로 봐야 한다는 게 그의 판단이다.

젊은 수학자 훈련에는 특별한 주의가 필요하다고도 덧붙였다. 수학자들이 자기 작업의 "환원 불가능한 인간적 측면"을 지키고, AI 도구 사용을 엄격히 제한해야 한다는 취지다. 정답이 맞는 숙제를 만들어내는 것으로는 수학자를 길러낼 수 없다는 것이다. 타오 본인은 문헌 검색, 도표 제작, 텍스트 완성, 슬라이드를 논문 형식으로 바꾸는 작업에 한해 AI를 쓴다고 밝혔다.

타오의 이번 에세이는 최근 필즈상 수상자 티모시 가워스와 수학자 피터 사르나크가 벌인 논쟁—LLM이 실제 수학적 능력을 갖췄지만 진짜 새로운 발상 앞에서는 한계를 보인다는—과 결이 다르다. 가워스와 사르나크가 "AI가 무엇을 할 수 있는가"를 물었다면, 타오는 "수학이라는 분야 자체가 무엇을 원하는가"를 묻는다.

에디터의 시선

이 에세이가 무서운 이유는 AI의 실력을 걱정해서가 아니라 실력이 어중간해서 걱정한다는 데 있다. 완전히 못 풀면 무시하면 그만이고, 완벽하게 풀면 검증만 하면 그만이다. 문제는 퍼스트-프루프 실험처럼 열 문제 중 일곱을 그럴듯하게 풀어내는 지점이다. 여기서 벌어지는 일은 품질 저하가 아니라 물량 폭증이고, 에르되시 데이터베이스에 쌓인 검증 안 된 제출물 더미가 그 증거다. 검증은 사람이 하는데 생산은 기계가 하면, 병목은 반드시 검증 쪽에서 터진다.

논문 심사를 오래 겪어본 사람이라면 이 구조가 낯설지 않다. 리뷰어 부족은 학계의 오래된 병이었는데, 투고량이 갑자기 서너 배로 늘면 그 병이 만성에서 급성으로 바뀐다. 타오가 제시한 해법이 벤치마크 점수가 아니라 "저자가 자기 결과를 전문가 앞에서 설명할 수 있는가"라는 구술 시험으로 회귀한 것은 그래서 의미가 있다. 기계가 만든 결과물의 진위를, 결국 사람의 설명 능력으로 되돌려 검증하겠다는 뜻이다.

국내 수학·과학 커뮤니티에도 같은 문제가 곧 닥친다. 학위논문 심사, 학회 발표, 연구비 심사 어디든 "이 결과를 AI가 얼마나 만들었는가"를 묻는 절차가 필요해질 시점이 머지않았다. 지금 할 수 있는 준비는 간단하다. AI 도구 사용 범위를 문헌 검색·초안 작성 같은 보조 업무로 한정하고, 핵심 증명이나 논증은 저자 본인이 구두로 방어할 수 있는 수준까지 소화하도록 요구하는 규칙을 미리 세우는 것이다. 앞으로 몇 달 안에 라이덴 선언 같은 지침을 참고한 학회·저널의 AI 사용 공개 규정이 하나둘 나올 가능성이 크다.