퍼스트-프루프 프로젝트

퍼스트-프루프 프로젝트는 아직 세상에 발표된 적 없는 수학 연구 문제를 AI에게 풀게 해서, 그 실력을 진짜 현장에서 시험해 보는 검증 실험이다. 보통 AI의 수학 실력을 잴 때는 이미 정답이 알려진 문제집을 쓰지만, 이 프로젝트는 다르다. 아무도 답을 내놓은 적 없는 진짜 연구 문제를 새로 준비해서, AI가 어딘가에서 정답을 외워왔을 가능성을 원천적으로 없앤다.

두 번째 라운드 실험에서는 이렇게 준비한 새 문제 10개를 서로 다른 AI 시스템 네 개에게 통제된 조건으로 풀게 했다. 결과는 절반을 훌쩍 넘겼다. 10개 중 7개 문제에서 적어도 하나의 시스템이 거의 흠 없는 풀이를 내놓거나, 약간만 손보면 되는 수준의 답을 만들어냈다. 여기에 든 비용은 문제 하나당 수십에서 수백 달러 정도였다.

이 결과는 필즈상 수상자 테렌스 타오가 자신의 예측—AI가 머지않아 연구 수준 수학 과제 상당 부분을 합리적인 비용과 품질로 해낼 것이라는 가설—을 뒷받침하는 근거로 인용하면서 널리 알려졌다. 다만 타오는 이런 성과가 쌓일수록, 아무도 다 확인하지 못하는 속도로 증명이 쏟아지는 새로운 문제도 함께 생긴다고 경고했다.

기사 속 문장: "타오는 퍼스트-프루프 프로젝트의 2차 라운드 실험 결과를 자신의 가설을 뒷받침하는 근거로 들었다." 오해 바로잡기: 이 프로젝트는 AI 모델의 이름이 아니라, 실제 연구 문제로 AI의 수학 실력을 검증한 실험 결과물이다. 특정 회사가 만든 제품이 아니라 독립적인 검증 프로젝트로 이해하는 게 정확하다.