ARC-AGI-3

ARC-AGI-3는 AI에게 설명서 없이 2D 게임을 던져주고 혼자 규칙을 알아내 끝까지 깨보라고 시키는 시험이다. 사람이 새로운 오락실 게임을 처음 마주쳤을 때 버튼을 눌러보며 규칙을 스스로 깨우치듯, AI도 시행착오를 거쳐 게임의 논리를 찾아내야 점수를 얻는다.

이 시험이 특별한 이유는 단순히 한 번의 대답을 잘하는지가 아니라, 여러 단계를 거치며 며칠씩 이어지는 긴 판단을 얼마나 흔들림 없이 이어가는지를 본다는 점이다. 그래서 같은 AI 모델이라도 이 모델을 감싸고 있는 소프트웨어 뼈대를 어떻게 짜느냐에 따라 점수가 크게 달라진다. 실제로 어떤 실험에서는 모델은 그대로 두고 뼈대만 바꿨는데 점수가 30점대에서 100점으로 뛴 사례가 나왔다.

즉 ARC-AGI-3는 AI 모델 자체의 똑똑함뿐 아니라, 그 모델을 어떻게 운영하고 관리하느냐가 실제 문제 해결 능력에 얼마나 큰 영향을 미치는지 드러내는 시험대 역할을 한다.

기사 1에서는 "클로드 오퍼스 5를 그대로 썼을 때는 ARC-AGI-3에서 30%를 기록했는데... 소프트웨어 껍질을 씌우자 점수가 100%로 올라갔다"는 사례가 소개된다. 여기서 오해하기 쉬운 점은 점수 상승이 모델 자체가 더 똑똑해져서가 아니라, 모델을 감싸는 운영 뼈대(하네스)를 바꾼 결과라는 것이다. 기사 2에서는 NVIDIA의 새 프레임워크 NOOA를 SWE-bench Verified, CyberGym L1과 함께 ARC-AGI-3로 평가했다고 나온다.