ARC-AGI-3 벤치마크

ARC-AGI-3 벤치마크는 AI에게 처음 보는 퍼즐을 풀게 해서 진짜로 생각하는 능력이 있는지 재는 시험이다. 학교 시험으로 치면 교과서에서 외운 문제가 아니라, 그 자리에서 처음 보는 응용문제를 얼마나 잘 푸는지 채점하는 것과 비슷하다. 점수가 높을수록 낯선 상황에서도 규칙을 스스로 찾아내 문제를 해결하는 능력이 좋다는 뜻이다.

예를 들어 어떤 AI 모델이 이 시험에서 13.3점을 받다가 나중에 38.3점을 받았다면, 단순히 더 많이 외워서가 아니라 처음 보는 문제 유형에도 적응하는 힘이 늘었다는 신호로 읽힌다. 그래서 기업들이 새 모델을 내놓을 때 이 점수를 함께 공개하며 얼마나 똑똑해졌는지를 보여주는 지표로 쓴다.

기사에서는 "GPT-5.6 Sol은 ARC-AGI-3 벤치마크 점수를 13.3%에서 38.3%로 끌어올리면서도 출력 토큰은 약 6분의 1로 줄인 것으로 확인됐다"는 식으로 등장한다. 여기서 오해하기 쉬운 점은 이 숫자가 챗봇의 말솜씨나 지식량을 재는 게 아니라는 것이다 — 처음 보는 퍼즐을 얼마나 효율적으로 풀어내는지를 재는 시험이라, 점수 상승은 더 짧은 답으로도 더 어려운 문제를 풀게 됐다는 뜻에 가깝다.