아스트라 99.9%, 점수를 만든 건 하네스였다

하네스는 그 들고 가기를 관리하는 바깥 프로그램이에요. ARC Prize 의 표준 하네스는 어느 회사 모델에나 똑같이 붙도록 만들어져 있어서, 모델이 스스로 골라 적어 둔 메모만 다음 수로 넘겨줘요. 반면 오픈AI가 함께 제출한 프로바이더 어댑터 하네스는 모델 내부의 추론 상태를 통째로 다음 요청까지 보존하고, 대화가 길어지면 압축해서 이어 붙여요.

시험장에 비유하면 이래요. 표준 하네스는 매 문제마다 답안지를 걷어 가고 손으로 적은 쪽지 한 장만 들고 다음 문제로 가게 해요. 프로바이더 어댑터는 앞 문제를 풀며 머릿속에 세워 둔 계산 과정을 그대로 안고 다음 문제로 넘어가게 해 줘요. 같은 사람이 같은 시험을 봐도 점수가 갈리는 게 이상하지 않죠.

효과는 점수만이 아니었어요. ARC Prize 측정으로 두 하네스가 모두 풀어낸 167개 게임에서 어댑터 쪽이 3.66배 빨랐고 토큰은 49% 적게 썼어요. 비용도 최고 추론 설정 기준 표준 26,098달러 대 어댑터 17,332달러로 뒤집혔고요.

비용 이야기도 짚어 둘 만해요. ARC Prize 는 사람 참가자 기준선도 돈으로 환산해 뒀는데, 시간 보상까지 넣으면 게임 한 판에 12.78달러예요. 아스트라가 최고 설정에서 쓴 26,098달러와 17,332달러는 전체 세트를 도는 데 든 값이라 단순 비교는 어렵지만, 지금 시점에서 이 시험을 푸는 가장 싼 방법이 여전히 사람이라는 사실은 남아요.

오퍼스5의 30.2%도 같은 이야기예요

아스트라 결과지에 나란히 적힌 클로드 오퍼스5의 30.16%가 지금 여기저기서 비교 대상으로 쓰이고 있어요. 오퍼스5는 7월 24일 제출 당시 ARC-AGI-3 최고 점수였고, 그 직전 기록이던 GPT-5.6 솔의 7.8%를 네 배 가까이 끌어올린 결과였어요.

그런데 같은 오퍼스5를 다른 껍데기에 넣은 기록이 이미 두 건 있어요. 더 뉴 스택 보도에 따르면 엔비디아는 8월에 자사 에이전트 시스템 AVO 로 오퍼스5를 감싸 183개 레벨에서 사람 대비 행동 효율 100.00 을 기록했어요. AWS 도 스트랜즈 에이전트로 같은 183개 레벨에서 99.95 를 냈는데, 8시간 한 번 돌리는 데 토큰 값 830달러가 들었고 그 사이 에이전트가 게임별 파서와 시뮬레이터로 파이썬 스크립트 734개를 직접 써냈어요. 25개 게임 중 10개에서는 앞서 만든 스크립트를 그대로 가져다 썼고요.

맨몸으로 30%, 껍데기를 씌우면 100%. 지난달에 오퍼스5가 이미 보여 준 이 격차를 이번에는 아스트라가 자기 결과지 안에서 한 번에 보여 준 셈이에요. AWS 팀은 벤치마크 점수가 모델의 한계가 아니라 하네스의 부재를 재고 있었다고 적었어요.

그래서 아스트라는 무엇을 잘한 건가요

껍데기 이야기를 걷어내도 남는 것이 있어요. ARC Prize 는 아스트라가 게임 상태를 자기만의 축약 기호로 적어 가며 풀었다고 기록했어요. 학습 데이터에서 본 표기법을 꺼내 쓴 게 아니라 게임마다 새로 만들어 쓴 속기라, ARC Prize 는 이를 프로그래밍 언어라기보다 창발적 속기라고 표현했어요.

행동 효율도 눈에 띄어요. 아스트라는 전체 레벨의 96.0%에서 사람 기준보다 적은 수로 클리어했고, 레벨당 평균 51.7% 적은 행동을 썼어요. 사람 기준선은 약 500명의 일반 참가자에게 같은 게임을 시켜 만든 값이에요. 앞선 세대 시험에서도 아스트라는 ARC-AGI-1 에서 97.5%, ARC-AGI-2 에서 95.0%를 받았어요.

ARC Prize 는 동시에 선을 그어 뒀어요. 이 시험을 포화시키는 것이 곧 AGI 달성의 증거는 아니고, ARC-AGI-3 의 규칙은 결정론적이고 닫혀 있어 현실의 복잡함을 대신하지 못한다고 했어요.

표준 하네스 62.71%도 그 자체로 기록이에요

어댑터 논쟁에 가려지기 쉬운데, 모두가 같은 조건으로 겨루는 표준 하네스에서도 아스트라는 62.71%예요. 7월 24일 제출된 오퍼스5의 30.16%를 두 배 넘게 끌어올린 값이고, 그 이전 기록이던 GPT-5.6 솔의 7.8%와 비교하면 여덟 배예요. 추론 설정을 낮춰도 성적이 급격히 무너지지 않는 것도 이전 세대와 다른 점인데, 최고 설정 62.71% 아래로 XHigh 59.34%, High 54.82%가 이어져요.

일반 지표에서의 변화는 이보다 훨씬 작아요. 아티피셜 애널리시스 지능 지수에서 아스트라는 61.2 로 GPT-5.6 솔의 60.9 를 겨우 앞섰어요. 가격은 100만 토큰당 입력 10달러, 출력 50달러로 클로드 페이블과 같은 수준이고요.

종합 점수는 제자리인데 상호작용 시험에서만 크게 뛰었다는 이 조합이, 이번 결과를 놓고 해석이 갈리는 이유예요. 에포크AI의 그레그 버냄은 이를 한 시대의 끝이자 다른 시대의 시작이라고 표현했어요.

에디터의 시선

이번 결과지에서 가장 값진 줄은 99.95%가 아니라 62.71% 옆에 그 숫자가 나란히 적혀 있다는 사실이에요. ARC Prize 는 오픈AI가 보낸 어댑터 결과를 감추지도, 표준 결과로 갈음하지도 않고 둘 다 실었어요. 덕분에 우리는 모델의 힘과 껍데기의 힘을 처음으로 같은 표에서 갈라 볼 수 있게 됐어요.

벤치마크를 오래 봐 온 사람이라면 이 구도가 낯설지 않을 거예요. 코딩 시험에서 같은 모델이 에이전트 루프를 붙이면 점수가 뛰던 일, 수학 시험에서 답을 여러 번 뽑아 다수결을 내면 점수가 뛰던 일과 뿌리가 같아요. 다만 이번에는 그 껍데기를 모델 회사가 직접 만들어 제출했고, 다른 회사 모델은 그 껍데기를 쓰지 못했다는 점이 달라요. 더 뉴 스택은 비교 대상 모델들이 서로 다른 설정에서 측정됐다는 점을 지적했고, 이 지적은 타당해요.

국내 팀에 주는 교훈은 꽤 실용적이에요. 모델 고르기에 쓰는 시간과 그 모델을 감쌀 시스템을 만드는 시간의 배분을 다시 보라는 뜻이거든요. AWS 사례에서 점수를 만든 것은 더 큰 모델이 아니라 기록을 파일로 빼내고, 스스로 만든 코드를 다시 불러 쓰고, 막히면 개입하는 장치였어요. 830달러와 8시간이면 웬만한 팀이 사내에서 재현해 볼 수 있는 규모고요.

벤치마크 표를 읽는 법도 이참에 바꿔야 해요. 앞으로 점수 옆에는 어떤 하네스로 쟀는지가 반드시 함께 적혀야 하고, 그게 없는 숫자는 비교에 쓸 수 없어요. 아스트라는 강한 모델이 맞아요. 그리고 이번 99.95%는 그 강함에 더해, 그 강함을 끝까지 쓰게 해 주는 장치가 얼마나 큰 몫을 하는지를 같이 증명했어요.