텐센트 훈위안, EvolveScaler 논문 공개

훈위안 팀의 X 게시물은 문제를 게임 로그로 설명해요. "40일짜리 RPG 로그를 읽으세요. 이제 한 가지 질문에 답하세요. 7일째 미니 보스를 건너뛰면 그래도 최종 보스를 잡을 수 있나요?" 답은 로그 안에 없고 세계를 다시 돌려 봐야 나온다는 거예요. 기록은 철회되고 정정되고 뒤늦게 채워지며, 다 읽은 뒤에도 세계는 계속 바뀌어요. 논문은 이런 문맥이 읽어야 할 긴 문서가 아니라 재생해야 할 이벤트 이력이라고 규정해요. 같은 길이, 같은 턴 수여도 유효한 정보만 쌓이는 대화와 앞 기록을 되풀이해 뒤집는 대화는 난이도가 확 다르다는 게 출발점이에요.

만드는 순서를 뒤집은 게 이 논문의 방법이에요. 사람이 쓴 운영 명세가 먼저예요. 등장 개체, 시간 단위, 허용되는 이벤트 종류, 추적할 상태 변수, 상태 전이 제약, 어떤 기록이 유효한지 정하는 규칙, 상태를 바꾸지 않는 잡음, 난이도 조절 손잡이, 질문 연산자, 정답 프로그램까지 열 가지 항목이에요. 그 명세를 받아 강한 LLM 이 자체 완결된 파이썬 시뮬레이터를 합성하고, 시뮬레이터를 실행하면 자연어 다중 턴 이벤트 이력이 나오며, 같은 이력을 결정론적으로 재생하면 정답과 원자 단위 체크리스트가 계산돼요. 논문 저자들은 이 역할 분담을 "LLM 은 실행 가능한 메커니즘을 제안하고, 재생된 프로그램 상태가 감독을 결정합니다" 라고 적었어요. 훈위안 팀은 X 게시물에서 같은 말을 "코드는 논리를 보장하고, 언어는 엉망진창을 전달합니다" 라고 줄였어요. 재고 감소 이벤트는 재고가 남아 있을 때만, 환불은 앞선 유효 결제를 참조하고 미정산액을 넘지 않을 때만 통과하도록 제약이 코드의 가드와 런타임 단언으로 박혀요.

규모는 숫자로 적혀 있어요. 20명 넘는 주석자가 12개 주제에 걸쳐 117개 과제 원형을 썼고, 검증을 통과한 시뮬레이터 117개가 159개 최종 질문 연산자를 지원해요. 연산자는 순위와 비교, 집계와 프로필, 감사와 반사실, 위치 찾기 네 묶음 아래 일곱 가족으로 나뉘어요. 다섯 난이도 단계는 표본당 이벤트 수를 약 7개에서 약 1,200개까지 늘리고, 그 결과가 학습용 약 35,100건과 검증된 평가용 585건이에요. 시뮬레이터마다 단계별로 학습 60건, 평가 1건을 뽑아 단계마다 학습 7,020건, 평가 117건이 되는 구조예요. 명세 안에는 이름 붙은 개체 3,410개, 이벤트 스키마 928개, 추적 수량 549개, 유효성 규칙 1,019개, 잡음 템플릿 442개가 들어 있고 무효 기록 비율은 10~14% 예요. 주석자들이 무작위로 뽑은 117건을 검사했을 때 논리 오류는 0건이었다고 논문은 밝혔어요.

평가표에서 눈에 띄는 건 낙폭이에요. 14개 모델의 avg@5 중앙값은 가장 짧은 단계 71.2 에서 67.8, 50.5, 21.9 를 거쳐 가장 긴 단계 11.3 으로 내려가요. 가장 높은 점수는 GPT-5.5 xhigh 로 전체 pass@5 82.7, avg@5 72.8 이고, 가장 긴 단계에서도 avg@5 59.3 을 지켰어요. 그 단계에서 avg@5 가 30 을 넘는 모델은 GPT-5.5 세 변형뿐이고 DeepSeek V4 Preview Pro 가 29.7 로 바짝 붙었으며, Gemini 3.1 Pro 는 27.5, 텐센트 자기 모델인 Hy3 high 는 19.8, GLM 5.2 는 12.5 예요. 6개 모델은 10 아래로 떨어졌어요. 모델 간 격차도 단계에 따라 벌어져요. GPT-5.5 xhigh 와 GLM 5.1 은 가장 짧은 단계에서 78.5 대 74.9 로 3.6 점 차였는데 가장 긴 단계에서는 59.3 대 9.6 으로 49.7 점 차가 났어요. 답의 채점은 gpt-oss-120b 가 체크리스트만 보고 해요. 앞선 대화는 보지 않고 최종 질문과 답, 체크리스트만 받아 항목이 충족됐는지 판정하는 구조예요.

엔지니어의 눈으로 이 표를 읽으면 컨텍스트 창 크기 스펙과 다른 숫자가 보여요. 모든 입력은 각 모델의 지원 창 안에 들어갔고 잘리지 않았다고 논문은 적었어요. 그러니까 떨어진 건 읽을 수 있는 길이가 아니라, 취소된 주문과 정정된 영수증과 뒤늦게 올라온 기록을 걸러 가며 지금 값을 다시 계산하는 능력이에요. 티켓 시스템의 상태 변경 이력, 주문과 환불이 섞인 장부, 리뷰가 거듭된 코드 변경처럼 실제 업무 문맥은 대부분 이런 모양이에요. 메탈은 기업 코드베이스로 만든 벤치마크 Real-SWE 를 보도한 바 있고, 긴 호흡의 자율 작업을 재는 알리바바의 전자상거래 벤치마크도 보도한 바 있어요. EvolveScaler 는 그 사이에서 상태 복원이라는 한 가지 능력만 떼어 내 잰 자예요.

학습 데이터로도 효과가 있다는 게 두 번째 결과예요. 연구진은 내부 A3B 모델을 GRPO 로 EvolveScaler 6,000건에 이어 학습시킨 뒤, 학습 데이터에 없는 외부 벤치마크 8개로 쟀어요. 평균은 33.17 에서 38.42 로 5.25 점 올랐고 8개 전부에서 기준 모델을 넘었어요. 첫 200건만으로 평균이 2.43 점 올랐고, 그 뒤 1.85 점과 0.97 점이 더해졌어요. 가장 크게 오른 건 MARS 9.50 점, MRCR 7.59 점, MultiChallenge 7.33 점, AA-LCR 6.41 점이에요. 같은 6,000건 예산에서 짧은 것, 중간 것, 긴 것을 2,000건씩 섞은 구성이 한 단계만 쓴 구성보다 8개 벤치마크 전부에서 나았어요.

틀린 답을 뜯어본 결과도 있어요. 실패한 응답에 첫 번째로 어긴 체크리스트 항목을 기준으로 딱지를 붙였더니, 열 개 모델 모두에서 부호 있는 변화량을 합산하다 틀린 경우가 가장 많았어요. 그 비중은 GPT-5.5 xhigh 의 46.2% 에서 Doubao 1.8 high 의 55.9% 사이예요. 관련 기록을 빠뜨리거나 엉뚱한 기록을 넣은 검색·계수 오류가 16.8~21.1% 로 그다음이고, 순위와 동점 처리 오류는 최소 19.2% 인데 GPT-5.5 xhigh 에서는 29.8% 로 가장 높았어요. 무효 기록을 잘못 고른 경우는 5.5% 를 넘지 않았어요. 어떤 기록이 취소됐는지는 대체로 알아보는데, 남은 기록의 더하기 빼기에서 무너진다는 뜻이에요.

메탈이 확인한 논문 PDF 는 19쪽이에요. 프로젝트 페이지에는 창고 교대 보드를 예로 든 대화형 데모가 있는데, 왼쪽은 모델이 읽는 자연어 문맥이고 오른쪽은 코드가 유지하는 숨은 장부예요. 드릴 작업, 철회된 스캔, 옛 재고 초안, 테스트 웨이브는 장부에 닿지 않고, 같은 로그를 일곱 연산자 가족으로 되물어요. 메탈은 텐센트 훈위안이 목소리를 만들고 고치는 모델을 푼 일을 보도한 바 있고, Hy4 프리뷰 오픈소스 공개도 보도한 바 있어요. 이번 논문은 모델이 아니라 모델을 재고 가르치는 데이터를 낸 발표이고, 한국 시간 15일 저녁 기준 X 게시물 조회는 5,634회예요. 논문은 현재 틀이 이산적이고 프로그램으로 명세된 상태 전이에 한정돼 있으며, 부분 관측과 연속 값, 멀티모달 설정으로 넓히는 일을 다음 과제로 적었어요.

긴 문맥 경쟁이 몇 토큰을 읽느냐에서 몇 번의 정정을 견디느냐로 옮겨 가고 있어요. 이 논문이 낸 숫자는 그 경쟁의 출발선이에요. 가장 앞선 모델도 약 1,200개 이벤트짜리 이력에서는 다섯 번 중 세 번 꼴로만 맞히고, 14개 중 6개는 열 번 중 한 번도 못 맞혀요. 상태를 코드로 잡고 말은 그 위에 얹는다는 이 방식이 평가만이 아니라 학습에서도 통했다는 것이, 데이터를 만드는 쪽에 남는 결과예요.