알리바바 벤치마크서 오픈AI가 알리바바를 이겼다

알리바바 큐원팀이 9월 3일 새 벤치마크 이커머스벤치(E-Commerce Bench)를 공개했어요. AI 에이전트에게 ¥100,000을 쥐여주고 온라인 쇼핑몰을 365일 동안 스스로 운영하게 하는 시험이에요. 소싱, 협상, 가격 책정, 프로모션, 재고 관리, 현금 흐름까지 실제 이커머스 데이터가 반영된 시장 안에서 전부 에이전트가 판단해야 해요. 그런데 정작 이 시험에서 가장 높은 성적을 낸 건 알리바바 자사 모델이 아니라 오픈AI의 GPT-5.6 Sol이었고, 알리바바의 구형 모델 Qwen3.5-Plus는 다섯 번 중 네 번 파산했어요.

풀어서 설명하면, 이 시험은 AI에게 실제 쇼핑몰 사장 역할을 맡겨 1년치 경영을 통째로 맡기는 거예요. 물건을 어디서 얼마에 사 올지, 얼마에 팔지, 재고를 얼마나 쌓아둘지를 365일 동안 스스로 판단하게 하고 연말 통장 잔고로 성적을 매겨요.

기존 AI 벤치마크는 대개 한 번의 질문에 한 번의 답을 매기는 방식이었어요. 이커머스벤치는 다르게 설계됐어요. 하루하루 시간이 흐르면서 어제의 결정이 오늘의 재고와 현금에 영향을 주고, 그 누적이 1년 뒤 자산으로 남아요. 그만큼 장기 자율 운영 능력을 재는 시험으로 알려졌어요.

시험장은 4개 층으로 짜여 있다

에이전트 루프 층에서는 LLM 에이전트가 도구를 호출하고, 환경 시간을 하루씩 진행시키고, 일일 뉴스 알림을 받은 뒤 다음 턴을 반복해요. 맥락 관리와 영속 메모리도 이 층에서 함께 작동해요. 도구 층에는 매장 운영, 시장 조사, 공급업체 협상, 재고 관리, 재무 관리, 메모리 조작, 시간 진행까지 일곱 가지 도구가 있고요.

환경 층이 이 시험의 핵심이에요. 소비자·판매 모델링을 반영하는 동적 경제 엔진이 돌아가고, 프로모션이나 자연재해, 공급업체 파산 같은 돌발 이벤트가 무작위로 터져요. 자금은 은행·플랫폼·에스크로 3개 계좌로 나뉘어 관리되고요. 여기에 결정론적 협상 커널이 붙는데, 예를 들어 에이전트가 병 1,000개 대량 주문에 단가를 1.5까지 낮춰달라고 요청하면 공급업체가 1.8 밑으로는 어렵다고 응수하는 식의 다회차 흥정이 반복돼요. 마지막 데이터 층에는 매장 유형 12개, 상품 카테고리 60개, 공급업체 576곳, 상품 6,886개가 들어 있어요.

결과: 오픈AI가 1위, 알리바바 모델은 하위권

각 모델은 5회씩 시뮬레이션을 돌렸고, 연말 평균 자산을 시작 자금(¥100,000) 대비 배수로 매겼어요.

모델	개발사	연말 자산 배수	막대	5회 중 파산
GPT-5.6 Sol	오픈AI	14.31배	100	0
Claude Opus 4.8	앤스로픽	4.98배	35	0
Qwen3.8-Max-Preview	알리바바	4.16배	29	0
Qwen3.7-Max	알리바바	1.65배	12	0
Qwen3.6-Plus	알리바바	0.47배	3	0
Qwen3.5-Plus	알리바바	0.01배	1	4

오픈AI 모델이 알리바바 자사 최신 모델보다 3배 넘게 높은 자산을 남겼고, 알리바바의 구형 모델 하나는 자본금을 거의 다 까먹었어요. GPT-5.5, Claude Opus 4.6, Gemini 3.1 Pro도 각각 5회 중 2회씩 파산했다고 표에 기록돼 있어요. 장기 자율 경영이라는 조건 앞에서는 순위표가 평소 알려진 언어 능력 순위와 다르게 흔들린 셈이에요.

누구나 확인할 수 있는 자료

알리바바 큐원팀은 자사 블로그에 벤치마크 소개 글을 올렸고, 세부 방법론은 아카이브 논문으로 공개했어요. 벤치마크 전용 페이지인 ecbench.github.io에서도 결과를 볼 수 있고요. 시뮬레이션 환경과 채점 코드는 github.com/QwenLM/E-CommerceBench 저장소에 올라와 있어서, 직접 다른 모델을 붙여 같은 시험을 돌려볼 수 있는 구조예요.

에디터의 시선

자기 회사가 만든 시험에서 자기 모델이 1등을 못 했다는 사실을 그대로 공개했다는 점이 눈에 띄어요. 그동안 모델 개발사들이 내놓는 벤치마크는 대체로 자사 모델이 상위권에 오르는 결과와 함께 발표되는 경우가 많았는데, 이번엔 정반대 그림이 나왔어요. 이건 알리바바가 벤치마크 자체의 설계를 문항-정답 채점이 아니라 결정론적 협상 커널과 동적 경제 엔진으로 짜서, 미리 정답을 맞추기 어려운 구조를 만들었기 때문으로 읽혀요. 벤치마크를 만든 쪽이 결과를 조작하기 어렵게 설계했다는 신호이기도 해요.

이런 장기 자율 운영형 시험을 실제 업무에 대입해 보면 늘 같은 패턴이 나와요. 짧은 질문-답 능력이 뛰어난 모델과, 수백 번의 판단을 누적해도 무너지지 않는 모델은 다른 능력이에요. 언어 벤치마크 상위권 모델이 장기 시뮬레이션에서 파산하는 사례가 이번처럼 반복되면, 실무에서 에이전트에게 예산 집행권을 넘길 때는 언어 능력 순위표만 보고 고르면 안 된다는 뜻이 돼요.

국내 이커머스나 물류 기업이 AI 에이전트에게 발주·가격 결정을 맡기는 실험을 검토하고 있다면, 이번 결과표에서 봐야 할 건 1위 모델의 배수가 아니라 파산 비율이에요. 5회 중 몇 번 자본을 완전히 날렸는지가, 실제 돈이 걸린 상황에서는 평균 수익률보다 더 중요한 지표예요. 지금 단계에서는 사람이 승인하는 안전장치를 두고, 에이전트에게는 제한된 예산 범위 안에서만 판단을 맡기는 편이 안전해요.

앞으로 몇 주 안에 다른 개발사들도 자체 모델을 이 저장소에 붙여 재현 결과를 내놓을 가능성이 커요. 알리바바가 다음 버전의 Qwen으로 이 시험에서 얼마나 순위를 끌어올리는지가, 이 벤치마크의 신뢰도를 가르는 다음 확인 지점이 될 거예요.