이커머스벤치

이커머스벤치는 AI 에이전트에게 가상의 시작 자금을 쥐여주고 1년 동안 온라인 쇼핑몰을 혼자 운영하게 시켜서 경영 실력을 재는 시험이다. 물건을 어디서 얼마에 사 올지, 얼마에 팔지, 재고를 얼마나 쌓아둘지까지 전부 AI 스스로 결정하게 하고, 1년 뒤 통장에 남은 돈으로 성적을 매긴다.

보통의 AI 시험은 질문 하나에 답 하나를 채점하고 끝나지만, 이 시험은 다르다. 어제 내린 결정이 오늘의 재고와 현금에 영향을 주고, 그 영향이 365일 동안 쌓여 결과로 남는다. 시험장에는 공급업체와 가격 흥정을 벌이는 장치, 프로모션이나 자연재해 같은 돌발 이벤트, 매장 유형과 상품 수천 개가 들어간 가상 시장이 마련돼 있어서 실제 쇼핑몰 경영과 비슷한 압박을 준다.

이 시험을 만든 곳은 알리바바지만, 정작 가장 높은 점수를 받은 건 다른 회사의 AI였다. 자기가 만든 시험에서 자기 모델이 1등을 못 했다는 점 때문에 화제가 됐다.

기사에서는 "알리바바 벤치마크서 오픈AI가 알리바바를 이겼다"는 제목으로 다뤄졌어요. 시작 자금 대비 연말 자산이 오픈AI의 GPT-5.6 Sol은 14.31배로 1위였고, 알리바바의 구형 모델 Qwen3.5-Plus는 다섯 번 중 네 번 파산해 최하위였어요. 오해하기 쉬운 점: 벤치마크를 만든 회사가 그 벤치마크에서도 항상 1등을 하는 건 아니에요. 이커머스벤치는 알리바바가 설계했지만 결과는 오픈AI 모델이 앞섰어요.