电商Bench
E-Commerce Bench
阿里巴巴设计的一项测试:给AI代理一笔虚拟资金,让它独自经营网店整整一年,再依此打分。
简单来说
电商Bench是这样一种测试:给AI代理一笔虚拟启动资金,让它独自运营一家网店长达模拟的一年时间,以此衡量其经营能力。从哪里进货、进货和售价定多少、备多少库存,全部由AI自己决定,一年后账户里剩下的钱就是它的成绩。
一般的AI测试是一问一答,当场打分就结束了,但这个测试不同。昨天做出的决定会影响今天的库存和现金,这种影响会在365天里不断累积,最终体现在结果里。测试环境里设有和供应商议价的机制,还会出现促销活动或自然灾害之类的突发事件,以及包含多种店铺类型和成千上万商品的虚拟市场,营造出接近真实网店经营的压力。
这项测试由阿里巴巴打造,但拿到最高分的却是别家公司的AI。自家出的题,自家模型却没拿第一,这一点让它成了话题。
在报道中是这样出现的
报道用"OpenAI在阿里巴巴的基准测试上击败了阿里巴巴"这样的标题来呈现。OpenAI的GPT-5.6 Sol以年末资产达到起始资金14.31倍的成绩夺得第一,而阿里巴巴的旧款模型Qwen3.5-Plus在五次测试中四次破产,排名垫底。容易被误解的一点是:设计基准测试的公司,并不总能在自己的测试里拿第一。电商Bench由阿里巴巴设计,但结果却是OpenAI的模型领先。