이미지: METAL LAB 생성
摘要
- Artificial Analysis通过其官方X账号宣布，正在开发一款面向开发者的AI基准测试套件。
- 在正式发布前，该公司同时开放了早期体验申请，计划招募少量用户群体进行测试并收集反馈。
- 该产品的具体构成和发布时间并未在此次发文中提及，目前可视为仍处于招募阶段。
- 발표 주체
- Artificial Analysis
- 발표 채널
- 공식 X 계정 게시물
- 발표 시각
- 2026년 8월 10일 16시 11분(UTC)
- 개발 중인 것
- 개발자의 AI 모델 평가를 돕는 새 벤치마킹 제품군(a range of new AI benchmarking products)
- 모집 대상
- 출시 전 테스트와 피드백을 맡을 소수 사용자 그룹
- 참여 방법
- 게시물에 첨부된 얼리 액세스 신청 링크
- 현재 단계
- 출시 전(pre-launch), 정식 공개 시점은 게시물에 없음
从"测评者"到"制尺者"
每当有新模型发布，开发者们都会本能地确认几件事：这个模型有多聪明，每秒能吐出多少个token，等到第一个字出现要花几秒，以及做同样的事情哪家提供商更便宜。一直以来，不是从模型公司的发布材料，而是站在第三方立场上测量并公开这些数字的，正是Artificial Analysis。
这家Artificial Analysis于2026年8月10日在其官方X账号上发布了一条简短的消息。内容称，公司正在打造一套供开发者用来评测AI模型的新基准测试套件，并将在正式发布前先招募少量用户直接试用并收集反馈。帖子中还附上了早期体验申请链接。
这条发布的分量并不在于文字长短。如果说这家公司一直以来做的是"我们测量后展示给你看"，那么这一次释放的信号是：方向正在向"给你工具，让你自己去测量"迈出一步。
Artificial Analysis是一家怎样的机构
据了解，Artificial Analysis是一家独立基准测试机构，一直以来在相同条件下比较并公开多种模型与推理服务提供商的表现。其方式是将模型综合能力指标、每秒输出token数、首个token的延迟、以及每百万token的成本等维度并列呈现。用数字揭示出即便是同一个模型，因所选托管服务商不同，速度和价格也会出现差异，这正是这家公司存在的意义。
| 评测维度 | 在实际业务中决定的问题 |
|---|---|
| 综合智能指标 | 这项任务是否可以交给这个模型 |
| 每秒输出token数 | 用户等待长回答需要多久 |
| 首个token延迟 | 聊天、语音场景中是否会有中断感 |
| token单价 | 流量增长十倍时是否能够承受 |
表中所列项目是该领域通用的比较维度整理，与本次发文中具体涉及哪些维度是两回事。
为何此时推出"评测工具"
在模型发布以周为单位密集涌现的局面下，基准测试正同时患上两种病。其一是饱和。当多个头部模型在同一份试卷上都开始拿到90分以上时，这份试卷便不再能区分出差异。其二是污染。当公开的题目和答案混入训练数据后，得分测出的就不再是实力，而是记忆力。
不仅如此，评测对象本身也变得更加复杂。与过去只需为单一答案打分的年代不同，现在需要评测的是那些多次调用工具、操作浏览器、经过数十个步骤的智能体。中间即便按错一次，最终答案也可能是对的；答案正确，过程中也可能存在危险行为。因此，各团队根据自身业务需求自行测评的"内部评测"已成为必要工作，随之而来的是对能够支撑这项工作的工具的需求。
细化评测的尝试并非这家公司独有。8月7日，Ai2曾公开一个名为TutorMoments的框架预览版，用于评测AI辅导系统在帮助学生和退后让学生自主思考之间的判断力。该框架不以正确率为测量对象，而是以"何时介入"作为测量目标。
早期体验这一形式说明了什么
先邀请少数用户听取反馈的方式，也意味着产品尚未定型。基准测试工具尤其如此。将哪些任务作为标准课题、由人工还是由其他模型来打分、如何复现相同条件——每一项设计都会彻底改变最终的结果数字。此次发文中并未提及申请者规模及筛选标准。
由此会带来什么变化
选择模型如今已不再是寻找"最好的模型"这一问题，而是要在自己的任务、预算以及可承受的响应延迟之间，找到遗憾最少的组合。仅凭一张排行榜得不出这个答案。这意味着，必须从阅读他人制作的试卷分数这一阶段，迈向用自己的数据制作并运行专属试卷的阶段。
如果独立评测机构亲自拿出这样的工具，那些此前必须从零搭建评测流程的小团队，其进入门槛或许会因此降低。但与此同时，新的张力也随之产生。当负责排名的机构同时提供评测工具时，该工具的默认设置事实上就会成为行业标准试卷。目前可以确认的，仅止于该工具正在被开发，以及正在寻找愿意先行试用的人。
