FrontierCode 1.1 Extended
一张同时衡量编程智能体任务完成水平和任务成本的基准表。
简单来说
FrontierCode 1.1 Extended 是一张把代做编程工作的 AI 系统的性能和成本并排列出来加以比较的成绩单。如果学校考试只显示正确率,这张表则是在正确率之外,还把考这场试所花的报名费一并列出来。
表里总是成对出现两个数字。一个是分数,表示系统解决中等难度编程题的水平;另一个是解决那一道题实际花费的成本。这样一看这张表,就能一眼看出哪个模型或运行方式能用更低的成本达到相近的水平,或者价格相近但实力却有差距。
编程智能体接到一个任务后,内部往往要调用模型几十次甚至上百次,所以每道题成本哪怕只降低一点,对整体运营开支的影响都很大。因此这个基准的意义不只是比谁更聪明,而是要显示谁更「划算地聪明」。
在报道中是这样出现的
文章写道:"从该公司公布的 FrontierCode 1.1 Extended 基准表来看,Fable 5 在中等难度任务上得分 62.8,每个任务花费 5.84 美元;而 Fable 5.1 得分 63.6,费用降到了 2.68 美元。"光看名字容易让人以为这是某家公司的商用产品,但实际上它是 Cognition 为比较自家模型和执行框架而公开的一份基准测试结果表。